FR2880745A1 - Procede et dispositif de codage video - Google Patents
Procede et dispositif de codage video Download PDFInfo
- Publication number
- FR2880745A1 FR2880745A1 FR0500172A FR0500172A FR2880745A1 FR 2880745 A1 FR2880745 A1 FR 2880745A1 FR 0500172 A FR0500172 A FR 0500172A FR 0500172 A FR0500172 A FR 0500172A FR 2880745 A1 FR2880745 A1 FR 2880745A1
- Authority
- FR
- France
- Prior art keywords
- images
- image
- long
- term
- decoder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 26
- 230000007774 longterm Effects 0.000 claims abstract description 56
- 230000004044 response Effects 0.000 claims abstract description 7
- 230000008859 change Effects 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 9
- 238000011144 upstream manufacturing Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims description 2
- 238000009877 rendering Methods 0.000 claims 1
- 238000012163 sequencing technique Methods 0.000 claims 1
- 230000005540 biological transmission Effects 0.000 description 13
- 238000013139 quantization Methods 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000011664 signaling Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
- H04N19/67—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving unequal error protection [UEP], i.e. providing protection according to the importance of the data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
- H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
On code des images successives (F) d'une séquence vidéo pour générer des paramètres qui sont inclus dans un flux de sortie (Phi) à transmettre vers un décodeur. Le codage de certaines images est opéré en Inter relativement à une ou plusieurs images précédentes de la séquence. Le flux de sortie inclut aussi des commandes de marquage à long terme de certaines images et des commandes de démarquage d'images précédemment marquées. Chaque image marquée à long terme est à conserver en mémoire par le décodeur jusqu'à réception d'une commande de démarquage correspondante. Des informations de retour sur la restitution des images de la séquence vidéo par le décodeur sont reçues par le codeur (1) et analysées pour identifier une image perdue au décodeur. En réponse à l'identification d'une image perdue, on peut coder une image suivante de la séquence en Inter relativement à une image marquée à long terme.
Description
PROCEDE ET DISPOSITIF DE CODAGE VIDÉO
La présente invention concerne les techniques de codage vidéo.
Elle s'applique à des situations où un codeur produisant un flux de signal vidéo codé émis vers un décodeur vidéo bénéficie d'un canal de retour, sur lequel le côté décodeur fournit de l'information indiquant, explicitement ou implicitement, si les images du signal vidéo ont pu ou non être convenablement reconstruites.
Beaucoup de codeurs vidéo supportent un mode de codage inter- images ("inter-frame coding", ci-après codage en Inter), dans lequel le mouvement entre les images successives d'une séquence vidéo est estimé afin que l'image la plus récente soit codée relativement à une ou plusieurs images précédentes. Une estimation de mouvement est effectuée dans la séquence, les paramètres d'estimation sont quantifiés et envoyés au décodeur, et l'erreur d'estimation est transformée, quantifiée et envoyée au décodeur.
Chaque image de la séquence peut aussi être codée sans référence aux autres. C'est ce qu'on appelle le codage en Intra ("intra-frame coding"). Ce mode de codage exploite les corrélations spatiales au sein d'une image. Pour un débit de transmission donné du codeur vers le décodeur, il procure une moins bonne qualité vidéo que le codage en Inter puisqu'il ne tire pas parti des corrélations temporelles entre les images successives de la séquence vidéo.
Couramment, une portion de séquence vidéo a sa première image codée en Intra puis les images suivantes codées en Inter. Des informations incluses dans le flux de sortie du codeur indiquent les images codées en Intra et en Inter et, dans ce dernier cas, la ou les images(s) de référence à employer.
Des nouvelles normes de codage, en particulier la norme H.264 de l'Union Internationale des Télécommunications ("Advanced video coding for generic audiovisual services", ITU-T, mai 2003), permettent au codeur de marquer à long terme certaines images de la séquence dans le flux de sortie, pour indiquer au décodeur qu'il doit conserver en mémoire ces images une fois reconstruites. Ces images marquées sont appelées "long- term picture" dans la norme. Sauf indication contraire du codeur, le décodeur conserve ces images dans sa mémoire. Ces images marquées sont à distinguer des images dites "short-term picture" qui sont effacées de la mémoire du décodeur au fur et à mesure de la restitution de la séquence vidéo.
Un problème du codage en Inter est son comportement en présence d'erreurs de transmission ou de pertes de paquets sur le canal de communication entre le codeur et le décodeur. La dégradation ou la perte d'une image se propage sur les images suivantes jusqu'à ce que survienne une nouvelle image codée en Intra.
II est courant que le mode de transmission du signal codé entre le codeur et le décodeur engendre des pertes totales ou partielles de certaines images. De telles pertes résultent par exemple de la perte ou de l'arrivée trop tardive de certains paquets de données lorsque la transmission a lieu sur un réseau de paquets sans garantie de délivrance tel qu'un réseau IP (Internet Protocol). Des pertes peuvent aussi résulter d'erreurs introduites par le canal de transmission au-delà des capacités de correction des codes correcteurs d'erreurs employés.
Dans un environnement sujet à des pertes diverses de signal, il est nécessaire de fournir des mécanismes pour améliorer la qualité de l'image au décodeur. L'un de ces mécanismes est l'utilisation d'un canal de retour, du décodeur vers le codeur, sur lequel le décodeur informe le codeur qu'il a perdu tout ou partie de certaines images. Dans certains cas, ce sont les images bien reconstruites que le décodeur indique au codeur et celui-ci peut, a contrario, en déduire quelles images ont éventuellement été perdues.
Le codeur peut alors faire des choix de codage pour corriger ou du moins réduire les effets des erreurs de transmission. Les codeurs actuels renvoient simplement une image codée en Intra, c'est-à-dire sans référence aux images précédemment codées dans le flux et pouvant contenir des erreurs.
Ces images Intra permettent de rafraîchir l'affichage et de corriger les erreurs dues aux pertes de transmission. Mais elles sont d'une moins bonne qualité que les images Inter. Ainsi, le mécanisme habituel de compensation des pertes d'image donne malgré tout lieu à une dégradation de la qualité du signal restitué pendant un certain temps après la perte.
Un but de la présente invention est d'améliorer la qualité d'un signal vidéo suite à des erreurs de transmission lorsqu'un canal de retour est présent du décodeur vers le codeur.
L'invention propose ainsi un procédé de codage vidéo, comprenant les étapes suivantes: coder des images successives d'une séquence vidéo pour générer des paramètres de codage, le codage d'au moins une image étant opéré relativement à au moins une image précédente de la séquence vidéo; inclure les paramètres de codage dans un flux de sortie à transmettre à une station comportant un décodeur; inclure dans le flux de sortie des commandes de marquage à long terme de certaines images de la séquence vidéo et des commandes de démarquage d'images précédemment marquées à long terme, chaque image marquée à long terme étant à conserver en mémoire par le décodeur jusqu'à réception d'une commande de démarquage de ladite image; recevoir de ladite station des informations de retour sur la restitution des images de la séquence vidéo par le décodeur; et analyser les informations de retour pour identifier des images non ou mal restituées par le décodeur et, en réponse à l'identification d'une image non ou mal restituée, coder au moins une image suivante de la séquence vidéo relativement à une image précédente de la séquence vidéo sélectionnée parmi des images comprenant au moins une image marquée à long terme.
Les images marquées à long terme peuvent être utilisées comme images de référence pour le codage Inter, comme n'importe quelle autre image d'une séquence vidéo. Le procédé selon l'invention permet de maintenir le mode de codage en Inter lorsque des pertes sont détectées, en incluant une ou plusieurs images à long terme dans un ensemble d'images précédentes que le codeur peut choisir comme référence pour redémarrer le codage en Inter après la détection d'une perte d'image. Ces images marquées à long terme évitent de faire obligatoirement référence aux images à court terme, que le décodeur ne conserve que de façon transitoire dans sa mémoire. Ces images à court terme risquent d'être également corrompues du fait de la perte observée, et il est très utile de pouvoir, au besoin, faire aussi référence à des images à long terme.
Pour un débit de transmission donné, on obtient ainsi une meilleure qualité de restitution vidéo une fois le canal repassé dans un état sans perte.
Le procédé utilise avantageusement des stratégies adaptées de marquage à long terme des images de la séquence vidéo, comme par exemple: É utilisation de la détection de changement de plan pour marquer à long terme une image qui suit immédiatement un changement de plan. Cette technique permet de s'assurer que l'image de référence sera proche de l'image à coder; É dans le cas où le canal de retour informe le codeur des images bien reçues, sans erreur de décodage, marquage à long terme de certaines de ces images par le codeur. On s'assure ici que les images utilisées comme "long-term picture" ne contiennent pas d'erreurs; É dans le cas où le réseau informe le codeur de son état, par exemple en termes de pourcentage de pertes, le codeur peut marquer à long terme, de manière régulière, les images du flux qui ne sont pas affectées par les pertes dans le réseau. Lorsque des pertes interviennent, on interrompt le processus de marquage régulier des images codées. On s'assure ainsi de bien avoir des images de référence en mémoire lorsqu'une perte interviendra.
Un autre aspect de l'invention se rapporte à un programme d'ordinateur à installer dans un appareil de traitement vidéo, comprenant des instructions pour mettre en oeuvre les étapes d'un procédé de codage vidéo tel que défini ci-dessus lors d'une exécution du programme par une unité de calcul dudit appareil.
Un autre aspect de l'invention se rapporte à un codeur vidéo, comprenant: des moyens de codage d'images successives d'une séquence vidéo pour générer des paramètres de codage, le codage d'au moins une image étant opéré relativement à au moins une image précédente de la séquence vidéo; des moyens de formation d'un flux de sortie du codeur à transmettre à une station comportant un décodeur, le flux de sortie incluant lesdits paramètres de codage ainsi que des commandes de marquage à long terme de certaines images de la séquence vidéo et des commandes de démarquage d'images précédemment marquées à long terme, chaque image marquée à long terme étant à conserver en mémoire par le décodeur jusqu'à réception d'une commande de démarquage de ladite image; des moyens de réception depuis ladite station d'informations de retour sur la restitution des images de la séquence vidéo par le décodeur; et des moyens d'analyse des informations de retour pour identifier des images non ou mal restituées par le décodeur et, en réponse à l'identification d'une image non ou mal restituée, commander les moyens de codage afin qu'au moins une image suivante de la séquence vidéo soit codée relativement à une image précédente de la séquence vidéo sélectionnée parmi des images comprenant au moins une image marquée à long terme.
D'autres particularités et avantages de la présente invention apparaîtront dans la description ci-après d'exemples de réalisation non limitatifs, en référence aux dessins annexés, dans lesquels: - la figure 1 est un schéma montrant deux stations en communication, pourvues de codeurs/décodeurs vidéo; - la figure 2 est un schéma synoptique d'un codeur vidéo selon l'invention; - la figure 3 est un schéma synoptique d'un décodeur vidéo apte à restituer des images codées par le codeur de la figure 2.
Le procédé de codage selon l'invention est par exemple applicable à la visioconférence sur un réseau IP (sujet à des pertes de paquets), entre deux stations A et B (figure 1). Ces stations communiquent directement, en ce sens qu'aucun équipement de transcodage vidéo ne participe à leur communication. Chaque station A, B utilise des média vidéo codés selon une norme qui supporte la notion de marquage d'image à long terme ("long-term picture"), par exemple la norme ITU-T H.264.
Dans une phase préalable de négociation, par exemple effectuée au moyen du protocole ITU-T H.323 bien connu dans le domaine de la visioconférence sur IP, les stations A, B se sont mises d'accord sur une configuration de H.264 avec marquage à long terme ainsi que pour établir un canal de retour.
Dans l'exemple d'application à la visioconférence, chaque station A, B est naturellement équipée à la fois d'un codeur et d'un décodeur (codec). Ici, nous supposerons que la station A est l'émetteur qui contient le codeur vidéo 1 (figure 2) et que la station B est le récepteur qui contient le décodeur 2 (figure 3). On s'intéresse donc au flux H.264 émis de A vers B et au canal de retour de B vers A. Les stations A, B sont par exemple constituées d'ordinateurs personnels, comme dans l'illustration de la figure 1, chacun étant équipé de systèmes de prise et de restitution d'images vidéo, d'une interface réseau 3, 4 pour le raccordement au réseau IP, ainsi que de logiciels de visioconférence exécutés par l'unité centrale de l'ordinateur. Pour le codec vidéo, ces logiciels reposent sur des programmes implémentant H.264. Du côté du codeur, le programme est adapté pour inclure les particularités décrites ci-après. Bien entendu, le codec peut aussi être implémenté à l'aide d'un processeur spécialisé ou d'un circuit spécifique. Le procédé décrit peut aussi s'adapter à des normes de codage autres que H.264.
Dans H.264, le module de reconstruction d'images vidéo du décodeur 2 se trouve aussi dans le codeur 1. Ce module de reconstruction 5 est visible sur chacune des figures 2 et 3; il est composé d'éléments sensiblement identiques portant les mêmes références numériques 51-57. Le résidu de prédiction d'une image courante F, c'est-à-dire la différence calculée par un soustracteur 6 entre l'image F et une image prédite P, est transformé et quantifié par le codeur 1 (modules 7, 8 de la figure 2).
Un module de codage entropique 9 construit le flux de sortie t du codeur 1 qui inclut les paramètres de codage des images successives de la séquence vidéo (paramètres de prédiction et de quantification du résidu transformé) ainsi que divers paramètres de contrôle obtenus par un module de contrôle 10 du codeur.
Ces paramètres de contrôle indiquent en particulier quel est le mode de codage (Inter ou Infra) utilisé pour l'image courante et, dans le cas du codage Inter, la ou les images de référence à employer.
Du côté du décodeur, le flux c reçu par l'interface réseau 4 est soumis à un décodeur entropique 11 qui récupère les paramètres de codage et les paramètres de contrôle, ces derniers étant fournis à un module de contrôle 12 du décodeur. Les modules de contrôle 10, 12 supervisent respectivement le codeur 1 et le décodeur 2 en leur fournissant les commandes nécessaires pour connaître le mode de codage employé, désigner les images de référence en codage Inter, configurer et paramétrer les éléments de transformation, quantification et filtrage, etc. Pour le codage Inter, chaque image de référence utilisable FR est stockée dans une mémoire tampon 51 du module de reconstruction 5. Celle-ci contient une fenêtre de N images reconstruites précédant immédiatement l'image en cours (images à court terme) et éventuellement une ou plusieurs images que le codeur a spécialement marquées (images à long terme).
Le nombre N d'images à court terme conservées en mémoire est contrôlé par le codeur 1. Il est habituellement limité pour ne pas occuper trop 3o de ressources des stations A, B. Le rafraîchissement de ces images à court terme intervient au bout de N images du flux vidéo.
Chaque image marquée à long terme est conservée dans la mémoire tampon 51 du décodeur (et dans celle du codeur) jusqu'à ce que le codeur produise une commande de démarquage correspondante. Ainsi, les paramètres de contrôle obtenus par le module 10 et insérés dans le flux 43 comportent également les commandes de marquage et de démarquage des images à long terme.
Les paramètres de prédiction pour le codage Inter sont calculés de façon connue par un module d'estimation de mouvement 15 en fonction de 10 l'image courante F et d'une ou plusieurs images de référence FR. L'image prédite P est générée par un module de compensation de mouvement 13 sur la base de la ou des images de référence FR et des paramètres de prédiction calculés par le module 15.
Le module de reconstruction 5 comporte un module 53 qui récupère les paramètres transformés et quantifiés d'après les index de quantification produits par le module de quantification 8. Un module 54 opère la transformation inverse du module 7 pour récupérer une version quantifiée du résidu de prédiction. Celle-ci est ajoutée aux blocs de l'image prédite P par un additionneur 55 pour fournir les blocs d'une image pré-traitée PF'. L'image pré- traitée PF' est finalement traitée par un filtre de déblocage 57 pour fournir l'image reconstruite F' délivrée par le décodeur et enregistrée dans sa mémoire tampon 51.
En mode Intra, une prédiction spatiale est effectuée de façon connue au fur et à mesure du codage par blocs de l'image courante F. Cette prédiction est effectuée par un module 56 sur la base des blocs déjà disponibles de l'image pré-traitée PF'.
Pour une qualité de codage donnée, la transmission de paramètres codés en Intra requiert généralement un débit plus important que celle de paramètres codés en Inter. En d'autres termes, pour un débit de transmission donné, le codage en Intra d'une image d'une séquence vidéo procure une -9-moins bonne qualité que son codage en Inter.
La sélection entre les modes Intra et Inter pour une image courante est effectuée par le module de contrôle 10 du codeur, par exemple en se fondant sur une détection des changements de plan au sein de la séquence vidéo. De façon connue, un changement de plan peut être décidé par un détecteur 16 du codeur vidéo 1 en observant si la différence entre deux images successives de la séquence a une énergie supérieure à un seuil de détection. En l'absence de pertes, l'image où un changement de plan est détecté est typiquement codée en Intra, tandis que les autres images de la séquence sont codées en Inter.
7o Pour minimiser la dégradation de qualité suite à la détection d'une perte totale ou partielle d'image à l'aide des informations reçues sur le canal de retour, le procédé selon l'invention favorise la reprise du codage non pas en Intra mais en Inter. Le procédé fait en sorte que cette reprise du codage en Inter puisse se faire relativement à une image de référence précédemment marquée à long terme.
Le module de contrôle 10 du codeur reçoit et analyse les informations du canal de retour. Au moment où il est informé d'une perte d'image au décodeur 2, l'image courante peut être codée de la façon suivante: - en Inter par rapport à une image de référence correspondant à la dernière image marquée à long terme si le détecteur 16 n'a signalé aucun changement de plan entre cette image de référence et l'image courante; - en Intra si un tel changement de plan est intervenu.
Il est à noter que dans certains cas, le module de contrôle 10 pourra décider de reprendre le codage en Inter relativement à une image de référence encore présente dans la fenêtre de N images à court terme conservées temporairement par le décodeur. Par exemple, si les stations A, B communiquent selon un protocole à acquittement d'images et si le codeur 1 constate qu'une image récente, encore présente dans la fenêtre de N images à court terme, a été acquittée, il pourra préférer reprendre le codage en Inter relativement à cette image, notamment si elle est plus récente que la dernière -10-image marquée à long terme.
Le module de contrôle 10 gère en outre le marquage à long terme des images de la séquence vidéo.
Dans une réalisation avantageuse, chaque détection d'un changement de plan par le détecteur 16 donne lieu au marquage à long terme par le module de contrôle 10 d'une image suivant le changement de plan détecté, de préférence la première image suivant le changement de plan. De façon concomitante, le module de contrôle 10 peut adresser au décodeur une commande de démarquage de la (ou des) image(s) précédemment marquée(s) à long terme.
Le canal de retour peut être organisé de plusieurs manières.
Dans un cas simple, il informe juste que des pertes ont eu lieu sur le réseau, sans apporter d'autres informations et en particulier sans identifier quelles images ont été perdues. Ces informations de retour sont généralement produites en amont du décodeur, par exemple par les couches protocolaires (notamment RTCP, "Real Time Control Protocol") de l'interface réseau 4 de la station B. Elles procèdent le plus souvent par acquittements négatifs, signalant la mauvaise réception du flux par la station B, mais pourraient aussi porter des acquittements positifs, signalant la bonne réception du flux par la station B. Dans une réalisation du procédé reposant sur un tel canal de retour, le module de contrôle 10 détermine au fil du temps des phases sans pertes dans lesquelles le flux est bien reçu par la station B (pas de perte signalée pendant un temps de latence de quelques secondes par exemple) et des phases avec pertes dans lesquelles la réception du flux par la station B est perturbée. Dans les phases sans pertes, il marque des images de la séquence vidéo de façon régulière, par exemple avec une périodicité de quelques dizaines à quelques centaines d'images. Dans les phases avec pertes, le module de contrôle 10 interrompt ce marquage régulier pour minimiser le risque d'utiliser une image de référence corrompue.
D'autres techniques de canal de retour peuvent être envisagées. Le canal de retour peut notamment fournir plus de précisions sur la quantité et la localisation de l'information perdue, par exemple sur la perte d'une partie d'une image ou sur le numéro de l'image perdue. Ce genre d'information de retour provient du décodeur vidéo lui-même, comme l'indique la ligne en pointillés sur la figure 3. Là aussi, ces informations de retour peuvent être sous forme d'acquittements positifs (signalent les images de la séquence qui ont été restituées) ou négatifs (signalent les images de la séquence qui n'ont pas pu être restituées). De tels procédés sont par exemple employés dans la norme ITU-T H.263+ (Annexe N) et sont transposables à d'autres normes telles que H.264.
Avec un canal de retour ainsi organisé, il est avantageux que le module de contrôle 10 marque à long terme des images de la séquence vidéo sélectionnées (par exemple de façon régulière ou suite à des changements de plan) parmi des images dont il sait qu'elles ont été bien restituées. On garantit ainsi que l'image de référence employée sera bien présente au décodeur.
En pratique, il se peut que le message de perte transféré du décodeur vers le codeur arrive avec un retard qui aura laissé se propager la perte pendant quelques images. L'amélioration liée à l'invention proposée reste néanmoins effective, car le délai de transmission sur le canal de retour aurait affecté de la même manière le codage en Intra de l'image suivant la prise de connaissance de la perte par le module de contrôle 10.
Un perfectionnement avantageux du procédé utilise de la redondance d'information pour transmettre au décodeur les images marquées à long terme, ce qui augmente la probabilité de disponibilité des images dans la mémoire 51 du décodeur en cas de difficultés de transmission entre les deux stations A, B. Une telle redondance est prévue dans la norme H.264 ("redundant coded picture").
De façon semblable, on peut assurer une qualité de codage optimale lors de la correction d'erreurs, en codant les images marquées à long terme avec une excellente qualité, ou du moins une qualité supérieure aux autres images de la séquence vidéo. Ceci est aisément réalisé, par exemple en diminuant le pas de quantification appliqué par le module 8. Pour respecter le débit-cible, ceci peut amener à renoncer à coder l'image suivant immédiatement l'image marquée. La prédiction d'image par rapport à l'image marquée à long terme suite à une perte ultérieure sera alors améliorée.
2880745 -13-
Claims (16)
1. Procédé de codage vidéo, comprenant les étapes suivantes: coder des images successives (F) d'une séquence vidéo pour générer des paramètres de codage, le codage d'au moins une image étant opéré 5 relativement à au moins une image précédente de la séquence vidéo; inclure les paramètres de codage dans un flux de sortie (d)) à transmettre à une station (B) comportant un décodeur (2); inclure dans le flux de sortie des commandes de marquage à long terme de certaines images de la séquence vidéo et des commandes de démarquage d'images précédemment marquées à long terme, chaque image marquée à long terme étant à conserver en mémoire par le décodeur jusqu'à réception d'une commande de démarquage de ladite image; recevoir de ladite station des informations de retour sur la restitution des 15 images de la séquence vidéo par le décodeur; et analyser les informations de retour pour identifier des images non ou mal restituées par le décodeur et, en réponse à l'identification d'une image non ou mal restituée, coder au moins une image suivante de la séquence vidéo relativement à une image précédente de la séquence vidéo sélectionnée parmi des images comprenant au moins une image marquée à long terme.
2. Procédé selon la revendication 1, comprenant en outre une étape de détection de changement de plan dans la séquence vidéo et, en réponse à la détection d'un changement de plan, le marquage à long terme d'une image suivant le changement de plan détecté.
3. Procédé selon la revendication 1 ou 2, dans lequel les informations de retour comprennent des informations produites en amont du décodeur (2), signalant la bonne ou mauvaise réception du flux par ladite station (B).
4. Procédé selon la revendication 3, dans lequel l'analyse des informations de retour comprend la détermination de premières phases dans lesquelles le flux est bien reçu par la station (B) et de secondes phases dans lesquelles la réception du flux par la station est perturbée, et dans lequel un marquage à long terme d'images de la séquence vidéo est régulièrement effectué dans chaque première phase déterminée et est interrompu dans chaque seconde phase déterminée.
5. Procédé selon l'une quelconque des revendications précédentes, dans lequel les informations de retour comprennent des informations issues du décodeur (2), signalant les images de la séquence qui ont ou non été restituées.
6. Procédé selon la revendication 5, dans lequel on marque à long terme des images de la séquence vidéo sélectionnées parmi des images qui, d'après les informations de retour, ont été bien restituées.
7. Procédé selon l'une quelconque des revendications précédentes, dans lequel les paramètres de codage des images marquées à long terme sont transmis à ladite station (B) avec de la redondance d'information.
8. Procédé selon l'une quelconque des revendications précédentes, dans lequel les images marquées à long terme sont codées avec une qualité 20 supérieure aux autres images de la séquence vidéo.
9. Programme d'ordinateur à installer dans un appareil de traitement vidéo (A), comprenant des instructions pour mettre en oeuvre les étapes d'un procédé de codage vidéo selon l'une quelconque des revendications 1 à 8 lors d'une exécution du programme par une unité de calcul dudit appareil.
10. Codeur vidéo (1), comprenant: - des moyens (5-8, 10, 15) de codage d'images successives (F) d'une séquence vidéo pour générer des paramètres de codage, le codage d'au moins une image étant opéré relativement à au moins une image précédente de la séquence vidéo; des moyens (9) de formation d'un flux de sortie ((D) du codeur à transmettre à une station (B) comportant un décodeur (2), le flux de sortie incluant lesdits paramètres de codage ainsi que des commandes de marquage à long terme de certaines images de la séquence vidéo et des commandes de démarquage d'images précédemment marquées à long terme, chaque image marquée à long terme étant à conserver en mémoire par le décodeur jusqu'à réception d'une commande de démarquage de ladite image; des moyens de réception depuis ladite station d'informations de retour sur la restitution des images de la séquence vidéo par le décodeur; et des moyens (10) d'analyse des informations de retour pour identifier des images non ou mal restituées par le décodeur et, en réponse à l'identification d'une image non ou mal restituée, commander les moyens de codage afin qu'au moins une image suivante de la séquence vidéo soit codée relativement à une image précédente de la séquence vidéo sélectionnée parmi des images comprenant au moins une image marquée à long terme.
11. Codeur vidéo selon la revendication 10, comprenant en outre des moyens (16) de détection de changement de plan dans la séquence vidéo et des moyens (10) répondant à la détection d'un changement de plan en marquant à long terme une image suivant le changement de plan détecté.
12. Codeur vidéo selon la revendication 10 ou 11, dans lequel les informations de retour comprennent des informations produites en amont du décodeur (2), signalant la bonne ou mauvaise réception du flux par ladite station (B), et dans lequel les moyens (10) d'analyse des informations de retour comprennent des moyens pour détecter des premières phases dans lesquelles le flux est bien reçu par la station et des secondes phases dans lesquelles la 3o réception du flux par la station est perturbée, et des moyens de marquage à long terme d'images de la séquence vidéo pour marquer régulièrement des images dans chaque première phase détectée et pour interrompre le marquage régulier dans chaque seconde phase détectée.
13. Codeur vidéo selon l'une quelconque des revendications 10 à 12, dans lequel les informations de retour comprennent des informations issues du décodeur (2), signalant les images de la séquence qui ont ou non été restituées, et dans lequel les moyens (10) d'analyse des informations de retour comprennent des moyens pour marquer à long terme des images de la séquence vidéo sélectionnées parmi des images qui, d'après les informations de retour, ont été bien restituées.
14. Codeur vidéo selon l'une quelconque des revendications 10 à 13, comprenant en outre des moyens (16) de détection de changement de plan dans la séquence vidéo, dans lequel le codage d'au moins une image suivante de la séquence vidéo relativement à une image marquée à long terme en réponse à l'identification d'une image non ou mal restituée est effectué à condition qu'aucun changement de plan ne soit détecté dans la séquence vidéo entre ladite image marquée à long terme et ladite image suivante.
15. Codeur vidéo selon l'une quelconque des revendications 10 à 14, dans lequel les moyens de formation du flux de sortie (d)) sont commandés pour transmettre les paramètres de codage des images marquées à long terme à ladite station (B) avec de la redondance d'information.
16. Codeur vidéo selon l'une quelconque des revendications 10 à 15, dans lequel les moyens de codage (5-8) sont commandés pour coder les images marquées à long terme avec une qualité supérieure aux autres images de la séquence vidéo.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR0500172A FR2880745A1 (fr) | 2005-01-07 | 2005-01-07 | Procede et dispositif de codage video |
| PCT/FR2005/003149 WO2006075061A1 (fr) | 2005-01-07 | 2005-12-15 | Procede et dispositif de codage video |
| US11/794,808 US20090097555A1 (en) | 2005-01-07 | 2005-12-15 | Video encoding method and device |
| EP05826580A EP1834488A1 (fr) | 2005-01-07 | 2005-12-15 | Procede et dispositif de codage video |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR0500172A FR2880745A1 (fr) | 2005-01-07 | 2005-01-07 | Procede et dispositif de codage video |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| FR2880745A1 true FR2880745A1 (fr) | 2006-07-14 |
Family
ID=34953005
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR0500172A Pending FR2880745A1 (fr) | 2005-01-07 | 2005-01-07 | Procede et dispositif de codage video |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20090097555A1 (fr) |
| EP (1) | EP1834488A1 (fr) |
| FR (1) | FR2880745A1 (fr) |
| WO (1) | WO2006075061A1 (fr) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2143269A2 (fr) * | 2007-04-09 | 2010-01-13 | Cisco Technology, Inc. | Gestion de trames de référence à long terme avec retour des erreurs pour communication vidéo comprimée |
| US8270307B2 (en) | 2008-09-05 | 2012-09-18 | Cisco Technology, Inc. | Network-adaptive preemptive repair in real-time video |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8638844B2 (en) * | 2008-07-01 | 2014-01-28 | Mediatek Inc. | Method and apparatus for storing decoded moving pictures with a reduced memory requirement |
| US8254449B2 (en) * | 2008-08-29 | 2012-08-28 | Georgia Tech Research Corporation | Video traffic bandwidth prediction |
| JP5215951B2 (ja) * | 2009-07-01 | 2013-06-19 | キヤノン株式会社 | 符号化装置及びその制御方法、コンピュータプログラム |
| US8254445B2 (en) * | 2009-08-06 | 2012-08-28 | Georgia Tech Research Corporation | Video transmission using video quality metrics |
| US8400918B2 (en) * | 2009-08-06 | 2013-03-19 | Georgia Tech Research Corporation | Video traffic smoothing |
| US8654838B2 (en) * | 2009-08-31 | 2014-02-18 | Nxp B.V. | System and method for video and graphic compression using multiple different compression techniques and compression error feedback |
| CN103167283B (zh) * | 2011-12-19 | 2016-03-02 | 华为技术有限公司 | 一种视频编码方法及设备 |
| JP6052319B2 (ja) * | 2015-03-25 | 2016-12-27 | Ｎｔｔエレクトロニクス株式会社 | 動画像符号化装置 |
| US10313685B2 (en) | 2015-09-08 | 2019-06-04 | Microsoft Technology Licensing, Llc | Video coding |
| US10595025B2 (en) * | 2015-09-08 | 2020-03-17 | Microsoft Technology Licensing, Llc | Video coding |
| US11595652B2 (en) * | 2019-01-28 | 2023-02-28 | Op Solutions, Llc | Explicit signaling of extended long term reference picture retention |
| EP3918801A4 (fr) * | 2019-01-28 | 2022-06-15 | OP Solutions, LLC | Sélection en ligne et hors ligne de rétention d'image de référence à long terme étendue |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5528284A (en) * | 1993-02-10 | 1996-06-18 | Hitachi, Ltd. | Video communication method having refresh function of coding sequence and terminal devices thereof |
| EP0763944A2 (fr) * | 1995-09-18 | 1997-03-19 | Oki Electric Industry Company, Limited | Codeur, décodeur et système de transmission de signaux vidéo |
| WO2003047269A1 (fr) * | 2001-11-21 | 2003-06-05 | General Instrument Corporation | Appareil et procedes permettant d'ameliorer la qualite de sequences video fournies a un dispositif d'affichage |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI261195B (en) * | 2004-02-25 | 2006-09-01 | Via Tech Inc | Optical drive control chip capable of transmitting command messages in advance and transmission method thereof |
| JP2005295505A (ja) * | 2004-03-12 | 2005-10-20 | Canon Inc | 動画像符号化装置及び動画像復号装置及びそれらの制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体 |
| JP4702928B2 (ja) * | 2004-03-12 | 2011-06-15 | キヤノン株式会社 | 動画像符号化装置及び復号装置及びその制御方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 |
-
2005
- 2005-01-07 FR FR0500172A patent/FR2880745A1/fr active Pending
- 2005-12-15 WO PCT/FR2005/003149 patent/WO2006075061A1/fr active Application Filing
- 2005-12-15 US US11/794,808 patent/US20090097555A1/en not_active Abandoned
- 2005-12-15 EP EP05826580A patent/EP1834488A1/fr not_active Ceased
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5528284A (en) * | 1993-02-10 | 1996-06-18 | Hitachi, Ltd. | Video communication method having refresh function of coding sequence and terminal devices thereof |
| EP0763944A2 (fr) * | 1995-09-18 | 1997-03-19 | Oki Electric Industry Company, Limited | Codeur, décodeur et système de transmission de signaux vidéo |
| WO2003047269A1 (fr) * | 2001-11-21 | 2003-06-05 | General Instrument Corporation | Appareil et procedes permettant d'ameliorer la qualite de sequences video fournies a un dispositif d'affichage |
Non-Patent Citations (6)
| Title |
|---|
| "WORKING DRAFT NUMBER 2, REVISION 2 (WD-2)", DOCUMENT JVT-B118R2, 29 January 2002 (2002-01-29), pages 1 - 10, XP001086630 * |
| ASBUN E ET AL: "Very low bit rate wavelet-based scalable video compression", IMAGE PROCESSING, 1998. ICIP 98. PROCEEDINGS. 1998 INTERNATIONAL CONFERENCE ON CHICAGO, IL, USA 4-7 OCT. 1998, LOS ALAMITOS, CA, USA,IEEE COMPUT. SOC, US, 4 October 1998 (1998-10-04), pages 948 - 952, XP010309099, ISBN: 0-8186-8821-1 * |
| BOYCE J M: "Packet loss resilient transmission of MPEG video over the Internet - Principles, Protocols, and Architecture", SIGNAL PROCESSING. IMAGE COMMUNICATION, ELSEVIER SCIENCE PUBLISHERS, AMSTERDAM, NL, vol. 15, no. 1-2, September 1999 (1999-09-01), pages 7 - 24, XP004180635, ISSN: 0923-5965 * |
| EL AL A A ET AL: "Improving interactive video in ad-hoc networks using path diversity", MOBILE AD-HOC AND SENSOR SYSTEMS, 2004 IEEE INTERNATIONAL CONFERENCE ON FORT LAUDERDALE, FL, USA 25-27 OCT. 2004, PISCATAWAY, NJ, USA,IEEE, US, 25 October 2004 (2004-10-25), pages 369 - 378, XP010765246, ISBN: 0-7803-8815-1 * |
| WANG Y ET AL: "ERROR RESILIENT VIDEO CODING TECHNIQUES REAL-TIME VIDEO COMMUNICATIONS OVER UNRELIABLE NETWORKS", IEEE SIGNAL PROCESSING MAGAZINE, IEEE INC. NEW YORK, US, July 2000 (2000-07-01), pages 61 - 82, XP002951457, ISSN: 1053-5888 * |
| ZHANG K ET AL: "Using scene-change detection and multiple-thread background memory for efficient video coding", ELECTRONICS LETTERS, IEE STEVENAGE, GB, vol. 35, no. 4, 18 February 1999 (1999-02-18), pages 290 - 291, XP006011823, ISSN: 0013-5194 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2143269A2 (fr) * | 2007-04-09 | 2010-01-13 | Cisco Technology, Inc. | Gestion de trames de référence à long terme avec retour des erreurs pour communication vidéo comprimée |
| EP2143269A4 (fr) * | 2007-04-09 | 2011-12-14 | Cisco Tech Inc | Gestion de trames de référence à long terme avec retour des erreurs pour communication vidéo comprimée |
| US8494049B2 (en) | 2007-04-09 | 2013-07-23 | Cisco Technology, Inc. | Long term reference frame management with error video feedback for compressed video communication |
| US8270307B2 (en) | 2008-09-05 | 2012-09-18 | Cisco Technology, Inc. | Network-adaptive preemptive repair in real-time video |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1834488A1 (fr) | 2007-09-19 |
| US20090097555A1 (en) | 2009-04-16 |
| WO2006075061A1 (fr) | 2006-07-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| FR2880745A1 (fr) | Procede et dispositif de codage video | |
| JP5384488B2 (ja) | フレーム損失によるリアルタイム映像アーチファクトを隠蔽する機構 | |
| US8798145B2 (en) | Methods for error concealment due to enhancement layer packet loss in scalable video coding (SVC) decoding | |
| US8638851B2 (en) | Joint bandwidth detection algorithm for real-time communication | |
| KR100541526B1 (ko) | 멀티미디어 데이터의 전송품질 측정방법 및 장치 | |
| FR2908585A1 (fr) | Procede et dispositif de transmission de donnees video. | |
| EP1834489A1 (fr) | Procede et dispositif de codage video | |
| EP2443835A1 (fr) | Codage de vecteurs mouvement par competition de predicteurs | |
| EP1972156B1 (fr) | Codage et decodage adaptatifs | |
| FR2946820A1 (fr) | Procede de transmission de donnees et dispositif associe. | |
| EP1302078B1 (fr) | Procede et dispositif de codage d'un flux d'images video | |
| EP1172958A1 (fr) | Système de communication, émetteur, mèthode de protection contre des erreurs de transmission | |
| EP1900223A2 (fr) | Procede et dispositif de codage video | |
| EP1241894A1 (fr) | Procédé de codage d'images numériques basé sur la dissimulation d'erreurs | |
| WO2014096638A1 (fr) | Procédé et dispositif de transmission d'une séquence d'images basé sur un codage région adaptatif | |
| EP2025174A1 (fr) | Utilisation d'un canal de retour pour la diffusion d'images | |
| EP1468565B1 (fr) | Procede et dispositif de compression de donnees video codees par paquets video | |
| WO2016059196A1 (fr) | Decodeur, procede et systeme de decodage de flux multimedia | |
| JP2006352784A (ja) | 伝送方法、受信装置及びコンピュータプログラム | |
| FR3041194A1 (fr) | Procede d'optimisation de transmission de flux de donnees video dans un reseau sans fil | |
| FR2728129A1 (fr) | Dispositif de multiplexage numerique de programmes video | |
| JP2001078198A (ja) | エラー隠蔽制御方法及び符号化装置及び画像信号伝送システム | |
| CN115665485A (zh) | 视频画面优化方法及装置、存储介质和视频终端 | |
| WO2018091812A1 (fr) | Procédé et dispositif de codage et de décodage d'une séquence multi-vues | |
| FR2910218A1 (fr) | Procedes et dispositifs de re-synchronisation lente d'un flux video endommage |