FR2855356A1 - Procede de codage et/ou de decodage de groupe d'images - Google Patents
Procede de codage et/ou de decodage de groupe d'images Download PDFInfo
- Publication number
- FR2855356A1 FR2855356A1 FR0306197A FR0306197A FR2855356A1 FR 2855356 A1 FR2855356 A1 FR 2855356A1 FR 0306197 A FR0306197 A FR 0306197A FR 0306197 A FR0306197 A FR 0306197A FR 2855356 A1 FR2855356 A1 FR 2855356A1
- Authority
- FR
- France
- Prior art keywords
- images
- image
- sequence
- determining
- configuration information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/62—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding by frequency transforming in three dimensions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
La présente invention concerne un procédé de codage et/ou de décodage de groupes d'images.Selon l'invention, lors de la décomposition temporelle d'un flux d'images dans le cadre d'un traitement en ondelettes 3D, pour minimiser le nombre de pixels non connectés on adapte le nombre d'images (GOP1, GOP2, ...), le choix de l'image de référence (R) et le sens de décomposition temporelle (S) pour chaque séquence d'images de type GOP.
Description
]
"Procédé de codage etlou de décodage de groupes d'images" La présente invention concerne un procédé de codage et/ou de décodage de groupes d'images.
L'invention s'applique dans le contexte de la compression vidéo se basant sur la décomposition par ondelettes 3D.
Dans l'état de la technique, on a déjà proposé d'utiliser la technique de la décomposition d'images par ondelettes 3D dans laquelle un groupe d'images ou GOP est décomposé selon un io processus qui applique à une image à deux dimensions ou 2D une décomposition par ondelettes. Sur cette base, on effectue ensuite une compression du flux de données le long de la dimension temporelle qui joue le rôle d'une troisième dimension.
Dans l'état de la technique, le point le plus délicat se situe i5 lors de la décomposition temporelle par ondelettes. Quand la décomposition temporelle a été effectuée, on a repéré les pixels qui sont reliés par un vecteur de mouvement dans la séquence d'images GOP. Or, on s'est aperçu que des pixels par lesquels aucun vecteur de mouvement ne passe sont manqués lorsque l'on 20 effectuer l'opération de compression le long de la dimension temporelle.
Pour résoudre ce problème et éviter de perdre de l'information lors du traitement, il faut donc appliquer un traitement particulier à ces pixels, ce qui réduit l'efficacité du 25 traitement en ondelettes.
Dans les schémas de codage vidéo usuels, on décrit le mouvement par des blocs, de 16 pixels de large par 16 pixels de haut, par exemple. Le problème soulevé ci-dessus est alors renvoyé aux frontières des blocs.
Pour résoudre ce problème, on a aussi pris en compte les trajectoires des pixels dans les deux sens de défilement de la séquence d'images: dans le sens naturel de la séquence d'images GOP et dans le sens opposé. Mais on double alors la quantité d'information de mouvement par rapport aux techniques conventionnelles.
Pour apporter remède à ces inconvénients de l'état de la technique, la présente invention consiste à choisir des données s de configuration de chaque séquence et un critère optimisant permettant de réduire le nombre de pixels non connectés dans chaque séquence d'images GOP.
Il en résulte que le nombre de pixels non connectés est notablement réduit sans nécessiter plus de traitements selon une io décomposition en ondelettes 3D.
En effet, la présente invention concerne un procédé de codage et/ou de décodage de séquences d'images, sur la base d'un traitement en ondelettes 3D. Le procédé de l'invention comporte une phase de codage qui comporte: une étape pour déterminer au moins une information de configuration du codage en ondelettes 3D comme la sélection d'une image de référence pour une séquence d'images successives, sur la base d'un critère optimisant prédéterminé; puis - une étape pour générer une unité d'informations de configuration comportant la donnée de l'image de référence pour ladite séquence d'images; et enfin - une étape pour exécuter le codage en ondelettes des dites informations de configuration, de façon à produire un flux de données codées réunion pour chaque séquence d'images d'informations de configuration et/ou des données ondelettes 3D des images de la séquence d'images.
Selon un aspect de l'invention, l'étape pour 30 moins une information de configuration comporte 3D sur la base comportant la d'une unité de codage en déterminer une étape au de décomposition par ondelettes dans au moins une image de test comme image de référence, puis une étape d'estimation de mouvement, puis une étape de détermination de l'image de la séquence d'images pour laquelle le nombre de pixels non connectés lors de l'étape d'estimation de mouvement est minimal, comme image de référence.
Selon un aspect de l'invention, l'étape pour déterminer au moins une information de configuration comporte une étape de 5 détermination de l'amplitude du mouvement dans au moins une image de test, puis une étape de détermination de l'image de la séquence d'images pour laquelle l'amplitude de mouvement dans l'image est minimale, comme image de référence, Selon un aspect de l'invention, l'étape pour déterminer au 0o moins une information de configuration comporte une étape de détermination d'une information de texture, par mesure des composantes haute fréquence, dans au moins une image de test, puis une étape de détermination de l'image de la séquence d'images pour laquelle l'information de texture est la plus riche, 15 comme image de référence.
Selon un aspect de l'invention, l'étape pour déterminer au moins une information de configuration comporte aussi la détermination du nombre d'images dans ladite séquence d'images.
Selon un aspect de l'invention, I'étape pour déterminer au moins une information de configuration comporte aussi la détermination d'au moins un sens de décomposition temporelle pour une séquence d'images.
Selon un aspect de l'invention, l'étape pour déterminer au 25 moins une information de configuration consiste: - dans une première étape: à constituer des séquences d'images GOP d'une taille prédéterminée, - dans une seconde étape: pour chaque séquence d'images, à sélectionner la première image de la séquence d'images comme 30 image de référence et un sens de décomposition temporelle dans le sens direct ou la dernière image de la séquence d'images comme image de référence et un sens de décomposition temporelle dans le sens inverse selon le choix qui minimise le nombre de pixels non connectés.
Selon un aspect de l'invention, l'étape pour déterminer au moins une information de configuration consiste: - dans une première étape: à constituer une séquence d'images GOP d'une taille prédéterminée, - dans une seconde étape: à exécuter le choix d'une image de référence, et en ce que le sens de décomposition temporelle est déterminé dans le sens direct pour les images de la séquence d'images qui suivent l'image de référence sélectionnée et dans le sens inverse pour les images de la séquence d'images qui précèdent l'image de référence sélectionnée.
Selon un aspect de l'invention, l'étape pour déterminer au moins une information de configuration comporte: - dans le sens direct entre images: une étape d'estimation du 15 mouvement, une étape de construction des trajectoires des points de mouvements dans l'estimation de mouvement directe et une étape de calcul du nombre de pixels non connectés lors de l'étape de construction des trajectoires; - dans le sens inverse entre images: une étape d'estimation du 20 mouvement dans le sens inverse entre images, une étape de construction des trajectoires des points de mouvements dans l'estimation de mouvement directe et une étape de calcul du nombre de pixels non connectés lors de l'étape de construction des trajectoires; - une étape de choix de la meilleure image de référence sur la base du plus faible nombre de pixels non connectés.
Selon un aspect de l'invention, l'étape pour déterminer au moins une information de configuration comporte: - une étape d'estimation du mouvement dans le sens direct 30 entre images et concurremment à une étape d'estimation du mouvement dans le sens inverse entre images; puis - une boucle est effectuée pour chaque image de la séquence GOP en cours d'adaptation au cours de laquelle successivement une étape de construction des trajectoires est exécutée, puis une étape de calcul du nombre des pixels non connectés; puis - une étape de sélection de la meilleure image de référence dans la séquence d'images GOP en cours d'adaptation est effectuée sur la base du plus faible nombre de points non connectés.
Selon un aspect de l'invention, le procédé comporte une phase de décodage qui consiste: - à décoder une unité d'informations de configuration déterminant des caractéristiques du codage en ondelettes 3D effectué sur un 10 flux de données binaires donné; puis - à effectuer une mise à jour des circuits de traitement de décodage en ondelettes 3D; et enfin - à effectuer le décodage du flux de données binaires représentatives d'une séquence d'images de façon à produire en 15 sortie au moins une séquence d'images contenues dans le flux de données binaires donné.
Selon un aspect de l'invention, le procédé est intégré à un schéma de compresseur-décompresseur vidéo par ondelettes 3D.
Selon un aspect de l'invention, le procédé est intégré à un 20 schéma de codage-décodage MPEGTM.
La sélection d'une image de référence, à partir de laquelle est effectué le calcul du mouvement dans un GOP, le sens de la décomposition temporelle sont réalisés en fonction du nombre de pixels connectés par ce mouvement, information qui peut être 25 combinée aux données de texture ou de mouvement du champ de vecteurs mouvement. L'efficacité de la décomposition en ondelettes 2D + T est améliorée avec le nombre de pixels connectés temporellement.
D'autres caractéristiques et avantages de la présente 30 invention seront mieux compris à l'aide de la description et des figures annexées parmi lesquelles: - les figures 1 à 5 sont des figures représentant les solutions de l'état de la technique, - les figures 6 à 9 représentent les différentes étapes du procédé de l'invention; - les figures 10 et 11 représentent des modes de réalisation particuliers de dispositifs mettant en oeuvre le procédé de lI'invention.
A la figure 1, on a représenté un mode de réalisation d'un schéma de compression par ondelettes 3D selon l'état de la technique. On remarquera que ce schéma de compression par ondelettes 3D peut aussi être utilisé une fois que le procédé de io l'invention aura été exécuté. On remarquera aussi que ce qui va être décrit en termes de procédé, pourrait être implémenté sous forme de blocs de traitement dans un calculateur de traitement de séquences d'images.
Lors d'une étape 1, on réalise l'acquisition ou la synthèse 15 d'une séquence d'images GOP, comprenant N images successives. La séquence GOP est alors transmise à une étape de décomposition par ondelettes 2 et parallèlement à une étape 3 d'estimation du mouvement entre images.
L'étape de décomposition par ondelettes comporte une 20 étape 2a d'analyse dans le domaine temporel et une étape 2b d'analyse dans le domaine spatial (fréquences de répétition de motifs, etc.) En pratique, dans l'état de la technique, l'étape d'estimation du mouvement 3 débute par le choix d'une image de 25 base dans la séquence d'images GOP qui est la dernière image de la séquence. Par différences entre images, entre image_2 et image_1, puis entre image_3 et image_2, etc. on réalise ensuite une estimation du mouvement. Quand cette estimation de mouvement a été effectuée, une information d'estimation de 30 mouvement est transmise par une information d'estimation de mouvement 8 à l'étape 2a d'analyse dans le domaine temporel pour la décomposition par ondelettes pour exécuter une décomposition monodimensionnelle en ondelettes dans le sens du mouvement.
Lors de cette décomposition par ondelettes, une séquence d'images transformées correspondant à des fréquences temporelles différentes est produite. La séquence d'images transformées en fréquences temporelles est alors traitée lors de 5 l'étape 2b de décomposition spatiale par une transformée en ondelettes 2D.
A la fin de l'étape d'estimation de mouvements de l'étape 3 des coefficients de mouvements représentatifs des vecteurs de mouvements dans la séquence d'images GOP est transmise à une I0 étape de codage des champs vectoriels représentatifs des mouvements dans la séquence d'images GOP.
A la fin de l'étape 2b d'analyse spatiale, des coefficients représentatifs des fréquences spatiales dans chaque image de la séquence d'images sont transmis à une entrée d'un circuit de 15 codage entropique.
Le codage entropique effectué à l'étape 4 comporte deux phases: modélisation préalable et codage proprement dit. La modélisation permet d'attribuer des probabilités à chaque symbole se trouvant dans le flot de données à traiter. Le codage 20 attribue à chaque symbole un mot binaire dont la longueur dépend de la probabilité associée. A cette fin, on utilise un schéma d'encodage comme le code de Huffman ou un codage arithmétique.
Les coefficients de codage issus du codage entropique 4 25 sont transmis à une première entrée d'une circuit de traitement de conformation de flux de données 6 dont une seconde entrée reçoit les composantes des champ vectoriels de mouvements issus de l'étape 3. L'ensemble constitue ainsi le flux de données des coefficients d'ondelettes 3D, sérialisé de façon à produire un train 30 de données binaires 7 auquel on peut appliquer tout traitement convenable ultérieur comme un traitement de cryptage, de stockage ou de transmission.
A la figure 2, on a représenté un diagramme qui illustre une technique de transformation monodimensionnelle, dans le cas d'une séquence d'images GOP de quatre images. Le filtrage temporel est effectué le long de la trajectoire de chaque point de l'image de base qui a été choisie lors de l'étape 3 d'estimation du mouvement. Chaque image référencée figure 2 en image_1, 5 image_2, .... est représentée sous la forme sérialisée de ses pixels qui correspond au schéma classique de transformation en ondelettes monodimensionnelle. A la figure 2, la trajectoire considérée passe donc par les positions repérées respectivement xl sur image_1, x2 sur image_2, etc. Les flèches F1, F2 et F3 représentent les déplacements inter-images successifs et permettent d'identifier les coefficients ondelettes correspondant à la trajectoire considérée pour l'ensemble de la séquence d'images GOP.
A la figure 3, on a représenté l'étape de décomposition en 15 ondelettes monodimensionnelles évoquée à l'étape 2 de la figure 1. Dans cet exemple, on considère une décomposition en deux niveaux d'un GOP de longueur 4, avec un filtrage temporel de longueur 2. Si on applique à la séquence de coefficients [x1, x2, x3, x4] une telle décomposition, on applique d'abord une étape 10 20 de filtrage passe-bas et un sous échantillonnage par 2 qui produit une paire de coefficients basse fréquence [L1, L2]. Parallèlement, on applique une étape 11 de filtrage passe-haut et un sous échantillonnage par 2 qui produit une paire de coefficients haute fréquence [H1, H2].
Puis, sur la paire de coefficients basse fréquence [L1, L2], on applique à nouveau une étape 12 de filtrage passe-bas et de sous échantillonnage par 2 qui produit un coefficient [LL] qui représente la composante fréquentielle temporelle la plus basse et en parallèle une étape 13 de filtrage passe-haut et de sous 30 échantillonnage par 2 qui produit un coefficient [LH] qui représente une composante fréquentielle intermédiaire. On a ainsi obtenu un lot de quatre coefficients de transformation fréquentielle temporelle en ondelettes [LL, LH, H1, H2]. De plus, dans la plupart des schémas actuels de compression d'images en ondelettes 3D, le champ F2 entre les images 2 et 3 n'est pas estimé, et c'est avec un champ estimé entre L1 et L2 que les filtrages 12 et 13 sont effectués.
Cette transformation est effectuée pour toute trajectoire 5 issue de l'image de référence, ce qui permet de produire des images transformées en fréquences temporelles qui sont représentées à la figure 4 et qui sont respectivement image_H1, image_H2, image_LH et image_LL. Les quatre coefficients correspondant au point de mouvement repéré dans les images image_1, image_2, ... de la figure 2 se retrouvent sous formes de leurs transpositions fréquentielles temporelles respectivement H1 sur image_H1, H2 sur image_H2, LH sur image_LH et LL sur imageLL. Il en résulte que la trajectoire considérée se retrouve sur le diagramme fréquentiel temporel de la figure 4.
Comme indiqué dans le préambule de la présente demande de brevet, à l'issue de la décomposition temporelle illustrée à la figure 4, des pixels par lesquels aucun vecteur de mouvement ne passe ne se voient attribué aucune valeur dans le domaine fréquentiel temporel de la Figure 5. On les appelle dans l'état de 20 la technique des pixels non connectés. Tous les autres pixels se trouvant affectés à des vecteurs de mouvement sont correctement traités. Cependant dans la transformée finale 8, si on ne rajoute pas d'information sur les pixels non connectés marqués " X " sur le diagramme à gauche référencé " image-1 " à la figure 5, o les 25 vecteurs de mouvement représentés qui connectent les autres pixels des diagrammes de la séquence {image_l, image_2, image_3, image_4} n'arrivent pas, la reconstruction d'une telle séquence sera faiblement fidèle à la séquence d'images GOP de départ.
Le procédé de l'invention reprend exactement les éléments de l'état de la technique tel qu'il a été défini ci-dessus. Le flux de données consiste dans un flux d'images " naturelles " comme des images produites à l'aide d'une caméra, ou comme des images produites à l'aide d'un générateur d'images de synthèse. Le procédé de l'invention principalement à associer une unité d'informations de configuration du codage par ondelettes 3D au flux de données décrit à la sortie 7 du codeur classique. Les informations de configuration du codage assurent une réponse optimale à un critère de coût du schéma de codage.
Deux modes peuvent être implémentés: - le mode unidirectionnel, ou " forward/backward " (direct/inverse). Dans ce mode, le sens de la compensation en mouvement doit être constant au sein d'un GOP. Dans ce mode, seules la première et la dernière image du GOP sont candidates au choix de l'image de référence - le mode bidirectionnel, pour lequel toutes les images du GOP sont candidates au choix de l'image de référence. Dans ce mode, les deux sens de compensation en mouvement peuvent être utilisés de part et d'autre de l'image de référence.
Les figures 6 et 7 illustrent le mode unidirectionnel, ou " forward/backward " (direct/inverse); les figures 8 et 9 illustrent le mode bidirectionnel.
A la figure 6, on a représenté la décomposition d'un flux 20 d'images dans le mode unidirectionnel, o un seul sens de compensation est admis par séquence d'images GOP. Chaque image est représentée dans le domaine temporel par un trait vertical. Le flux d'images est séparé dans la séquence temporelle des images de la gauche vers la droite en trois séquences 25 d'images GOP qui sont désignées successivement dans le temps par GOP1, GOP2 et GOP3.
Selon l'invention, le nombre d'images de chaque séquence GOP1, GOP2, GOP3,
. est lié à une contrainte de majoration du nombre de pixels non connectés par GOP...DTD: Selon l'invention, le choix de l'image de référence R, marquée par un trait fort, est conduit selon un critère donné.
Plusieurs exemples de critères sont donnés ci-dessous.
Un premier critère est la minimisation du nombre de pixels non connectés dans le GOP. Dans ce cas, on calcule le nombre de pixels non connectés dans le GOP pour chacun des deux sens de compensation en mouvement. On choisit alors le sens et l'image de référence qui minimisent le nombre de pixels non connectés pour l'ensemble du GOP.
Un second critère est la minimisation de l'amplitude du mouvement. Dans ce cas, on mesure, pour chacun des deux sens l'amplitude du mouvement dans l'ensemble du GOP, par exemple en calculant la somme des carrés des composantes de chaque vecteur mouvement de chaque champ. Puis on choisit le sens et o0 l'image de référence qui présente l'amplitude de mouvement minimale.
Un troisième critère est la richesse en information de l'image de référence. Dans ce cas, on mesure l'information de texture de la première et de la dernière image, par l'amplitude des 5 hautes fréquences de leur décomposition en ondelettes respective, et on choisit la plus riche comme image de référence.
Dans l'exemple représenté à la figure 6, on remarque que les séquences d'images dans le flux d'images sont définies de la manière suivante dans le tableau suivant: Séquence Taille Image de référence Sens GOP1 4 images Dernière image " backward " GOP2 8 images Dernière image " backward " GOP3 4 images Première image " forward " A la figure 7, on a représenté une réalisation du procédé 25 de l'invention, dans le mode unidirectionnel, utilisant la minimisation du nombre de pixels non connectés, Les étapes identifiées peuvent être chacune exécutées sur un processeur identifiable ou partie de processeur identifiable sous forme d'un circuit d'exécution du procédé et un dispositif de mise en oeuvre 30 en est directement dérivé.
Lors d'une étape 20, un flux d'images est acquis et transmis à une étape 21 d'estimation du mouvement dans le sens positif entre images et concurremment à une étape 22 d'estimation du mouvement dans le sens négatif entre images.
Puis, on exécute la construction des trajectoires des points de mouvements lors d'étapes 24 pour l'estimation de mouvement directe 21 et 25 pour l'estimation de mouvement inverse 22.
Puis, on exécute le calcul du nombre de pixels non 5 connectés lors d'une étape 26 pour la construction de trajectoires de l'étape 24 et 27 pour la construction de trajectoires de l'étape 25.
Enfin on choisit le meilleur sens de compensation de mouvement dans l'étape 28 pour produire à l'étape 29 le flux 10 binaire représentatif de la transformée spatiale de la séquence d'images GOP ainsi adaptée.
Le choix du meilleur sens de compensation de mouvement est réalisé à l'étape 28 par le plus petit des nombres de pixels non connectés relevés à l'étape 26 ou à l'étape 27.
On remarque que si le sens positif est détecté comme minimisant le nombre de pixels non connectés, l'image de référence choisie est la dernière de la séquence d'images GOP en cours d'adaptation. Inversement, si le sens négatif est détecté comme minimisant le nombre de pixels non connectés, I'image de 20 référence choisie est la première de la séquence d'images GOP en cours d'adaptation.
On peut élargir l'invention en permettant à toutes les images du GOP d'être candidates au choix de l'image de référence. C'est le mode bidirectionnel Les deux sens de 25 décomposition temporelle peuvent être alors retenus pour une même séquence d'images GOP, de part et d'autre de l'image de référence.
A la figure 8; on a représenté une partie de flux d'images séparées en trois séquences d'images GOP, qui reprennent les 30 mêmes codages que ceux expliqués à l'aide de la figure 6.
Seulement, chaque séquence GOP comporte un ou deux sens de décomposition S et S'. Quand deux sens de décomposition S et S' sont prévus, I'image de référence est déterminé à l'intérieur de la séquence GOP.
Dans ce mode, le choix de l'image de référence R peut être effectué suivant les mêmes critères que dans le mode unidirectionnel, c'est-à-dire la minimisation du nombre de pixels non connectés sur l'ensemble du GOP, la minimisation de 5 l'amplitude de mouvement dans l'ensemble du GOP, et le choix de l'image A la figure 9, on a représenté une réalisation du procédé de l'invention dans le mode bidirectionnel, c'est-à-dire quand toutes les images du GOP sont candidates au choix de l'image de 10 référence, avec le critère de minimisation du nombre de pixels non connectés. A nouveau, les étapes identifiées peuvent être chacune exécutée sur un processeur identifiable ou partie de processeur identifiable sous forme d'un circuit d'exécution du procédé et un dispositif de mise en oeuvre en est directement 1 5 dérivé.
Lors d'une étape 30, un flux d'images est acquis et transmis à une étape 31 d'estimation du mouvement dans le sens positif entre images et concurremment à une étape 32 d'estimation du mouvement dans le sens négatif entre images.
Puis une boucle 33 est effectuée pour chaque image de la séquence GOP en cours d'adaptation au cours de laquelle successivement une étape 34 de construction des trajectoires est exécutée, puis une étape 35 de calcul du nombre des pixels non connectés.
Puis, une étape de sélection de la meilleure image de référence R dans la séquence d'images GOP en cours d'adaptation est effectuée. Dans la figure 9, le critère de sélection de la meilleure image de référence est celui du plus faible nombre de points non connectés.
Le procédé de l'invention est intégré à un schéma de compresseurdécompresseur vidéo par ondelettes 3D. Dans une telle application, le procédé de l'invention est mis en oeuvre dans trois lieux distincts qui peuvent être: - un lieu dans lequel l'étape de codage est mise en oeuvre un lieu dans lequel l'état dans lequel le flux de données binaires comprenant l'unité d'informations de configuration et les données de codage en ondelettes 3D existe sous forme de signal de transmission ou encore de support de données enregistrées; et - un lieu dans lequel l'étape de décodage est mise en oeuvre.
Selon un aspect de l'invention, le procédé est intégré dans un schéma de codage-décodage MPEGTM. Cette disposition est particulièrement pertinente dans le cadre de la mise en oeuvre de la norme MPEG-7.
A la figure 10, on a représenté un schéma-bloc détaillant un mode de réalisation d'un dispositif de codage en ondelettes 3D mettant en oeuvre le procédé de l'invention.
Un tel dispositif comporte une borne d'entrée 100 d'un flux de données vidéo 106, qui est reliée à l'entrée d'un circuit analyseur de groupes d'images 101 dont une première borne de sortie 107 est connectée à une borne d'entrée 109' d'un circuit 103 générateur d'unités d'informations de configuration du codage en ondelettes 3D et à une borne d'entrée 109 d'un codeur en 20 ondelettes 3D 102 proprement dit, pour leur fournir des données de configuration définissant le traitement en ondelettes 3D à appliquer, selon le procédé de l'invention décrit ci-dessus. Le circuit 101 comporte enfin une seconde borne de sortie pour poursuivre le traitement en ondelettes 3D sur le codeur en 25 ondelettes 3D 102 proprement dit.
Des bornes de sortie 110 du codeur 102 et 111 du circuit générateur 103 sont connectées à des entrées correspondantes d'un circuit 104 réalisant une mise en forme d'un flux de données binaires FDB présenté à sa sortie 105 et qui comporte selon un 30 protocole déterminé une séquence: - d'une unité d'informations de configuration du codage en ondelettes 3D associée à une séquence d'images GOP; et - d'un flux de données binaires correspondant au résultat du codage en ondelettes 3D de la séquence d'images GOP correspondante.
Le flux de données ainsi constitué peut être transmis à un 5 nouveau circuit de traitement, à un dispositif d'enregistrement ou encore à une ligne de transmission.
A la figure 11, on a représenté un schéma bloc détaillant un mode de réalisation d'un dispositif de décodage en ondelettes 3D mettant en oeuvre le procédé de l'invention.
Un tel dispositif comporte une borne d'entrée 120 connectée à un circuit de discrimination 121 dont des bornes de sortie 126 et 127 sont respectivement connectées respectivement à un circuit générateur d'informations de configuration de décodage 3D 122 et à un circuit de décodage en ondelettes 3D 15 123. Quand le flux de données binaires issues du circuit de la figure 10 est transmis à la borne d'entrée 120, les données sont analysées par le discriminateur 121 de sorte que, sur une première borne de sortie 126 du discriminateur 121, soient présentées des informations caractéristiques du codage en 20 ondelettes 3D appliqué au flux de données binaires.
Ce dernier est alors présenté à la sortie 127 du discriminateur et chargé dans le décodeur 123. Ce dernier comporte une borne d'entrée deconfiguration qui reçoit les informations de configuration issues d'une borne 128 du circuit 25 générateur d'informations de configuration 122 sur la base des informations contenues dans chaque unité d'informations de configuration comme la donnée de l'image de référence, le sens de décomposition et/ou le nombre d'images de la séquence d'images représentée dans le flux de données 120. A la borne de sortie 124 est présente la séquence des images GOP décodées.
La présente invention trouve application dans le domaine de la compression vidéo se basant sur la décomposition par ondelettes 3D. Elle peut donc être intégrée à un schéma de compresseur-décompresseur vidéo par ondelettes 3D.
La présente invention trouve application dans un schéma de codage hybride classique, et particulièrement dans un schéma de type MPEG dans lequel les images de type I et les images de type P servent d'images de référence. Dans ce cas le procédé de 5 I'invention est intégré dans un schéma de codage-décodage MPEG.
Claims (10)
1 - Procédé de codage et/ou de décodage de séquences d'images, sur la base d'un traitement en ondelettes 3D, caractérisé en ce qu'il comporte une phase de codage qui comporte: - une étape pour déterminer au moins une information de configuration du codage en ondelettes 3D comme la sélection d'une image de référence pour une séquence d'images successives, sur la base d'un critère optimisant l0 prédéterminé; puis - une étape pour générer une unité d'informations de configuration comportant la donnée de l'image de référence pour ladite séquence d'images; et enfin - une étape pour exécuter le codage en ondelettes 3D sur la base 15 des dites informations de configuration, de façon à produire un flux de données codées comportant la réunion pour chaque séquence d'images d'une unité d'informations de configuration et/ou des données de codage en ondelettes 3D des images de la séquence d'images.
2 - Procédé selon la revendication 1, caractérisé en ce que l'étape pour déterminer au moins une information de configuration comporte une étape de décomposition par ondelettes dans au moins une image de test comme image de référence, puis une étape d'estimation de mouvement, puis une 25 étape de détermination de l'image de la séquence d'images pour laquelle le nombre de pixels non connectés lors de l'étape d'estimation de mouvement est minimal, comme image de référence.
3 - - Procédé selon la revendication 1, caractérisé en ce 30 que l'étape pour déterminer au moins une information de configuration comporte une étape de détermination de l'amplitude du mouvement dans au moins une image de test, puis une étape de détermination de l'image de la séquence d'images pour laquelle l'amplitude de mouvement dans l'image est minimale, comme image de référence, 4 - Procédé selon la revendication 1, caractérisé en ce que l'étape pour déterminer au moins une information de 5 configuration comporte une étape de détermination d'une information de texture, par mesure des composantes haute fréquence, dans au moins une image de test, puis une étape de détermination de l'image de la séquence d'images pour laquelle l'information de texture est la plus riche, comme image de l0 référence.
- Procédé selon la revendication 1, caractérisé en ce que l'étape pour déterminer au moins une information de configuration comporte aussi la détermination du nombre d'images dans ladite séquence d'images.
6 - Procédé selon la revendication 1, caractérisé en ce que l'étape pour déterminer au moins une information de configuration comporte aussi la détermination d'au moins un sens de décomposition temporelle pour une séquence d'images.
7 - - Procédé selon la revendication 1, caractérisé en ce 20 que l'étape pour déterminer au moins une information de configuration consiste: - dans une première étape: à constituer des séquences d'images GOP d'une taille prédéterminée, - dans une seconde étape: pour chaque séquence d'images, à 25 sélectionner la première image de la séquence d'images comme image de référence et un sens de décomposition temporelle dans le sens direct ou la dernière image de la séquence d'images comme image de référence et un sens de décomposition temporelle dans le sens inverse selon le choix qui minimise le 30 nombre de pixels non connectés.
8 - Procédé selon la revendication 1, caractérisé en ce que l'étape pour déterminer au moins une information de configuration consiste: - dans une première étape: à constituer une séquence d'images GOP d'une taille prédéterminée, - dans une seconde étape: à exécuter le choix d'une image de référence, et en ce que le sens de décomposition temporelle est déterminé dans le sens direct pour les images de la séquence d'images qui suivent l'image de référence sélectionnée et dans le sens inverse pour les images de la séquence d'images qui précèdent l'image de référence sélectionnée.
9 - Procédé selon la revendication 8, caractérisé en ce que l'étape pour déterminer au moins une information de configuration comporte: - dans le sens direct entre images: une étape (21) d'estimation du mouvement, une étape (24) de construction des trajectoires s 5des points de mouvements dans l'estimation de mouvement directe et une étape (26) de calcul du nombre de pixels non connectés lors de l'étape (24) de construction des trajectoires; - dans le sens inverse entre images: une étape (22) d'estimation du mouvement dans le sens inverse entre images, une étape (25) 20 de construction des trajectoires des points de mouvements dans l'estimation de mouvement directe et une étape (27) de calcul du nombre de pixels non connectés lors de l'étape (25) de construction des trajectoires; - une étape (28) de choix de la meilleure image de référence sur 25 la base du plus faible nombre de pixels non connectés.
- Procédé selon la revendication 1, caractérisé en ce que l'étape pour déterminer au moins une information de configuration comporte: - une étape (31) d'estimation du mouvement dans le sens 30 direct entre images et concurremment à une étape (32) d'estimation du mouvement dans le sens inverse entre images puis - une boucle (33) est effectuée pour chaque image de la séquence GOP en cours d'adaptation au cours de laquelle successivement une étape (34) de construction des trajectoires est exécutée, puis une étape (35) de calcul du nombre des pixels non connectés; puis - une étape (36) de sélection de la meilleure image de référence 5 (R) dans la séquence d'images GOP en cours d'adaptation est effectuée sur la base du plus faible nombre de points non connectés.
11 - Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce qu'il comporte une phase de décodage qui consiste: - à décoder une unité d'informations de configuration déterminant des caractéristiques du codage en ondelettes 3D effectué sur un flux de données binaires donné; puis - à effectuer une mise à jour des circuits de traitement de 15 décodage en ondelettes 3D; et enfin - à effectuer le décodage du flux de données binaires représentatives d'une séquence d'images de façon à produire en sortie au moins une séquence d'images contenues dans le flux de données binaires donné.
12 - Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce qu'il est intégré à un schéma de compresseurdécompresseur vidéo par ondelettes 3D.
13 - Procédé selon l'une quelconque des revendications 1 à 12, caractérisé en ce qu'il est intégré à un schéma de codage25 décodage MPEGTM.
Priority Applications (9)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR0306197A FR2855356A1 (fr) | 2003-05-23 | 2003-05-23 | Procede de codage et/ou de decodage de groupe d'images |
| US10/558,140 US7864863B2 (en) | 2003-05-23 | 2004-05-01 | Method for encoding and/or decoding groups of images |
| JP2006530435A JP4990622B2 (ja) | 2003-05-23 | 2004-05-12 | 画像のグループを符号化及び／又は復号化するための方法 |
| KR1020057022298A KR101011894B1 (ko) | 2003-05-23 | 2004-05-12 | 영상의 그룹을 코딩 또는 디코딩하기 위한 방법 |
| CN200480012420A CN100591127C (zh) | 2003-05-23 | 2004-05-12 | 编解码画面组的方法 |
| PCT/FR2004/050190 WO2004107761A1 (fr) | 2003-05-23 | 2004-05-12 | Procede de codage et/ou de decodage de groupes d'images |
| EP04785573A EP1636996A1 (fr) | 2003-05-23 | 2004-05-12 | Procede de codage et/ou de decodage de groupes d'images |
| TW093114357A TWI339071B (en) | 2003-05-23 | 2004-05-21 | Method of coding and/or decoding groups of pictures |
| MYPI20041955A MY135286A (en) | 2003-05-23 | 2004-05-21 | " method of coding and/or decoding groups of pictures " |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR0306197A FR2855356A1 (fr) | 2003-05-23 | 2003-05-23 | Procede de codage et/ou de decodage de groupe d'images |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| FR2855356A1 true FR2855356A1 (fr) | 2004-11-26 |
Family
ID=33396691
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR0306197A Pending FR2855356A1 (fr) | 2003-05-23 | 2003-05-23 | Procede de codage et/ou de decodage de groupe d'images |
Country Status (9)
| Country | Link |
|---|---|
| US (1) | US7864863B2 (fr) |
| EP (1) | EP1636996A1 (fr) |
| JP (1) | JP4990622B2 (fr) |
| KR (1) | KR101011894B1 (fr) |
| CN (1) | CN100591127C (fr) |
| FR (1) | FR2855356A1 (fr) |
| MY (1) | MY135286A (fr) |
| TW (1) | TWI339071B (fr) |
| WO (1) | WO2004107761A1 (fr) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7983835B2 (en) | 2004-11-03 | 2011-07-19 | Lagassey Paul J | Modular intelligent transportation system |
| EP3014774A4 (fr) * | 2013-06-24 | 2017-04-05 | Intel Corporation | Configuration de compression/décompression (codec) dynamique |
| JP5759652B1 (ja) * | 2014-10-28 | 2015-08-05 | 楽天株式会社 | 情報処理装置、情報処理方法、プログラム及び記憶媒体 |
| KR102301232B1 (ko) | 2017-05-31 | 2021-09-10 | 삼성전자주식회사 | 다채널 특징맵 영상을 처리하는 방법 및 장치 |
| US11030480B2 (en) | 2018-08-31 | 2021-06-08 | Samsung Electronics Co., Ltd. | Electronic device for high-speed compression processing of feature map of CNN utilizing system and controlling method thereof |
| US20210385003A1 (en) * | 2020-06-09 | 2021-12-09 | Qualcomm Incorporated | Broadcasting packets using network coding with feedback |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001078402A1 (fr) * | 2000-04-11 | 2001-10-18 | Koninklijke Philips Electronics N.V. | Procede de codage et de decodage video |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000295622A (ja) * | 1999-04-02 | 2000-10-20 | Nippon Telegr & Teleph Corp <Ntt> | 動画像符号化方法、動画像符号化装置、動画像復号方法、動画像復号装置及びそれらのプログラムを記憶した記憶媒体 |
| US6549673B1 (en) * | 1999-10-28 | 2003-04-15 | Lucent Technologies Inc. | Wavelet-based compression of images for storage, transmission and reconstruction using hierarchical subband decomposition |
| US6795504B1 (en) * | 2000-06-21 | 2004-09-21 | Microsoft Corporation | Memory efficient 3-D wavelet transform for video coding without boundary effects |
| US20030202599A1 (en) * | 2002-04-29 | 2003-10-30 | Koninklijke Philips Electronics N.V. | Scalable wavelet based coding using motion compensated temporal filtering based on multiple reference frames |
| WO2004049723A1 (fr) * | 2002-11-27 | 2004-06-10 | Koninklijke Philips Electronics N.V. | Procede de codage video |
| TWI255146B (en) * | 2003-12-04 | 2006-05-11 | Nec Corp | Moving picture encoding method and device, and moving picture decoding method and device, and storage medium |
-
2003
- 2003-05-23 FR FR0306197A patent/FR2855356A1/fr active Pending
-
2004
- 2004-05-01 US US10/558,140 patent/US7864863B2/en not_active Expired - Fee Related
- 2004-05-12 EP EP04785573A patent/EP1636996A1/fr not_active Withdrawn
- 2004-05-12 CN CN200480012420A patent/CN100591127C/zh not_active Expired - Fee Related
- 2004-05-12 JP JP2006530435A patent/JP4990622B2/ja not_active Expired - Fee Related
- 2004-05-12 KR KR1020057022298A patent/KR101011894B1/ko not_active IP Right Cessation
- 2004-05-12 WO PCT/FR2004/050190 patent/WO2004107761A1/fr active Application Filing
- 2004-05-21 MY MYPI20041955A patent/MY135286A/en unknown
- 2004-05-21 TW TW093114357A patent/TWI339071B/zh not_active IP Right Cessation
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001078402A1 (fr) * | 2000-04-11 | 2001-10-18 | Koninklijke Philips Electronics N.V. | Procede de codage et de decodage video |
Non-Patent Citations (1)
| Title |
|---|
| CHOI S-J ET AL: "MOTION-COMPENSATED 3-D SUBBAND CODING OF VIDEO", IEEE TRANSACTIONS ON IMAGE PROCESSING, IEEE INC. NEW YORK, US, vol. 8, no. 2, February 1999 (1999-02-01), pages 155 - 167, XP000831916, ISSN: 1057-7149 * |
Also Published As
| Publication number | Publication date |
|---|---|
| US7864863B2 (en) | 2011-01-04 |
| KR101011894B1 (ko) | 2011-02-01 |
| JP4990622B2 (ja) | 2012-08-01 |
| MY135286A (en) | 2008-03-31 |
| WO2004107761A1 (fr) | 2004-12-09 |
| CN1784906A (zh) | 2006-06-07 |
| TWI339071B (en) | 2011-03-11 |
| EP1636996A1 (fr) | 2006-03-22 |
| CN100591127C (zh) | 2010-02-17 |
| KR20060027796A (ko) | 2006-03-28 |
| JP2007503782A (ja) | 2007-02-22 |
| US20060233256A1 (en) | 2006-10-19 |
| TW200509702A (en) | 2005-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2777270B1 (fr) | Procédé de codage et décodage d'images, dispositif de codage et décodage et programmes d'ordinateur correspondants | |
| EP2777269B1 (fr) | Procédé de codage et décodage d'images, dispositif de codage et décodage et programmes d'ordinateur correspondants | |
| EP1721470B1 (fr) | Procede de codage et de decodage d'une sequence d'images par analyse temporelle hierarchique | |
| FR2724083A1 (fr) | Procede d'estimation du mouvement bidirectionnel et dispositif correspondant | |
| FR2820255A1 (fr) | Procedes de codage et de decodage d'images, dispositifs, systemes, signaux et applications correspondants | |
| WO2015059400A1 (fr) | Procédé de codage et de décodage d'images, dispositif de codage et de décodage d'images et programmes d'ordinateur correspondants | |
| WO2006016029A1 (fr) | Procede et dispositif de codage d’une sequence d’images video en coefficients de sous-bandes de frequence de differentes resolutions spatiales | |
| JP2005515729A (ja) | ビデオ符号化方法 | |
| FR2886787A1 (fr) | Procede et dispositif de codage et de decodage d'une sequence d'images | |
| FR2855356A1 (fr) | Procede de codage et/ou de decodage de groupe d'images | |
| EP0603947B1 (fr) | Dispositif de codage de signaux numériques représentatifs d'images de télévision | |
| EP1600003B1 (fr) | Procede de codage d'une image video prenant en compte la parite relative a une composante du vecteur de mouvement | |
| FR2887711A1 (fr) | Procede de codage et decodage hierarchique | |
| EP1766999B1 (fr) | Procede et dispositif de codage d'une sequence d'images video | |
| EP3854090A1 (fr) | Procédés et dispositifs de codage et de décodage d'un flux de données représentatif d'au moins une image | |
| FR2849329A1 (fr) | Procede de codage d'une image par ondelettes, procede de decodage, dispositifs, signal et applications correspondantes | |
| JP2006502677A (ja) | 無制約及びリフティング型動き補償時間フィルタ処理のための効率的動きベクトル予測 | |
| WO2020058593A1 (fr) | Procédés et dispositifs de codage et de décodage d'un flux de données représentatif d'au moins une image | |
| FR2957744A1 (fr) | Procede de traitement d'une sequence video et dispositif associe | |
| WO2020002795A1 (fr) | Procédés et dispositifs de codage et de décodage d'un flux de données représentatif d'au moins une image | |
| FR2899744A1 (fr) | Procede et dispositif de codage et de decodage d'une image, notamment d'une sequence d'images video, signal correspondant et produit programme d'ordinateur | |
| WO2006108736A1 (fr) | Procédé et dispositif de quantification progressive, procédé et dispositif de quantification inverse, programmes informatiques, signal et support de données correspondants | |
| FR2820256A1 (fr) | Procedes de codage et de decodage d'images, dispositifs, systemes signaux et applications correspondantes | |
| FR2813486A1 (fr) | Procede et dispositif de transformation de donnees | |
| FR2683968A1 (fr) | Procede de codage/decodage d'images video numeriques et codeur/decodeur permettant de mettre en óoeuvre le procede. |