FR3104360A1 - Procédé de compression d’une séquence d’images montrant des éléments graphiques synthétiques d’origine non photographique - Google Patents

Procédé de compression d’une séquence d’images montrant des éléments graphiques synthétiques d’origine non photographique Download PDF

Info

Publication number
FR3104360A1
FR3104360A1 FR1914090A FR1914090A FR3104360A1 FR 3104360 A1 FR3104360 A1 FR 3104360A1 FR 1914090 A FR1914090 A FR 1914090A FR 1914090 A FR1914090 A FR 1914090A FR 3104360 A1 FR3104360 A1 FR 3104360A1
Authority
FR
France
Prior art keywords
image
descriptor
graphic element
synthetic
code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR1914090A
Other languages
English (en)
Other versions
FR3104360B1 (fr
Inventor
Marco Cagnazzo
Attilio FIANDROTTI
Christophe Ruellan
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institut Mines Telecom IMT
Safran Data Systems SAS
Original Assignee
Zodiac Data Systems SAS
Telecom ParisTech
Institut Mines Telecom IMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to FR1914090A priority Critical patent/FR3104360B1/fr
Application filed by Zodiac Data Systems SAS, Telecom ParisTech, Institut Mines Telecom IMT filed Critical Zodiac Data Systems SAS
Priority to CA3160498A priority patent/CA3160498A1/fr
Priority to US17/783,971 priority patent/US20230047115A1/en
Priority to CN202080092720.9A priority patent/CN115516859A/zh
Priority to PCT/FR2020/052382 priority patent/WO2021116615A1/fr
Priority to EP20845171.6A priority patent/EP4074041A1/fr
Priority to IL293730A priority patent/IL293730A/en
Publication of FR3104360A1 publication Critical patent/FR3104360A1/fr
Application granted granted Critical
Publication of FR3104360B1 publication Critical patent/FR3104360B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Processing Or Creating Images (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Image Analysis (AREA)

Abstract

Procédé de compression d’une séquence d’images comprenant une première image et une deuxième image, le procédé comprenant des étapes de : génération (102) d’un premier descripteur comprenant des paramètres d’affichage d’un élément graphique synthétique dans la première image, l’élément graphique synthétique étant d’origine non photographique, et les paramètres d’affichage ne comprenant pas de valeurs de pixels ; traitement de la deuxième image, de sorte à déterminer (208) un évènement ayant induit une potentielle variation de paramètres d’affichage de l’élément graphique synthétique entre la première image et la deuxième image ; génération (210) d’un deuxième descripteur comprenant un code d’évènement indicatif de l’évènement déterminé. Figure pour l’abrégé : Fig. 4

Description

Procédé de compression d’une séquence d’images montrant des éléments graphiques synthétiques d’origine non photographique
DOMAINE DE L'INVENTION
La présente invention se rapporte au domaine du traitement d’images.
L’invention concerne plus spécifique un procédé de compression d’une séquence d’images.
ETAT DE LA TECHNIQUE
Des vidéos affichées sur des écrans se trouvant dans un cockpit d’aéronef ont des caractéristiques spécifiques. Les images de telles vidéos montrent des éléments graphiques synthétiques (lignes, polygones, cercles, caractères), superposés à un arrière-plan. Les éléments graphiques synthétiques sont d’origine non photographique dans le sens où leur tracé a été déterminé entièrement par un ordinateur, et non pas par un appareil photographique ou une caméra. Dans l’exemple d’image de lafigure 1, l’arrière-plan est d’origine photographique. Dans l’exemple d’image de lafigure 2, l’arrière-plan est uni, d’origine non photographique.
Ces vidéos doivent être compressées pour transmission et stockage.
Il a été proposé un procédé de compression dans lequel les éléments graphiques synthétiques et l’arrière-plan d’une image sont compressés séparément, pour augmenter le taux de compression de l’image.
En particulier, pour coder un élément graphique synthétique montré dans une image, est généré un descripteur comprenant des paramètres d’affichage de l’élément graphique synthétique dans l’image. Les paramètres d’affichage ne comprennent pas de valeurs de pixels. Le caractère synthétique de l’élément graphique permet de pouvoir décrire visuellement cet élément graphique à l’aide de paramètres d’affichage moins volumineux que l’ensemble des valeurs des pixels occupés par cet élément graphique dans la première image, et ce sans perte.
Chaque image d’une vidéo est ainsi compressée de la même manière, avec des descripteurs spécifiques pour ses éléments graphiques synthétiques, et des données indépendantes pour compresser l’arrière-plan de l’image.
Un but de l’invention est de compresser de manière encore plus efficace une séquence d’images montrant des éléments graphiques synthétiques.
Il est à cet effet proposé, selon un premier aspect, un procédé de compression d’une séquence d’images comprenant une première image et une deuxième image, le procédé comprenantdes étapes de:
- génération d’un premier descripteur comprenant des paramètres d’affichage d’un élément graphique synthétique dans la première image, l’élément graphique synthétique étant d’origine non photographique, et les paramètres d’affichage ne comprenant pas de valeurs de pixels,
- traitement de la deuxième image, de sorte à déterminer un évènement ayant induit une potentielle variation de paramètres d’affichage de l’élément graphique synthétique entre la première image et la deuxième image,
- génération d’un deuxième descripteur comprenant un code d’évènement indicatif de l’évènement déterminé.
Le premier descripteur contient des paramètres d’affichage qui se suffisent à eux-mêmes pour permettre de tracer un élément graphique synthétique. Le deuxième descripteur, lui, indique ce qui a potentiellement changé par rapport au premier descripteur. Le deuxième descripteur suit ainsi une logique incrémentale, et peut de ce fait être de taille beaucoup plus réduite que le premier descripteur.
En conséquence, le débit de transmission des données une fois compressées peut être augmenté. Dit d’une autre manière, à débit de transmission constant, il peut être transmis des données représentatives de davantage d’images.
Le procédé selon le premier aspect peut comprendre les caractéristiques suivantes, prises seules ou combinées entre elles lorsque cela est techniquement possible.
De préférence, lorsqu’il est déterminé que la deuxième image ne montre pas l’élément graphique synthétique, le code d’évènement a une valeur indicative d’une disparition d’élément graphique synthétique.
De préférence, lorsqu’il est déterminé que la deuxième image montre l’élément graphique synthétique déplacé par rapport à la première image, le code d’évènement a une valeur indicative d’un déplacement d’élément graphique synthétique.
De préférence, le deuxième descripteur comprend des données de positionnement permettant, seules ou en combinaison avec le premier descripteur, de déterminer une position de l’élément graphique synthétique dans la deuxième image.
De préférence, les données de positionnement comprennent un vecteur de déplacement entre une position de l’élément graphique synthétique dans la première image et une position de l’élément graphique synthétique dans la deuxième image.
De préférence, le procédé comprend une comparaison entre, d’une part, le déplacement de l’élément graphique synthétique entre la première image et la deuxième image, et, d’autre part, un seuil prédéfini, et dans lequelle code d’évènement a la valeur indicative d’un déplacement seulement si ledit déplacement de l’élément graphique synthétique est inférieur au seuil prédéfini.
De préférence, lorsqu’il est déterminé que la deuxième image montre un élément graphique qui est différent de l’élément graphique synthétique montré dans la première image, mais qui occupe la même position, le code d’évènement a une valeur indicative d’un changement d’élément graphique synthétique, et le deuxième descripteur comprend des données caractérisant ce changement.
De préférence, lorsqu’il est déterminé que la deuxième image montre l’élément graphique de manière inchangée par rapport à la première image, le code d’évènement a une valeur indicative d’une absence de changement d’élément graphique.
De préférence, les paramètres d’affichage sont autosuffisants pour permettre une restitution de l’élément graphique synthétique tel que montré dans la première image sur la base desdits paramètres d’affichage. Alternativement, la séquence d’image comprend par ailleurs une image antérieure à la première image, et le premier descripteur comprend un code d’évènement indicatif d’un évènement ayant induit une potentielle variation de paramètres d’affichage de l’élément graphique synthétique entre l’image antérieure et la première image.
De préférence, lorsqu’il est déterminé que la première image ou que la deuxième image montre un arrière-plan sur lequel est superposé un élément graphique synthétique, il est mis en œuvre une modification de l’image de sorte à obtenir une image d’arrière-plan, la modification comprenant un filtrage passe-bas appliqué à des valeurs de pixels de l’image montrant l’élément graphique synthétique, et une compression de l’image d’arrière-plan de manière indépendante des étapes de génération du premier descripteur et du deuxième descripteur.
De préférence, l’étape de traitement est restreinte à une portion de la deuxième image.
De préférence, l’étape de traitement est mise en œuvre par un réseau de neurones convolutif.
De préférence, le premier élément synthétique est un caractère, un polygone, un menu, une grille, ou une partie d’un menu ou d’une grille.
De préférence, l’arrière-plan est d’origine photographique.
De préférence, lorsque l’élément graphique synthétique est un caractère, le premier descripteur comprend un code propre au caractère, et optionnellement un code renseignant sur une police dans laquelle le caractère est montré dans la deuxième image et/ou un code renseignant sur une couleur du caractère dans la deuxième image.
Il est également proposé un procédé de décompression de données obtenues par le procédé de compression selon le premier aspect.
Il est également proposé un produit programme d'ordinateur comprenant des instructions de code de programme pour l'exécution des étapes du procédé selon le premier aspect, lorsque ce programme est exécuté par un ordinateur.
Il est également proposé une mémoire lisible par ordinateur stockant des instructions exécutables par l’ordinateur pour l’exécution des étapes du procédé selon le premier aspect.
DESCRIPTION DES FIGURES
D’autres caractéristiques, buts et avantages de l’invention ressortiront de la description qui suit, qui est purement illustrative et non limitative, et qui doit être lue en regard des dessins annexés sur lesquels :
Les figures 1 et 2 sont deux exemples d’images montrées sur un écran d’un cockpit d’aéronef.
La figure 3 représente de manière schématique un dispositif de traitement d’image selon un mode de réalisation.
La figure 4 est un organigramme d’étapes d’un procédé selon un mode de réalisation de l’invention.
Les figures 5 et 6 sont deux exemples d’images susceptibles d’être compressées au moyen du procédé de la figure 4.
La figure 7 représente schématiquement une chaîne de descripteurs générés pour différentes images d’une séquence d’image.
Sur l’ensemble des figures, les éléments similaires portent des références identiques.
DESCRIPTION DETAILLEE DE L'INVENTION
En référence à lafigure 1, un dispositif de traitement 1 d’une séquence d’images comprend au moins un processeur 2 et une mémoire 4.
Le dispositif de traitement 1 comprend une entrée 6 adaptée pour recevoir une séquence d’images à compresser, ou des données à décompresser.
Le processeur 2 est adapté pour exécuter un programme de compression ou décompression, ce programme de compression comprenant lui-même des instructions de code de programme pour l’exécution d’un procédé de compression ou de décompression qui va être décrit ci-après.
La mémoire 4 est adaptée pour stocker des données reçues par l’entrée 6, ainsi que des données générées par le processeur 2. La mémoire 4 comprend typiquement au moins une unité mémoire 4 volatile (RAM par exemple) et au moins une unité mémoire 4 non volatile (Flash, disque dur, SSD, etc.) pour stocker des données de manière persistante.
Le dispositif de traitement 1 comprend par ailleurs une sortie 8 par laquelle sont fournies des données résultant d’une compression ou d’une décompression mise en œuvre par le processeur 2 exécutant le programme susmentionné.
On suppose qu’une séquence d’images est reçue via l’entrée 6 du dispositif de traitement 1 et mémorisée dans la mémoire 4.
Chaque image est une matrice de pixels, chaque pixel ayant une position qui lui est propre, et des données de couleur. On suppose dans ce qui suit que toutes les images de la séquence sont de mêmes dimensions (hauteur, largeur).
Les images de la séquence montrent typiquement un arrière-plan, pouvant être d’origine photographique, ou d’origine non photographique (c’est-à-dire synthétique).
Les images sont susceptibles de montrer des éléments graphiques superposés à l’arrière-plan, ces éléments étant d’origine synthétique, c’est-à-dire non photographique.
Un éléments graphique synthétique peut par exemple être: un caractère, un polygone, un menu, une grille, ou une partie d’un menu ou d’une grille. Ces éléments synthétiques sont réguliers dans le sens où ils ont été tracés de manière exacte à l’aide d’un nombre fini de paramètres d’affichage qui ne sont pas des valeurs de pixels.
Par exemple, dans le cas d’un caractère, ce caractère peut être défini par les paramètres d’affichage suivants: un code de caractère, un code renseignant sur une police du caractère, et un code renseignant sur une couleur du caractère. Tous ces codes permettent de tracer le caractère dans une image. Il est entendu que le caractère est quelconque: il peut s’agir d’un caractère alphanumérique ou de tout autre symbole (ponctuation, flèche, symbole mathématique, etc.).
Lorsque l’élément graphique est un menu, une grille ou une partie de menu ou de grille, l’élément graphique est constitué d’un nombre fini de segments rectilignes ou courbes.
Chaque élément graphique synthétique occupe un certain nombre de pixels dans une image de la séquence.
En référence à l’organigramme de lafigure 4, un procédé de compression de la séquence d’image mis en œuvre par le dispositif 1 comprend les étapes suivantes.
Le processeur 2 traite une première image de la séquence, de sorte à en analyser le contenu (étape 100). Dans la suite, cette première image est appelée «image de référence».
Le traitement mis en œuvre lors de l’étape 100 est adapté pour détecter les éléments suivants dans l’image de référence: son arrière-plan, et d’éventuels élément graphiques synthétique superposés à cet arrière-plan. Par «éventuel», on veut signifier que le processeur 2 peut détecter l’absence d’élément graphiques dans l’image de référence, ou qu’il peut détecter la présence d’au moins un tel élément.
Pour déterminer quels éléments graphiques synthétiques sont présents dans l’image de référence, le processeur 2 peut se fonder sur une bibliothèque d’éléments graphiques synthétiques prédéfinis. Plus précisément, le processeur 2 compare le contenu d’une zone de l’image de référence avec un élément de la bibliothèque, et estime une probabilité de correspondance entre les éléments comparés. Si cette probabilité est supérieure à un seuil prédéfini, le processeur 2 considère que l’élément de la bibliothèque est bel est bien montré dans la zone de l’image de référence. Sinon, le processeur 2 répète les mêmes étapes sur la base d’un autre élément de la bibliothèque. Le processeur 2 conclut qu’aucun élément graphique n’est représenté dans l’image de référence dans le cas où il atteint la fin du dictionnaire, sans que le seuil prédéfini n’ait été franchi.
Alternativement, cette étape 100 est mise en œuvre par un réseau de neurones convolutif. Ce réseau de neurone a été préalablement entraîné de sorte à pouvoir reconnaître les différents éléments du dictionnaire. Le réseau de neurones convolutif ne fonctionne pas selon une logique séquentielle, ce qui présente l’avantage d’une exécution rapide, une fois l’apprentissage effectué.
Dans ce qui suit, on suppose que le processeur 2 a déterminé lors de l’étape 100 la présence d’au moins un élément graphique synthétique dans l’image de référence.
Avantageusement, l’étape 100 est restreinte à une portion de l’image de référence. Dans le présent texte, une «portion» d’image n’est pas nécessairement d’un seul tenant. Cette portion peut comprendre une ou plusieurs zones prédéfinies, chaque zone prédéfinie ayant chacune une position, une taille et une forme prédéfinies (par exemple rectangulaire). Ces zones prédéfinies peuvent être connexes ou disjointes dans l’image de référence, mais ne recouvrent pas l’entièreté de l’image de référence. Cette restriction constitue un avantage, car permet de limiter la charge de calcul consacrée à la détermination d’élément graphiques synthétiques. Cette restriction ne pose pas d’inconvénients lorsque l’on sait à l’avance où peuvent se trouver des éventuels éléments graphiques.
Pour chaque élément graphique synthétique trouvé dans l’image de référence, le processeur 2 génère un descripteur associé à l’élément graphique synthétique (étape 102). Ce descripteur comprend des paramètres d’affichage de l’élément graphique synthétique dans l’image de référence.
Les paramètres d’affichage ne comprennent pas de valeurs de pixels. Le caractère synthétique de l’élément graphique permet de pouvoir décrire visuellement cet élément graphique à l’aide de paramètres d’affichage moins volumineux que l’ensemble des valeurs des pixels occupés par cet élément graphique dans l’image de référence.
Le descripteur est le résultat d’un codage sans perte de l’élément graphique synthétique qui lui est associé, dans le sens où les paramètres d’affichage donnent des informations permettant une restitution de l’élément graphique conforme à l’original.
Les paramètres d’affichage d’un élément graphique synthétique comprennent des données indicatives de la position de l’élément graphique dans l’image de référence. Ces données de position comprennent typiquement un couple de coordonnées dans l’image (coordonnée verticale v, et coordonnée horizontale h).
Les paramètres d’affichages comprennent au moins un paramètre additionnel, venant en plus de ces données de position. Le nombre de paramètres additionnels dépend de la nature du premier élément synthétique, qui peut être plus ou moins complexe.
Prenons par exemple le cas où l’élément graphique synthétique est un caractère. Dans ce cas, les paramètres d’affichage de cet élément graphique comprennent un code propre au caractère (code ASCII par exemple, ou autre). Ce code de caractère peut être le seul paramètre d’affichage additionnel venant en sus des données de position, dans le premier descripteur.
Le code de caractère peut être complété par:
  • un code de la police à utiliser pour afficher le caractère (ex: Arial, Times, etc.).
  • un code renseignant sur la couleur du caractère. Il est à noter que ce code est une information globale qui ne se rapporte pas uniquement à un pixel du premier élément graphique, mais se rapport cet élément graphique dans son ensemble. Ce code peut être représentatif d’une couleur unie, ou représentatif d’un dégradé de couleurs, etc.
En variante, le code de la police et le code couleur sont prédéfinis, dans le sens où le dispositif de traitement sait à l’avance que le caractère qui se trouve dans la zone prédéfinie a forcément une police et une couleur prédéfinies. Il n’est donc dans ce cas pas nécessaire de coder ces informations dans le descripteur.
Les étapes qui précèdent sont répétées le cas échéant pour chaque élément graphique synthétique trouvé dans l’image de référence, de sorte à produire une pluralité de descripteurs, chaque descripteur se rapportant à un élément graphique synthétique de l’image de référence.
Dans la suite, les descripteurs ainsi générés sont appelés descripteurs de type «intra». Ces descripteurs de type «intra» contiennent des informations qui se suffisent à elles-mêmes pour permettre de tracer un élément graphique synthétique représenté dans une image (ici l’image de référence).
La pluralité de descripteurs de type «intra» est mémorisée dans la mémoire 4 sous la forme d’un tableau, chaque ligne du tableau étant un des descripteurs de type «intra».
On a représenté enfigure 5un exemple de première image, contenant différents éléments graphiques synthétiques étant tous des caractères. Est obtenu à partir de cette image d’exemple le tableau 1 de descripteurs de type «intra» représenté ci-dessous.
Ligne Caractère v h p
1 A 30 20 0
2 B 30 28 0
3 C 30 36 0
4 D 30 44 0
5 E 30 52 0
6 F 30 100 0
7 G 30 108 0
8 H 30 116 0
9 1 40 20 0
10 2 40 28 0
11 3 40 36 0
12 4 40 44 0
13 5 40 52 0
14 Z 70 20 0
15 Y 70 28 0
16 X 70 36 0
17 W 70 44 0
Dans cet exemple, le descripteur de type «intra» généré pour le caractère «A» situé en haut à gauche de l’image de référence est la seconde ligne du tableau 1. Ce descripteur comprend: le code du caractère «A», la position verticale v=30 du caractère (correspondant à un numéro de ligne de l’image de référence), la position horizontale h=20 du caractère (correspondant à un numéro de colonne de l’image de référence), et un code de police p, ici de valeur égale à zéro. On constate que ces paramètres suffisent à permettre une restitution exacte ultérieure de l’élément graphique «A», sans pour autant que ceux-ci ne comprennent de valeurs de pixels. C’est pourquoi les descripteurs «intra» ci-dessus sont sans perte.
Les autres lignes du tableau 1 contiennent les mêmes paramètres d’affichages, permettant d’afficher d’autres caractères se trouvant dans l’image de référence représentée en figure 5.
Le processeur 2 met par ailleurs en œuvre un traitement de peinture («inpainting» en anglais), qui modifie l’image de référence de sorte à obtenir une image d’arrière-plan (étape 104). Pour obtenir cette image d’arrière-plan, le processeur 2 remplace les valeurs de pixels de l’image de référence occupés par les éléments graphiques synthétiques détectés par d’autres valeurs de pixel adaptées pour réduire, voire même éliminer des fréquences spatiales élevées dans le spectre de l’image de référence. Ce remplacement de valeurs de pixels est donc un filtrage passe-bas appliqués aux pixels de l’image de référence. Le spectre de l’image modifiée comprend donc moins de composantes en des fréquences élevées que le spectre de l’image de référence, avant le traitement de peinture.
Un tel filtrage passe-bas peut typiquement être obtenu en calculant la moyenne de valeurs de pixels de l’arrière-plan connexes à des pixels des éléments graphiques synthétiques.
Supposons par exemple que l’image de référence contienne des éléments graphiques synthétiques en noir, et que l’arrière-plan soit blanc, comme c’est le cas de l’image de la figure 5. Dans ce cas, le traitement de peinture peut remplacer les pixels noirs des éléments graphiques synthétiques par des pixels blancs, ce qui permet d’obtenir une image d’arrière-plan entièrement blanche.
Prenons comme autre exemple une autre image contenant des éléments graphiques synthétiques de type caractère ayant une couleur blanche avec des contours noirs, superposés à un arrière-plan d’origine photographique dans des nuances de gris, comme par exemple l’image de la figure 1. Dans ce cas, le traitement de peinture peut remplacer les pixels blancs et noirs des éléments graphiques synthétiques de type caractère par la moyenne de valeurs de pixels de l’arrière-plan.
L’image modifiée résultant du traitement de peinture est ensuite compressée par le processeur 2 selon une méthode connue de l’état de la technique, par exemple la méthode HEVC (étape 106). Cette compression 106 est indépendante des étapes de génération des descripteurs associés aux éléments graphiques synthétiques. La compression 106 peut être effectué en parallèle de l’étape 102, avant celle-ci ou après celle-ci.
En définitive, les éléments graphiques synthétiques de l’image de référence et l’arrière-plan de l’image de référence sont compressés séparément dans les étapes 102 et 106.
La séquence d’images reçue contient par ailleurs une deuxième image, qui est postérieure à l’image de référence dans la séquence. La deuxième image peut suivre immédiatement l’image de référence dans la séquence, ou pas.
On a représenté enfigure 6un exemple de deuxième image. Le contenu de cette deuxième image a varié par rapport à l’image de référence. Par exemple, l’élément graphique «A» discuté précédemment n’occupe plus tout à fait la même place. Certains éléments graphiques synthétiques se sont substitués à d’autres. Certains éléments graphiques ont disparu, et d’autres sont apparus (par exemple le caractère K).
Le processeur 2 met en œuvredes étapes 200, 202, 204, 206 qui sont respectivement identiques aux étapes 100, 102, 104, et 106 décrites précédemment, mais appliquées à la deuxième image.
En particulier, est obtenue à l’issue de l’étape 202 une pluralité de nouveaux descripteurs de type «intra», de même format que les descripteurs de type «intra» générés pour l’image de référence, mais contenant des valeurs potentiellement différentes. Le tableau formé par la pluralité de nouveaux descripteurs de type «intra» générés pour l’exemple de deuxième image de la figure 6 est le suivant.
Ligne Caractère v h p
1 A 30 28 0
2 B 30 36 0
3 C 30 44 0
4 5 30 52 0
5 L 30 82 0
6 F 30 100 0
7 G 30 108 0
8 H 30 116 0
9 1 40 20 0
10 2 40 28 0
11 6 40 36 0
12 4 40 44 0
13 D 40 52 0
14 Z 70 20 0
15 Y 70 28 0
16 X 70 36 0
17 W 70 44 0
18 K 80 68 0
Par exemple, il a été indiqué précédemment que le caractère A a changé de position dans la deuxième image représentée en figure 6, comparativement à l’image de référence représentée en figure 5. Ce changement de position se matérialise par un nouveau descripteur de type «intra» généré pour la deuxième image, et contenant des données de positions différentes de celles consignées dans le descripteur de type «intra» se rapportant à A et généré pour l’image de référence (ici, la position horizontale h est passée de 20 à 28). En revanche, le caractère A n’a pas changé de police; le code de police p est donc le même que les deux descripteurs se rapportant au caractère A de l’image de référence et de la deuxième image, respectivement.
Toutefois, la compression des éléments graphiques synthétiques de la deuxième image n’est pas encore terminée à ce stade, à la différence de ce qui a été effectué pour l’image de référence.
Le processeur 2 détermine un évènement ayant induit une potentielle variation de paramètres d’affichage d’un élément graphique synthétique entre l’image de référence et la deuxième image (étape 208).
Le processeur 2 génère un deuxième descripteur associé à la deuxième image, comprenant un code d’évènement indicatif de l’évènement déterminé, et que l’on appellera dans la suite descripteur de type «inter» (étape 210).
Le processeur 2 répète ces deux étapes 208, 210 pour chaque élément graphique trouvé dans l’image de référence ou dans la deuxième image (donc référencé dans un descripteur de type «intra» généré pour l’image de référence ou pour la deuxième image, à l’issue des étapes 102 et/ou 202).
Est ainsi obtenu une pluralité de descripteurs de type «inter», se rapportant chacun à un élément graphique synthétique de l’image de référence ou de la deuxième image. La pluralité de descripteurs de type «inter» forme un tableau, chaque descripteur étant une ligne du tableau.
Une fois que tous les descripteurs de type «inter» ont été générés, les descripteurs «intra» pour la deuxième image peuvent être supprimés de la mémoire 4.
Un descripteur de type «inter» n’a pas le même format que qu’un descripteur de type «intra». Comme indiqué précédemment, un descripteur de type «intra» contient des paramètres d’affichage qui se suffisent à eux-mêmes pour permettre de tracer un éléments graphique synthétique. Un descripteur de type «inter» indique quant à lui ce qui a potentiellement changé par rapport à un descripteur de type «intra», ce qui permet au descripteur de type «inter» d’être beaucoup moins volumineux qu’un descripteur «intra» pour différents types d’évènements qui seront détaillés plus loin.
Un descripteur de type «inter» peut comprendre un renvoi vers l’image de référence, permettant de localiser la première image dans la séquence d’image. Ce renvoi se présente par exemple sous la forme d’un écart de position entre la première image et la deuxième image dans la séquence d’images. Par exemple, dans le cas où la deuxième image suit immédiatement la première image dans la séquence, cet écart vaut 1. Dans le cas où il existe une ou plusieurs images intermédiaires entre la première image et la deuxième image, cet écart serait un entier strictement supérieur à 1. Ceci signifie alors qu’on a conservé le tableau des descripteurs intra de la première image comme référence pour la deuxième image plutôt que de choisir le tableau de descripteurs intra de l’une des images intermédiaires.
L’inclusion d’un tel renvoi dans un descripteur de type «inter» reste toutefois facultatif. En effet, il peut être envisagé qu’un descripteur de type «inter» renvoie implicitement à l’image qui précède immédiatement la deuxième image dans la séquence d’image.
Alternativement ou en complément, il peut encore être prévu d’inclure dans un descripteur de type «inter» un renvoi à la première image seulement dans le cas où la première image ne précède pas immédiatement la deuxième image dans la séquence d’images.
Un descripteur de type «inter» peut en outre comprendre un renvoi vers un descripteur de type «intra»de l’image de référence. Ce renvoi peut désigner le numéro de la ligne du descripteur dans le tableau de descripteurs généré pour l’image de référence, lorsque le descripteur «inter» modifie le descripteur «intra» qui y est référencé.
Toutefois, là encore, un renvoi vers un descripteur de type «intra» n’est pas obligatoire dans un descripteur de type «inter». Il peut en effet être fait en sorte que le descripteur de type «inter» occupe la même ligne de tableau que le descripteur de type «intra» qu’il modifie. Dans ce cas, ce sont les positions des descripteurs dans leurs tableaux respectifs qui permet de déduire implicitement la correspondance logique de l’un vers l’autre.
En définitive, il existe toujours un lien logique depuis un descripteur «inter» vers un descripteur «intra», mais ce lien logique peut être explicite ou implicite dans le descripteur «inter».
Outre le code d’évènement (et les éventuels renvois vers une image et/ou un descripteur susmentionnés), un descripteur de type «intra» peut comprendre des données supplémentaires, qui dépendent de l’évènement déterminé.
Est représenté ci-dessous un tableau de descripteurs de type «inter» obtenu pour la deuxième image de la figure 6.
Ligne Code d’évènement Données supplémentaires
1 Displaced δx=8, δy=0
2 Displaced δx=8, δy=0
3 Displaced δx=8, δy=0
4 SKIP -
5 Changed Code=5
6 NEW Code=L, v=80, h=68, p=0
7 Unchanged -
8 Unchanged -
9 Unchanged -
10 Unchanged -
11 Unchanged -
12 Changed Code=6
13 Unchanged -
14 Changed Code=D
15 Unchanged -
16 Unchanged -
17 Unchanged -
18 Unchanged -
19 NEW Code=K, v=80, h=68, Police=0
On va à présenter détailler différents types d’évènements déterminables, et le contenu du descripteur de type «inter» généré dans chacun de ces cas.
Absence de changement d’un élément graphique synthétique
Prenons le cas d’un élément graphique qui a été trouvé dans la première image en une position donnée.
Lorsqu’il est déterminé que la deuxième image montre le premier élément graphique, de manière inchangée par rapport à la première image (c’est-à-dire à la même position et avec strictement le même rendu), le code d’évènement inclus dans le descripteur de type «inter» a une valeur «Unchanged» indicative d’une absence de changement du premier élément graphique entre la première image et la deuxième image.
Pour détecter ce cas, le processeur 2 peut tout simplement identifier que les deux tableaux de descripteurs de type «intra» générés respectivement pour la première image et pour la deuxième image contiennent un même descripteur identique.
Déplacement d’élément graphique synthétique
Dans un autre cas, un élément graphique synthétique a été trouvé par le processeur 2 dans la première image à une certaine position, et a également été trouvé par le processeur 2 dans la deuxième image, mais à une position différente (les paramètres d’affichages de cet élément graphique synthétique autres que sa position étant par ailleurs identiques dans la première image et dans la deuxième image).
Pour détecter ce cas de déplacement, le processeur 2 peut identifier que les deux tableaux de descripteurs de type «intra» générés respectivement pour la première image et pour la deuxième image contiennent deux descripteurs qui ne diffèrent l’un de l’autre que par leurs données de position.
Ce cas s’applique notamment au caractère A représenté dans les deux images d’exemple des figures 5 et 6.
Dans ce cas de déplacement, le descripteur de type «inter» généré comprend des données de positionnement permettant, seules ou en combinaison avec le descripteur «intra» auquel il se réfère, de déterminer une position de l’élément graphique synthétique dans la deuxième image.
Ces données de positionnement comprennent typiquement un vecteur de déplacement entre la position de l’élément graphique synthétique dans la première image et la position de l’élément graphique dans la deuxième image. Le vecteur de déplacement comprend typiquement une composante horizontale δx, et une composante verticale δy. Ce vecteur de déplacement est calculé comme une différence entre la position entre l’élément graphique dans la première image et la position de l’élément graphique dans la deuxième image.
De préférence, le descripteur de type «inter» n’est rempli avec le code de déplacement «Displaced» (et les données associées susmentionnées) qu’à condition que le déplacement de l’élément graphique soit inférieur à un seuil prédéfini. Dans le cas contraire, un autre code d’évènement est utilisé (voir les autres cas exposés ci-dessous).
Disparition d’élément graphique synthétique
Considérons à présent le cas où le processeur 2 détermine que la deuxième image ne montre plus un élément graphique synthétique qui était montré dans la première image.
Pour détecter ce cas, le processeur 2 identifie que la pluralité de descripteurs de type «intra» générés pour la deuxième image contient un descripteur pour un élément graphique synthétique, mais que la pluralité de descripteurs de type «intra» générés pour la première image ne contient pas un tel descripteur.
Dans ce cas, le code d’évènement a une valeur SKIP indicative d’une disparition du premier élément graphique synthétique.
On a vu précédemment que le code d’évènement «Displaced» indicatif d’un déplacement d’élément graphique synthétique est utilisée à condition que le déplacement subi par un élément graphique entre la première image et la deuxième image est inférieur à un seuil prédéterminé.
Lorsque cette condition n’est pas remplie, un descripteur de type «inter» se rapportant à l’élément graphique disparu est généré avec le code SKIP.
Changement d’élément graphique synthétique à la même position
Considérons à présent le cas où le processeur 2 détermine que la première image et la deuxième image montrent respectivement deux éléments graphiques synthétiques différents à la même position.
Cette différence peut être de nature diverse. Il peut s’agir notamment d’une différence de forme et/ou de couleur. Dans le cas de caractères, un caractère peut s’être substitué à un autre caractère, entre la première image et la deuxième image.
En pratique, le processeur 2 détecte ce cas lorsqu’il constate qu’une même position est référencée dans un descripteur de type «intra» généré pour la première image et aussi dans un nouveau descripteur de type «intra» généré pour la deuxième image, mais que ces deux descripteurs ont au moins un paramètre dont les valeurs diffèrent (autre que la position).
Lors d’une telle détection, le processeur 2 inclut dans le deuxième descripteur un code d’évènement «Changed» ayant une valeur indicative d’un changement du premier élément graphique synthétique entre la première image et la deuxième image.
Dans ce cas, le deuxième descripteur comprend également des données qui caractérisent ce changement. Si le premier descripteur et le nouveau descripteur comprenant la même position comprennent d’autres paramètres d’affichage inchangés, ceux-ci ne sont pas inclus dans le deuxième descripteur. Autrement dit, seul les paramètres d’affichages modifiés entre la première image et la deuxième image sont inclus dans le deuxième descripteur.
Par exemple, l’exemple de première image représenté en figure 5 montre le caractère E à la position (v=30, h=52), alors que l’exemple de deuxième image représenté en figure 6 montre le caractère 5 en cette même position. Les deux caractères E et 5 sont représentés dans la même police. Le code de police p de valeur zéro étant déjà présent dans le descripteur de type «intra» associé au caractère E, il n’est pas nécessaire de le répéter dans le descripteur de type «inter» associé au caractère 5. Le même cas de changement s’applique au caractère 3 de la première image, remplacé par le caractère 6 dans la deuxième image.
Apparition d’un nouvel élément graphique
Dans un autre cas, le processeur 2 peut détecter qu’un élément graphique est présent dans la deuxième image mais pas la première image.
Dans ce cas, il est généré un descripteur «inter» comprenant un code d’évènement ayant une valeur NEW indicative d’une apparition d’un nouvel élément graphique synthétique. Sont associés à ce code les mêmes paramètres d’affichage que l’on trouve dans les descripteurs «intra» décrits précédemment, qui sont auto-suffisants pour tracer les éléments graphiques concernés par ces descripteurs.
A titre illustratif, les caractères K, L qui apparaissent dans l’exemple de deuxième image de la figure 6 sont chacun codés en tant que nouveaux caractères, à l’aide du code «NEW».
On a vu précédemment que le code d’évènement «Displaced» indicatif d’un déplacement d’élément graphique synthétique est utilisée à condition que le déplacement subi par un élément graphique entre la première image et la deuxième image est inférieur à un seuil prédéterminé. Lorsque cette condition n’est pas remplie, un descripteur de type «inter» se rapportant à l’élément graphique apparu est généré avec le code NEW.
Pour résumer les évènements identifiés au cours de l’étape 208 sont les suivants: apparition, disparition, changement à la même place, déplacement, absence de changement.
Le code d’évènement d’un descripteur de type «inter» peut donc être codé seulement sur 3 bits.
Alignement des descripteurs «intra» et «inter»
Dans le tableau ci-dessous, on a représenté côte-à-côte: les descripteurs intra» générés pour la première image, les descripteurs «intra» générés pour la deuxième image en répétant les mêmes étapes, et les descripteurs «inter» générés pour la deuxième image.
Première image
Descripteurs «intra»		 Deuxième image
Descripteurs «intra»		 Deuxième image
Descripteurs «inter»
Carac. v h p Carac. v h p Code d’
Évènement		 Données supplémentaires
A 30 20 0 A 30 28 0 Displaced δx=8, δy=0
B 30 28 0 B 30 36 0 Displaced δx=8, δy=0
C 30 36 0 C 30 44 0 Displaced δx=8, δy=0
D 30 44 0 SKIP -
E 30 52 0 5 30 52 0 Changed Code=5
L 30 88 0 NEW Code=L, v=80, h=68, p=0
F 30 100 0 F 30 100 0 Unchanged -
G 30 108 0 G 30 108 0 Unchanged -
H 30 116 0 H 30 116 0 Unchanged -
1 40 20 0 1 40 20 0 Unchanged -
2 40 28 0 2 40 28 0 Unchanged -
3 40 36 0 6 40 36 0 Changed Code=6
4 40 44 0 4 40 44 0 Unchanged -
5 40 52 0 D 40 52 0 Changed Code=D
Z 70 20 0 Z 70 20 0 Unchanged -
Y 70 28 0 Y 70 28 0 Unchanged -
X 70 36 0 X 70 36 0 Unchanged -
W 70 44 0 W 70 44 0 Unchanged -
K 80 68 0 NEW Code=K, v=80, h=68, p=0
Comme on peut le constater à la lecture du tableau 4 ci-dessus, les descripteurs «inter» avec les codes d’évènement SKIP et/ou NEW sont utilisés de telle sorte que les autres descripteurs «inter» se trouvent alignés avec les descripteurs intra auxquels ils se réfèrent, ce qui permet, comme indiqué plus haut, de ne pas forcément inclure de référencement de descripteur explicite dans les descripteurs «inter».
Se trouve en annexe, à la fin de la présente description, un exemple de de pseudo-code pour implémenter le procédé de compression. Voici la signification de différentes variables utilisées dans ce pseudo-code:
  • ref et cur : Tableaux comportant NL lignes. Chaque ligne stockant [Position horizontale, Position verticale, code caractère, couleur]
  • Δ_x_allowed : Seuil de déplacement maximum horizontal
  • Δ_y_allowed : Seuil de déplacement maximum vertical
  • Evènement NEW : code 001 & position & code caractère
  • Evènement CHANGED : code 011 & code caractère
  • Evènement UNCHANGED : code 1
  • Evènement SKIP : code 000
  • Evènement DISPLACED : code 010 & (displacement_x ou displacement_y)
Itération du codage «inter»
Dans la description qui précède, il a été supposé qu’un descripteur de type «inter» généré pour la deuxième image au cours de l’étape 210 renvoie à un descripteur de type «intra» de la première image, c’est-à-dire un descripteur comprenant des paramètres d’affichage autosuffisants pour permettre une restitution de l’élément graphique correspondant tel que montré dans l’image de référence.
Toutefois, ceci n’est pas du tout obligatoire: un descripteur de type «inter» peut renvoyer à un autre descripteur de type «inter».
Les étapes 200, 202, 208, 210 peuvent en effet être répétées sur une troisième image, et en prenant cette fois la deuxième image comme image de référence. Au cours de l’étape 210 mise en œuvre sur la troisième image, il est généré un descripteur de type «inter» qui renvoie à un descripteur «inter» généré pour la deuxième image, lequel renvoie lui-même à un descripteur «intra» généré pour la première image.
Le processeur 2 traite finalement la vidéo en répétant itérativement le traitement décrit ci-dessus image par image. Il génère donc à la suite du descripteur «intra» initial, une séquence chronologique de descripteurs «inter» qui modifient successivement les éléments synthétiques le cas échéant, à tour de rôle. Cette itération crée alors une chaîne de tableaux «inter» référencés du dernier vers le tableau intra d’origine. Cette chaîne peut présenter plusieurs branches lorsque le renvoi se fait vers un tableau antérieur à celui de l’image précédente. À tout moment, le processeur 2 peut aussi choisir de «rafraichir» l’image, c’est-à-dire de transmettre un nouveau descripteur «intra» qui sert de nouvelle référence aux descripteurs «inter» ultérieurs.
A titre d’exemple illustratif de ce chaînage, on a représenté enfigure 7des descripteurs D1 à D7 générés pour différentes images d’une même séquence d’images, et se rapportant tous au même élément graphique synthétique.
  • Le descripteur D1 est un descripteur de type «intra».
  • Le descripteur D2 est un descripteur de type «inter» qui renvoie vers le descripteur D1 et qui comprend le code d’évènement «Displaced» pour indiquer que l’élément graphique synthétique s’est déplacé, par rapport à la position renseignée dans le descripteur D1.
  • Le descripteur D3 est un descripteur de type «inter» qui renvoie vers le descripteur 2, et qui signale une absence de changement de l’élément graphique (via le code d’évènement «Unchanged»).
  • Le descripteur D4 est un descripteur de type «inter» qui renvoie également vers le descripteur D2 et qui comprend encore le code d’évènement «Displaced» pour indiquer que l’élément graphique s’est encore déplacé, par rapport à ce qui est renseigné dans le descripteur D2.
  • Le descripteur D6 est un descripteur de type «inter» qui signale la disparition de l’élément graphique synthétique via le code d’évènement SKIP.
  • Le descripteur D1 est un descripteur de type «intra» pour un élément graphique synthétique à la même position que celle visée par les descripteurs D1 à D6.
L’intérêt du mécanisme de compression augmente lorsqu’on envoie une majorité de tableaux inter et une minorité de tableaux intra, car le gain de compression global de la vidéo est alors accru.
Décompression
Les données compressées par le dispositif de traitement 1 peuvent être décompressées par ce même dispositif 1 ou un dispositif du même type en vue d’obtenir une séquence d’image conforme à la séquence originale.
Ce procédé de décompression comprend des étapes symétriques à celles mises en œuvre au cours du procédé de compression décrit ci-avant. Tout d’abord, le récepteur identifie de façon univoque la séquence chronologique des images et des tableaux de descripteurs associés à chacune.
En particulier, pour restituer un élément graphique de l’image courante (à afficher) et décrit dans un descripteur de type «inter», le processeur identifie le descripteur de type «intra» initial auquel se réfèrent la chaîne antérieure de descripteurs de type «inter» qui aboutit à l’image courante, et utilise les paramètres d’affichage consignés dans ce descripteur de type «intra», modifiés par la séquence des éventuelles informations additionnelles consignées dans les descripteurs de type «inter» constituant cette chaîne.
Autres variantes de réalisation
Il est entendu que le procédé décrit ci-dessus est applicable à tout type d’élément graphique synthétique, d’origine non photographique, et pas seulement à des caractères. Par exemple, les paramètres d’affichage qui peuvent être générés pour un cercle comprennent une position, un rayon, et le cas échéant d’autres paramètres optionnels (épaisseur de trait, couleur de trait). Ce principe est bien entendu généralisable à d’autres formes géométriques.
Dans ce qui précède, il a été présenté un mode de réalisation dans lequel tous les descripteurs de type «inter» générés pour la deuxième image se réfèrent à des descripteurs de type «intra» générés pour la même image, à savoir la première image. Il est possible que des groupes de descripteurs de type «inter» générés pour une même image modifient des descripteurs décrivant des images différentes les unes des autres. Dans ce cas, chaque descripteur de type «inter» doit contenir une référence d’image explicite.
Annexe: Exemple de pseudo-code pour implémenter le procédé de compression
LI_R = 0
LI_C = 0
counter_movement_block_H = 0
counter_movement_block_W = 0
while LI_R < NL_R
c_letter = cur(LI_C)
r_letter = ref(LI_R)
if r_letter.position c_letter.position
if r_letter.label = c_letter.label
// Unchanged
bitstream = write1bit(1)
else
// Changed
bitstream = write3bit(011)
bitstream = write6bit(c_letter.label)
LI_C = LI_C + 1
LI_R = LI_R + 1
elseif r_letter.x c_letter.x and |r_letter.y − c_letter.y| ∈ [0, Δ_y_allowed] and r_letter.label = c_letter.label
// Displaced Y
displacement_y = r_letter.y − c_letter.y)
LI_C = LI_C + 1
LI_R = LI_R + 1
bitstream = write3bit(010)
bitstream = write6bit(displacement_y - 1)
elseif r_letter.y c_letter.y and |r_letter.x − c_letter.x| ∈ [0, Δ_x_allowed] and r_letter.label = c_letter.label
// Displaced X
displacement_x = r_letter.y − c_letter.y
LI_C = LI_C + 1
LI_R = LI_R + 1
bitstream = write3bit(010)
bitstream = write6bit(displacement_x - 1)
elseif |r_letter.x − c_letter.x| > Δ_x_allowed or |r_letter.y − c_letter.y| > Δ_y_allowed and r_letter.label! = c_letter.label
while |r_letter.x − c_letter.x| > Δ_x_allowed or |r_letter.y − c_letter.y| > Δ_y_allowed and r_letter.label! = c_letter.label
// New
bitstream = write3bit(001)
bitstream = write11bit(c_letter.x)
bitstream = write11bit(c_letter.y)
bitstream = write6bit(c_letter.label)
LI_C = LI_C + 1
else
// Skip
bitstream = write3bit(000)
LI_R = LI_R + 1

Claims (17)

  1. Procédé de compression d’une séquence d’images comprenant une première image et une deuxième image, le procédé comprenantdes étapes de:
    - génération (102) d’un premier descripteur comprenant des paramètres d’affichage d’un élément graphique synthétique dans la première image, l’élément graphique synthétique étant d’origine non photographique, et les paramètres d’affichage ne comprenant pas de valeurs de pixels,
    - traitement de la deuxième image, de sorte à déterminer (208) un évènement ayant induit une potentielle variation de paramètres d’affichage de l’élément graphique synthétique entre la première image et la deuxième image,
    - génération (210) d’un deuxième descripteur comprenant un code d’évènement indicatif de l’évènement déterminé.
  2. Procédé selon la revendication précédente, dans lequel :
    - lorsqu’il est déterminé que la deuxième image ne montre pas l’élément graphique synthétique, le code d’évènement a une valeur indicative d’une disparition d’élément graphique synthétique.
  3. Procédé selon l’une des revendications précédentes, dans lequel :
    - lorsqu’il est déterminé que la deuxième image montre l’élément graphique synthétique déplacé par rapport à la première image, le code d’évènement a une valeur indicative d’un déplacement d’élément graphique synthétique.
  4. Procédé selon la revendication précédente, dans lequel le deuxième descripteur comprend des données de positionnement permettant, seules ou en combinaison avec le premier descripteur, de déterminer une position de l’élément graphique synthétique dans la deuxième image.
  5. Procédé selon la revendication précédente, dans lequel les données de positionnement comprennent un vecteur de déplacement entre une position de l’élément graphique synthétique dans la première image et une position de l’élément graphique synthétique dans la deuxième image.
  6. Procédé selon l’une des revendications 3 à 5, comprenant une comparaison entre, d’une part, le déplacement de l’élément graphique synthétique entre la première image et la deuxième image, et, d’autre part, un seuil prédéfini, et dans lequelle code d’évènement a la valeur indicative d’un déplacement seulement si ledit déplacement de l’élément graphique synthétique est inférieur au seuil prédéfini.
  7. Procédé selon l’une des revendications précédentes, dans lequel:
    - lorsqu’il est déterminé que la deuxième image montre un élément graphique qui est différent de l’élément graphique synthétique montré dans la première image, mais qui occupe la même position, le code d’évènement a une valeur indicative d’un changement d’élément graphique synthétique, et le deuxième descripteur comprend des données caractérisant ce changement.
  8. Procédé selon l’une des revendications précédentes, dans lequel:
    - lorsqu’il est déterminé que la deuxième image montre l’élément graphique de manière inchangée par rapport à la première image, le code d’évènement a une valeur indicative d’une absence de changement d’élément graphique.
  9. Procédé selon l’une des revendications précédentes, dans lequel les paramètres d’affichage sont autosuffisants pour permettre une restitution de l’élément graphique synthétique tel que montré dans la première image sur la base desdits paramètres d’affichage.
  10. Procédé selon l’une des revendications 1 à 8, dans lequel la séquence d’image comprend par ailleurs une image antérieure à la première image, et dans lequel le premier descripteur comprend un code d’évènement indicatif d’un évènement ayant induit une potentielle variation de paramètres d’affichage de l’élément graphique synthétique entre l’image antérieure et la première image.
  11. Procédé selon l’une des revendications précédentes, comprenant en outreles étapes suivantes:
    - lorsqu’il est déterminé que la première image ou que la deuxième image montre un arrière-plan sur lequel est superposé un élément graphique synthétique, modification de l’image de sorte à obtenir une image d’arrière-plan, la modification comprenant un filtrage passe-bas appliqué à des valeurs de pixels de l’image montrant l’élément graphique synthétique,
    - compression de l’image d’arrière-plan de manière indépendante des étapes de génération du premier descripteur et du deuxième descripteur.
  12. Procédé selon l’une des revendications précédentes, dans lequel l’étape de traitement est restreinte à une portion de la deuxième image.
  13. Procédé selon l’une des revendications précédentes, dans lequel l’étape de traitement est mise en œuvre par un réseau de neurones convolutif.
  14. Procédé selon l’une des revendications précédentes, dans lequel le premier élément synthétique est un caractère, un polygone, un menu, une grille, ou une partie d’un menu ou d’une grille, et/ou dans lequel l’arrière-plan est d’origine photographique.
  15. Procédé selon l’une des revendications précédentes, dans lequel, lorsque l’élément graphique synthétique est un caractère, le premier descripteur comprend un code propre au caractère, et optionnellement un code renseignant sur une police dans laquelle le caractère est montré dans la deuxième image et/ou un code renseignant sur une couleur du caractère dans la deuxième image.
  16. Produit programme d'ordinateur comprenant des instructions de code de programme pour l'exécution des étapes du procédé selon l’une des revendications précédentes, lorsque ce programme est exécuté par un ordinateur.
  17. Mémoire (4) lisible par ordinateur stockant des instructions exécutables par l’ordinateur pour l’exécution des étapes du procédé selon l’une des revendications 1 à 15.
FR1914090A 2019-12-10 2019-12-10 Procédé de compression d’une séquence d’images montrant des éléments graphiques synthétiques d’origine non photographique Active FR3104360B1 (fr)

Priority Applications (7)

Application Number Priority Date Filing Date Title
FR1914090A FR3104360B1 (fr) 2019-12-10 2019-12-10 Procédé de compression d’une séquence d’images montrant des éléments graphiques synthétiques d’origine non photographique
US17/783,971 US20230047115A1 (en) 2019-12-10 2020-12-10 Method for compressing a sequence of images displaying synthetic graphical elements of non-photographic origin
CN202080092720.9A CN115516859A (zh) 2019-12-10 2020-12-10 用于压缩显示非摄影来源的合成图形元素的图像序列的方法
PCT/FR2020/052382 WO2021116615A1 (fr) 2019-12-10 2020-12-10 Procédé de compression d'une séquence d'images montrant des éléments graphiques synthétiques d'origine non photographique
CA3160498A CA3160498A1 (fr) 2019-12-10 2020-12-10 Procede de compression d'une sequence d'images montrant des elements graphiques synthetiques d'origine non photographique
EP20845171.6A EP4074041A1 (fr) 2019-12-10 2020-12-10 Procédé de compression d'une séquence d'images montrant des éléments graphiques synthétiques d'origine non photographique
IL293730A IL293730A (en) 2019-12-10 2020-12-10 A method for compressing a sequence of images showing synthetic graphic elements of non-photographic origin

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1914090 2019-12-10
FR1914090A FR3104360B1 (fr) 2019-12-10 2019-12-10 Procédé de compression d’une séquence d’images montrant des éléments graphiques synthétiques d’origine non photographique

Publications (2)

Publication Number Publication Date
FR3104360A1 true FR3104360A1 (fr) 2021-06-11
FR3104360B1 FR3104360B1 (fr) 2021-12-03

Family

ID=71661897

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1914090A Active FR3104360B1 (fr) 2019-12-10 2019-12-10 Procédé de compression d’une séquence d’images montrant des éléments graphiques synthétiques d’origine non photographique

Country Status (7)

Country Link
US (1) US20230047115A1 (fr)
EP (1) EP4074041A1 (fr)
CN (1) CN115516859A (fr)
CA (1) CA3160498A1 (fr)
FR (1) FR3104360B1 (fr)
IL (1) IL293730A (fr)
WO (1) WO2021116615A1 (fr)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0660609A2 (fr) * 1993-12-22 1995-06-28 Digital Equipment Corporation Affichage à distance d'une image avec transmission de trames vidéo comprimées représentant son arrièreplan et ses portions superposées

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5530478A (en) * 1991-08-21 1996-06-25 Kabushiki Kaisha Toshiba Image data compressing apparatus
EP1578136A3 (fr) * 1998-01-27 2005-10-19 AT&T Corp. Méthode et dispositif de codage d'information de forme et de texture vidéo
US20020001412A1 (en) * 1998-07-21 2002-01-03 Hewlett-Packard Company System for variable quantization in jpeg for compound documents
JP2000209580A (ja) * 1999-01-13 2000-07-28 Canon Inc 画像処理装置およびその方法
JP2005045653A (ja) * 2003-07-24 2005-02-17 Canon Inc 画像符号化方法
JP4089905B2 (ja) * 2004-06-22 2008-05-28 株式会社リコー 画像処理装置、画像処理方法、プログラム及び情報記録媒体
JP5132530B2 (ja) * 2008-02-19 2013-01-30 キヤノン株式会社 画像符号化装置及び画像処理装置及びそれらの制御方法
GB0901262D0 (en) * 2009-01-26 2009-03-11 Mitsubishi Elec R&D Ct Europe Video identification
JP5697649B2 (ja) * 2012-11-27 2015-04-08 京セラドキュメントソリューションズ株式会社 画像処理装置
JP2017135613A (ja) * 2016-01-28 2017-08-03 ブラザー工業株式会社 画像処理装置およびコンピュータプログラム
US10379721B1 (en) * 2016-11-28 2019-08-13 A9.Com, Inc. Interactive interfaces for generating annotation information
CN110351564B (zh) * 2019-08-08 2021-06-04 上海纽菲斯信息科技有限公司 一种文字清晰的视频压缩传输方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0660609A2 (fr) * 1993-12-22 1995-06-28 Digital Equipment Corporation Affichage à distance d'une image avec transmission de trames vidéo comprimées représentant son arrièreplan et ses portions superposées

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CAVALLARO A ET AL: "Semantic Video Analysis for Adaptive Content Delivery and Automatic Description", IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, INSTITUTE OF ELECTRICAL AND ELECTRONICS ENGINEERS, US, vol. 15, no. 10, 1 October 2005 (2005-10-01), pages 1200 - 1209, XP011139779, ISSN: 1051-8215, DOI: 10.1109/TCSVT.2005.854240 *
MITRICA IULIA ET AL: "Very Low Bitrate Semantic Compression of Airplane Cockpit Screen Content", IEEE TRANSACTIONS ON MULTIMEDIA, IEEE SERVICE CENTER, US, vol. 21, no. 9, 1 September 2019 (2019-09-01), pages 2157 - 2170, XP011742319, ISSN: 1520-9210, [retrieved on 20190822], DOI: 10.1109/TMM.2019.2900168 *
XU JIZHENG ET AL: "Overview of the Emerging HEVC Screen Content Coding Extension", IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, INSTITUTE OF ELECTRICAL AND ELECTRONICS ENGINEERS, US, vol. 26, no. 1, 1 January 2016 (2016-01-01), pages 50 - 62, XP011592177, ISSN: 1051-8215, [retrieved on 20160105], DOI: 10.1109/TCSVT.2015.2478706 *

Also Published As

Publication number Publication date
US20230047115A1 (en) 2023-02-16
EP4074041A1 (fr) 2022-10-19
IL293730A (en) 2022-08-01
CN115516859A (zh) 2022-12-23
CA3160498A1 (fr) 2021-06-17
WO2021116615A1 (fr) 2021-06-17
FR3104360B1 (fr) 2021-12-03

Similar Documents

Publication Publication Date Title
US10929720B2 (en) Image processing method, image processing apparatus, and computer storage medium
US11615505B2 (en) Apparatus and method for image processing, and system for training neural network
CN111028177B (zh) 一种基于边缘的深度学习图像去运动模糊方法
CN109872278B (zh) 基于u形网络和生成对抗网络的图像云层移除方法
CN113505772B (zh) 基于生成对抗网络的车牌图像生成方法及系统
WO2020043296A1 (fr) Dispositif et procédé de division d&#39;image en avant-plan et en arrière-plan, par apprentissage profond
Long et al. Bishift networks for thick cloud removal with multitemporal remote sensing images
CN111553290A (zh) 文本识别方法、装置、设备及存储介质
EP3007108A1 (fr) Génération d&#39;un code graphique matriciel personnalisé robuste
FR3104360A1 (fr) Procédé de compression d’une séquence d’images montrant des éléments graphiques synthétiques d’origine non photographique
Peng et al. MND-GAN: A Research on Image Deblurring Algorithm Based on Generative Adversarial Network
JP2022095565A (ja) 画像からシーンテキストを除去するための方法及びシステム
CN115170812A (zh) 图像去噪模型训练、降噪方法及其设备、存储介质
FR3076378A1 (fr) Procede de formation d&#39;un reseau de neurones pour la reconnaissance d&#39;une sequence de caracteres et procede de reconnaissance associe
EP1390905B1 (fr) Procede de detection de zones de texte dans une image video
Kshetry Image preprocessing and modified adaptive thresholding for improving OCR
Favorskaya et al. Semantic segmentation of multispectral satellite images for land use analysis based on embedded information
FR2755564A1 (fr) Procede et dispositif de codage de donnees d&#39;images
EP1525553A2 (fr) Procede et systeme de localisation automatique de zones de texte dans une image
EP3956809A1 (fr) Procédé de traitement d&#39;image d&#39;un document d&#39;identité
EP3360055B1 (fr) Procede d&#39;optimisation de decomposition d&#39;un signal asynchrone
JP4890351B2 (ja) 画像処理装置、画像処理プログラムおよび該画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体、ならびに画像処理方法
BE1021013B1 (fr) Procede et systeme pour ameliorer la qualite d&#39;images en couleur.
US20240119706A1 (en) Generating images with small objects for training a pruned super-resolution network
US20240112482A1 (en) Method and apparatus for text restoration in character recognition

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20210611

CD Change of name or company name

Owner name: INSTITUT MINES-TELECOM, FR

Effective date: 20211004

Owner name: SAFRAN DATA SYSTEMS, FR

Effective date: 20211004

PLFP Fee payment

Year of fee payment: 3

PLFP Fee payment

Year of fee payment: 4

PLFP Fee payment

Year of fee payment: 5