FR2820927A1 - Procede et dispositif de detection de fiabilite d'un champ de vecteurs mouvement - Google Patents

Procede et dispositif de detection de fiabilite d'un champ de vecteurs mouvement Download PDF

Info

Publication number
FR2820927A1
FR2820927A1 FR0102042A FR0102042A FR2820927A1 FR 2820927 A1 FR2820927 A1 FR 2820927A1 FR 0102042 A FR0102042 A FR 0102042A FR 0102042 A FR0102042 A FR 0102042A FR 2820927 A1 FR2820927 A1 FR 2820927A1
Authority
FR
France
Prior art keywords
field
images
occurrences
state
det
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR0102042A
Other languages
English (en)
Other versions
FR2820927B1 (fr
Inventor
Gerard Briand
Alain Verdier
Juan Moronta
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Technicolor SA
Original Assignee
Thomson Multimedia SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Multimedia SA filed Critical Thomson Multimedia SA
Priority to FR0102042A priority Critical patent/FR2820927B1/fr
Priority to DE60210845T priority patent/DE60210845T2/de
Priority to EP02290238A priority patent/EP1233618B1/fr
Priority to AT02290238T priority patent/ATE324745T1/de
Priority to JP2002033501A priority patent/JP2002314952A/ja
Priority to US10/075,839 priority patent/US7194034B2/en
Publication of FR2820927A1 publication Critical patent/FR2820927A1/fr
Application granted granted Critical
Publication of FR2820927B1 publication Critical patent/FR2820927B1/fr
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/521Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

Le procédé comporte une étape de calcul d'un paramètre de stabilité du champ, Det_Stab (t), à partir dune comparaison (4), sur deux images successives, du nombre d'occurrences des vecteurs majoritaires des champs de vecteurs mouvement de chacune de ces images, un champ étant défini stable si la variation du nombre d'occurrences se trouve dans une fourchette prédéfinie, et une étape de décision de fiabilité (7) en fonction de ce paramètre de stabilité. Les applications concernent les convertisseurs de fréquence et codeurs vidéo.

Description

<Desc/Clms Page number 1>
L'invention concerne un procédé et un dispositif de détection de fiabilité d'un champ de vecteurs mouvement d'une image dans une séquence d'images vidéo. Un critère de fiabilité est calculé et attribué à une image pour indiquer la fiabilité du champ de vecteurs mouvement associé à cette image. Il peut être combiné à d'autres paramètres de fiabilité déjà connus tels que des paramètres de détection de saturation du champ de vecteurs mouvement, de détection de changement de scène... afin d'améliorer le degré de confiance dans le paramètre résultant.
La conversion de normes, ou plus généralement la conversion de fréquence trame, fait habituellement appel à deux types de procédés: - l'estimation de mouvement qui fournit un champ de vecteurs mouvement fidèle à l'évolution spatio-temporelle des objets qui constituent la scène, - l'interpolation qui peut faire usage de ce champ de vecteurs pour positionner correctement les objets dans une trame intermédiaire à construire.
Les interpolations linéaires ou compensées en mouvement, classiquement appliquées en conversion de fréquence trame, ne conviennent pas toujours à toutes les situations rencontrées dans une séquence vidéo. Il faut parfois parer à des situations critiques qui mettent l'estimateur ou l'interpolateur en difficulté, en exploitant une détection appropriée qui puisse commander une configuration d'interpolation plus adaptée.
En effet, en théorie, un champ de vecteurs mouvement est homogène temporellement sur une séquence vidéo. Un champ de vecteurs mouvement, lorsqu'il est correct, subit très peu de variation temporelle. Une irrégularité temporelle est souvent synonyme de champ de vecteurs mouvement peu fiable. Lorsqu'une variation anormale se produit, dénotant d'une estimation de mouvement temporellement perturbée, une interpolation compensée en mouvement peut donner une image de mauvaise qualité.
En conséquence, lorsqu'une instabilité est détectée temporellement, supposant que le contenu vidéo est incompatible avec l'estimation de mouvement, il est nécessaire d'opter pour un autre procédé
<Desc/Clms Page number 2>
d'interpolation de trame que celui exploitant le champ de vecteurs mouvement.
L'invention proposée a pour but de résoudre de tels problèmes en permettant d'évaluer la fiabilité du champ de vecteurs mouvement.
Elle a pour objet un procédé de détection de fiabilité d'un champ de vecteurs mouvement d'une image d'une séquence d'images vidéo, caractérisé en ce qu'il comporte une étape de calcul d'un paramètre de stabilité du champ, Det~Stab(t), à partir dune comparaison, sur deux images successives, du nombre d'occurrences des vecteurs majoritaires des champs de vecteurs mouvement de chacune de ces images, un champ étant défini stable si la variation du nombre d'occurrences se trouve dans une fourchette prédéfinie, et une étape de décision de fiabilité en fonction de ce paramètre de stabilité.
Selon une amélioration, le procédé est caractérisé en ce qu'il comporte également une étape de calcul d'un paramètre de perturbation du champ, Det~Pert(t), à partir d'une comparaison, sur deux images successives, du nombre d'occurrences du vecteur mouvement correspondant au vecteur majoritaire d'une des deux images, un champ étant défini non perturbé si la variation du nombre d'occurrences se trouve dans une fourchette prédéfinie, et en ce que l'étape de décision est également fonction de ce paramètre de perturbation.
Selon une variante, le procédé est caractérisé en ce qu'il comporte également une étape de calcul d'un paramètre de perturbation du champ, Det~Pert(t), un champ étant défini non perturbé si la variation du nombre d'occurrences du vecteur nul dans le champ de vecteurs mouvement, entre deux images successives, est compris dans une fourchette prédéfinie, et en ce que l'étape de décision est également fonction de ce paramètre de perturbation.
Selon une amélioration, le procédé est caractérisé en ce qu'il comporte une étape de calcul, pour une image (t), d'un état de stabilité temporelle Etat~stab(t) à partir des paramètres de stabilité Det~Stab(t) de cette image et de P-1 images précédentes, un état étant déclaré stable s'il est détecté un nombre minimum Q de champs stables parmi ces P images, P et Q étant des nombres entiers tels que P>Q, et en ce que l'étape de décision est également fonction de cet état de stabilité.
<Desc/Clms Page number 3>
Selon une amélioration, le procédé est caractérisé en ce qu'il comporte, pour une image (t), une étape de calcul d'un état de perturbation, Etat~Pert(t), à partir des paramètres de perturbation Det~Pert(t) de cette image et des M-1 images précédentes, un état étant déclaré perturbé ou non perturbé selon qu'il est détecté ou non un nombre minimum L de champs non perturbés parmi ces M images, M et L étant des nombres entiers tels que M>L, et en ce que l'étape de décision est également fonction de cet état de perturbation.
Selon une amélioration, le procédé est caractérisé en ce qu'il comporte également une étape de calcul d'un paramètre de stabilité du champ, Det~Stab(t), à partir d'une comparaison, sur deux images successives, du nombre d'occurrences des vecteurs majoritaires des champs de vecteurs mouvement de chacune de ces images, un champ étant défini stable si la variation du nombre d'occurrences se trouve dans une fourchette prédéfinie, et en ce qu'un champ de vecteurs est déclaré fiable s'il est détecté un champ stable et un état non perturbé.
Selon une amélioration, le procédé est caractérisé en ce qu'il comporte également, pour une image (t), une étape de calcul d'un paramètre de perturbation du champ Det~Pert(t), à partir d'une comparaison, sur deux images successives, du nombre d'occurrences du vecteur mouvement correspondant au vecteur majoritaire d'une des deux images, un champ étant défini non perturbé si la variation du nombre d'occurrences se trouve dans une fourchette prédéfinie, ainsi qu'une étape de calcul d'un état de perturbation Etat~Pert(t) à partir des paramètres de perturbation Det~Pert(t) de cette image et des M-1 images précédentes, un état étant déclaré perturbé ou non perturbé selon qu'il est détecté ou non un nombre minimum Q de champs non perturbés parmi ces M images, M et Q étant des nombres entiers strictement positifs et en ce qu'un champ de vecteurs est déclaré fiable s'il est détecté un champ stable, un état perturbé et stable.
Un paramètre de stabilité associé à un champ de vecteurs mouvement préalablement estimé, paramètre global à la trame, permet d'évaluer la fiabilité du champ de vecteurs mouvement. Un paramètre de perturbation du champ de vecteurs mouvement permet également une telle évaluation. Ces paramètres peuvent être exploités pour détecter
<Desc/Clms Page number 4>
respectivement un état de stabilité fonction de la stabilité temporelle du champ et un état de perturbation calculés à partir d'un historique des paramètres précédents. Ces paramétres peuvent être combinés entre eux et/ou avec ces états afin de mieux évaluer la fiabilité du champ de vecteurs mouvement.
Cette évaluation de fiabilité peut conduire à un mode d'utilisation particulier de ce champ de vecteurs mouvement. Lorsque la fiabilité est déclarée insuffisante, une interpolation de type linéaire n'utilisant pas l'information de déplacement, par exemple une répétition de trame, peut être mise en #uvre au lieu d'une interpolation compensée en mouvement. Par exemple en conversion de fréquence image, lorsqu'une fiabilité nulle accompagne le champ de vecteurs mouvement, l'interpolation compensée en mouvement est évitée. La qualité d'image est ainsi améliorée.
D'autres particularités et avantages de l'invention apparaîtront clairement dans la description suivante donnée à titre d'exemple non limitatif et faite en regard de la figure 1 qui représente un synoptique du procédé de calcul d'un critère de fiabilité du champ de vecteurs mouvement.
La détection de rupture de régularité du champ de vecteurs mouvement s'effectue au travers d'une analyse de l'histogramme des vecteurs estimés.
Le champ de vecteurs mouvement traité peut être de définition quelconque. Cependant l'analyse sera d'autant plus efficace que la définition de ce champ sera importante. Idéalement il atteindra une définition d'un vecteur par pixel. Il sera issu par exemple d'un estimateur de mouvement de type PEL recursif. Ce champ de vecteurs est supposé relatif aux déplacements estimés entre deux trames ou images consécutives correspondant aux instants t et t-1 et sert à l'interpolation d'une trame ou image intermédiaire située entre ces instants t et t-1.
Dans le texte, on parlera d'images pour désigner tout type de présentation. Il peut s'agir de trames paires ou impaires ou d'images reconstituées à partir de la trame paire et impaire dans le cas d'un balayage entrelacé, d'images d'un balayage progressif... De même, on parlera d'images successives ou consécutives pour désigner des trames successives de même parité ou quelque soit leur parité ou bien des images
<Desc/Clms Page number 5>
successives d'un balayage progressif ou reconstituées. En fait, c'est le calcul des champs de vecteurs mouvement, qui peut s'effectuer de différentes manières, par exemple en calculant le mouvement entre deux trames de même parité successives ou bien entre deux images reconstituées, qui définit les termes utilisés.
L'analyse est effectuée à partir de la composante horizontale des vecteurs, celle-ci contenant une information plus riche et plus représentative des mouvements, en comparaison à la composante verticale. Seules les valeurs comprises entre-32 et +31 sont considérées bien que l'estimateur puissent fournir des valeurs de vecteurs allant au delà de ces limites.
Un histogramme du champ de vecteurs résultant est élaboré en conservant une précision de ces vecteurs égale à l'unité, soit une résolution de W/720 pour une largeur d'écran W et une définition horizontale de l'image de 720 pixels. Les valeurs en abscisse de cet histogramme s'échelonnent donc de-32 à +31 par pas d'une unité. Ce pas pourrait être plus grossier mais au risque de diminuer les performances de l'algorithme. L'axe des ordonnées représente le nombre d'occurrences.
L'historique est défini par la fonction : Histo~Vect (n, t) qui représente le nombre de vecteurs de valeur n dans le champ de vecteurs associé à la trame à l'instant t, n variant de-N à +(N - 1), N ayant pour valeur 32 dans l'expérimentation.
D'une manière générale, la valeur Histo~Vect(0, t) qui représente donc la fréquence d'apparition du vecteur nul pour la trame à l'instant t, correspond au pic de l'histogramme dans le cas d'images fixes ou faiblement mobiles. La détection de l'irrégularité temporelle du champ de vecteurs mouvement s'effectue donc, dans ce premier exemple de réalisation, sur la base de l'analyse de la valeur de l'histogramme pour le vecteur nul.
La détection de fiabilité se fait en plusieurs étapes: - calcul d'un paramètre de détection de perturbation Det~Pert(t) - calcul d'un paramètre de détection de stabilité Det~Stab(t) - calcul d'un paramètre état perturbé Etat~Pert(t) à partir du paramètre de détection de perturbation, - calcul d'un paramètre état stable Etat~Stab(t) à partir du paramètre de détection de stabilité,
<Desc/Clms Page number 6>
- élaboration d'une variable Champ~Fiable définissant la fiabilité du champ de vecteurs à partir des précédents paramètres.
Un paramètre de détection d'une perturbation temporelle sur les champs de vecteurs mouvement, Det~Pert(t), est d'abord calculé pour chaque trame.
Il est élaboré par comparaison de l'histogramme des vecteurs de la trame courante (t) à celui de la trame précédente (t-1). Comme indiqué précédemment, seule la valeur de l'histogramme pour la valeur de vecteur zéro est utilisée ici. Le test est le suivant :
Si
Figure img00060001

alors Det~Pert(t) = 0 sinon Det~ Pert (t) =1 avec K1 constante qui est un nombre rationnel positif supérieur à l'unité.
Une valeur choisie par expérimentation est K1 = 13/10.
Lorsque le nombre de vecteurs à la valeur zéro évolue d'une trame (t-1) à la suivante t de manière à sortir d'une fourchette, définie par K1, autour de ce nombre pour la trame (t-1), alors il y a détection de perturbation et le paramètre Det~Pert(t) prend la valeur 1.
Ce paramètre de détection de perturbation, calculé pour chaque trame, est mémorisé. Un autre paramètre état perturbé, Etat~Pert(t), est élaboré à partir de l'historique de la détection, plus précisément à partir du paramètre de détection de perturbation de la trame courante et des M-1 trames précédentes :
Figure img00060002

alors Etat~Pert(t) = 1 sinon Etat~Pert(t) = 0 ;
M et L étant des nombres entiers positifs tels que M>L.
Dans notre expérimentation, les valeurs L et M ont été fixées respectivement à 4 et 16.
<Desc/Clms Page number 7>
Ainsi, si l'on a au moins L trames sur les M dernières trames qui ont un paramètre de détection de perturbation à un, on déclare état perturbé pour la dernière trame.
Un paramètre de détection de stabilité du champ de vecteur Det~Stab est également calculé, toujours par comparaison des histogrammes des vecteurs de la trame courante et de la trame précédente.
Mais la valeur d'occurrence utilisée ici n'est pas celle située dans le voisinage proche de zéro ; voisinage est d'ailleurs totalement exclu. C'est la valeur la plus occurrente qui est prise en compte. Avant de procéder au test, une recherche du pic réel de l'histogramme, valeur majoritaire du champ de vecteurs, est donc effectuée :
Figure img00070001

Max~Histo~Vect(t) désigne le maximum de l'histogramme, c'est à dire la plus forte occurrence dans l'histogramme relatif à la trame à l'instant t, les valeurs d'occurrences relatives aux vecteurs-1, 0 et 1 étant exclues.
Le paramètre Det~Stab est alors calculé:
Si
Figure img00070002

alors Det Stab = 1 sinon Det-Stab = 0
K2 est un nombre rationnel positif supérieur à un. Il est fixé à 13/10 dans notre expérimentation.
Le test est ici effectué sur le nombre d'occurrences correspondant au maximum d'occurrences, les occurrences relatives aux valeurs de vecteurs voisines de zéro n'étant pas prises en compte. Si ce nombre d'occurrences correspondant au maximum d'occurrences relatif à l'image t, quelque soit la valeur à laquelle correspond ce maximum, est voisin du nombre d'occurrences correspondant au maximum d'occurrences relatif à l'image t-1, c'est à dire se trouve dans une fourchette définie par K2 et ce maximum, alors le champ de vecteurs est supposé stable et le paramétre Det~Stab est positionné à 1. Il faut donc qu'il y ait une faible variation du
<Desc/Clms Page number 8>
nombre d'occurrences. On considère ici non pas la valeur du vecteur mouvement mais le nombre de vecteurs, c'est à dire de pixels, correspondant à une même valeur, ce qui permet de s'affranchir de variations lentes de valeurs de vecteurs se produisant par exemple lors d'accélérations, de travellings, etc.
Ce paramètre de détection de stabilité, calculé pour chaque trame, est mémorisé. Un autre paramètre état stable, Etat~Stab(t), est élaboré, comme précédemment, à partir de l'historique de la détection de stabilité, plus précisément sur la trame courante et les P-1 trames précédentes :
Figure img00080001

alors Etat~Stab(t) = 1 sinon Etat~Stab(t) = 0 ;
P et Q étant des nombres entier positifs tels que P>Q, respectivement fixés à 16 et 4 dans notre expérimentation.
Un état stable est ainsi déclaré uniquement si au moins Q trames parmi les P dernières trames ont un paramètre de détection de stabilité égal à 1.
En résumé, si la valeur du pic de l'histogramme subit des variations faibles durant un certain nombre de trames, certaines pouvant être ignorées, alors le champ est déclaré stable.
L'étape suivante effectue le calcul de la variable Champ-Fiable.
Ce calcul tient compte de l'historique relatif à la stabilité et la perturbation du champ de vecteurs et des mesures de détection de la trame courante à l'instant t.
Si un champ de vecteurs mouvement est détecté stable à l'instant trame t et que le nombre de champs précédents détectés perturbés est faible, alors le champ est déclaré Champ~Fiable.
Si l'historique donne à la fois un nombre de perturbations et de stabilités importantes tout en ayant détecté pour la trame à l'instant t un champ stable, alors le champ pour la trame à l'instant t est déclaré Champ~Fiable. On suppose en effet, dans ce cas, que l'historique est peu fiable car contradictoire.
<Desc/Clms Page number 9>
Si, à l'instant t, une perturbation est détectée avec un historique fortement perturbé et si la condition de stabilité à ce même instant n'est pas vérifiée, alors le champ est déclaré non fiable et la variable Champ~Fiable est dévalidée.
Ce qui donne, à partir des paramètres calculés:
Si Det~Stab(t) = 1 et Etat~Pert(t) = 0 alors Champ~Fiable(t)=1
Si Det~Stab(t) = 1 et Etat~Pert(t) = 1 et Etat~Stab(t) = 1 alors Champ~Fiable(t)=1
Si Det~Stab(t) = 0 et Etat~Pert(t) = 1 et Det~Pert(t) = 1 alors Champ~Fiable(t)=O
Si aucune des 3 conditions précédentes n'est satisfaite, alors on conserve l'état de fiabilité de la trame précédente:
Champ~Fiable(t)= Champ~Fiable(t-1)
En effet, toutes les autres situations de détection sont considérées comme ambiguës et peu fiables et n'engendrent donc aucun changement d'état de la variable Champ~Fiable. La valeur initiale de cette variable au démarrage du système peut être 0 ou 1 indifféremment.
Ainsi, le but de la détection est de faire varier le paramètre "Champ~Fiable" en fonction des perturbations rencontrées. Il s'agit de l'analyse de perturbation détectée par une variation temporelle des occurrences relatives au vecteur nul. Une variation temporelle importante contribue au basculement de la variable Champ~Fiable à 0. Il s'agit également de l'analyse de la stabilité détectée par une variation temporelle faible ou nulle des occurrences relatives au vecteur majoritaire d'un des histogrammes, en excluant les valeurs de vecteurs voisines de zéro. S'il y a stabilité, alors la variable Champ~Fiable repasse à 1, qui reste l'état le plus fréquent.
Les estimateurs de mouvement sont plus performants pour estimer des vecteurs de mouvement proches de zéro. On peut donc accorder plus de confiance dans les vecteurs voisins de zéro et c'est la raison pour laquelle la valeur zéro est choisie dans l'histogramme pour déclarer une instabilité. Si ce vecteur égal à zéro est instable temporellement, la probabilité qu'il s'agisse d'une instabilité est très forte et
<Desc/Clms Page number 10>
en tout cas supérieure à celle qui pourrait être déclarée à partir de la valeur la plus occurrente, si différente de zéro.
Bien entendu, il est tout à fait possible d'exploiter le vrai pic de l'histogramme pour le calcul du paramètre de perturbation Det~Pert(t) et c'est l'objet de la variante décrite ci-après en regard de la figure 1.
La figure 1 représente un organigramme décrivant un procédé d'évaluation de la fiabilité d'un champ de vecteurs mouvement. Dans cette variante, le calcul du paramètre Det~Pert(t) pour la trame t est effectué non pas à partir des occurrences relatives à la valeur zéro du vecteur mouvement mais à partir des occurrences relatives à la valeur V(t-1) correspondant à l'occurrence maximum pour la trame t-1.
A l'étape référencée 1 sur la figure, un histogramme Histo~Vect(t) est calculé représentant en abscisse les valeurs de la composante horizontale des vecteurs mouvement relatifs à la trame courante t et en ordonnées le nombre d'occurrences pour chacune de ces valeurs.
L'étape 2 prend en compte l'occurrence maximum Max~Histo~Vect(t) correspondant à une valeur en abscisse que l'on appelera V (t).
L'étape 2 reçoit, d'une étape de mémorisation 3, la valeur du vecteur, en fait sa composante horizontale, V (t-1), pourlaquelle l'histogramme de la trame t-1 était maximum. Elle calcule l'occurrence relative à cette valeur V(t-1), Histo~Vect(V(t-1),t), pour l'historique correspondant à la trame t.
Ces valeurs V(t), Max~Histo~Vect(t) et Histo~Vect(V(t-1),t) sont transmises à l'étape 3 qui les mémorise pour chaque trame.
Les valeurs Max~Histo~Vect(t) provenant de l'étape 2 et Max~Histo~Vect(t-1) provenant de l'étape 3 sont transmises à l'étape 4. Cette étape effectue une comparaison entre ces deux valeurs pour calculer le paramètre Det~Stab(t).
Si
Figure img00100001

alors Det~Stab = 1 sinon Det-Stab = 0 ;
<Desc/Clms Page number 11>
K2, constante qui est un nombre rationnel positif supérieur à l'unité.
Les valeurs Histo~Vect(V(t-1),t) provenant de l'étape 2 et Histo~Vect(V(t-1),t-1) provenant de l'étape 3 sont transmises à l'étape 5. Cette étape effectue une comparaison entre ces deux valeurs pour calculer le paramètre Det~Pert(t).
Si
Figure img00110001

alors Det~Pert(t) = 0 sinon Det~ Pert(t) =1;
K1, constante qui est un nombre rationnel positif supérieur à l'unité.
Les informations Det~Pert(t) et Det-Stab (t) respectivement de l'étape 5 et de l'étape 4 sont transmises à l'étape 6 qui mémorise respectivement les M et P dernières valeurs reçues relatives aux M et P dernières trames pour calculer les variables Etat~Pert(t) et Etat~Stab(t) tels que :
Figure img00110002

alors Etat~Pert(t) = 1 sinon Etat~Pert(t) = 0 ;
Figure img00110003

alors Etat~Stab(t) = 1 sinon Etat~Stab(t) = 0 ;
M, P, L et Q étant des valeurs entières telles que M> L et P>Q.
Enfin, les valeurs Det~Stab(t), Det~Pert(t) provenant des étapes 4 et 5, les valeurs Etat~Stab(t) et Etat~Pert(t) provenant de l'étape 6 sont
<Desc/Clms Page number 12>
transmises à l'étape 7 qui fournit en sortie une information Champ~Fiable (t), comme indiqué plus haut :
Si Det~Stab(t) = 1 et Etat~Pert(t) = 0 alors Champ~Fiable(t)=1
Si Det~Stab(t) = 1 et Etat~Pert(t) = 1 et Etat~Stab(t) = 1 alors Champ~Fiable(t)=1
Si Det~Stab(t) = 0 et Etat~Pert(t) = 1 et Det~Pert(t) = 1 alors Champ~Fiable(t)=O
Si aucune des 3 conditions précédentes n'est satisfaite, alors on conserve l'état de fiabilité de la trame précédente:
Champ~Fiable(t)= Champ~Fiable(t-1)
Le procédé décrit en premier lieu exploitait le nombre d'occurrences des vecteurs nuls. Un perfectionnement de ce procédé consiste à rajouter deux conditions optionnelles pour l'exploitation des vecteurs nuls.
Les deux conditions sont: - que le nombre d'occurrences relatives au vecteur nul soit bien un pic local, c'est à dire que : :
Figure img00120001

et
Figure img00120002

- que ce nombre d'occurrences soit supérieur à un seuil, c'est à dire que :
Figure img00120003

avec S1 fixé à une valeur prédéterminée.
Ce seuil a été choisi expérimentalement à 1/8 du nombre de pixels du champ de vecteurs.
Le perfectionnement consiste, dans le cas où ces conditions ne sont pas remplies, à effectuer les comparaisons non pas à partir du vecteur nul mais à partir du vecteur correspondant au nombre d'occurrences maximum, comme indiqué dans la variante qui vient d'être décrite en regard de la figure 1.
<Desc/Clms Page number 13>
L'invention peut être appliquée à la conversion de standards, par exemple entre 50 et 60 Hz. Elle permet notamment d'éviter des défauts inhérents à l'estimation de mouvement quand celle-ci s'avère risquée ou même impossible: flash photographique, effets stroboscopiques, effets spéciaux complexes, mélange intra image de contenus vidéo et film...
D'autres applications mettant en oeuvre la conversion de rythme trame peuvent faire usage de ce procédé, par exemple la conversion fréquence haute pour téléviseur, l'interface vidéo entre systèmes TV et PC.
Ce critère de fiabilité associé à des champs de vecteurs peut aussi être exploité dans des traitements tels que le codage, par exemple en permettant d'influencer la décision relative au choix des modes de codage.
L'algorithme est d'autant plus efficace que le champ de vecteurs mouvement d'origine est dense et physique, c'est à dire représentatif des mouvements réels. Mais il peut aussi être appliqué à des champs de vecteurs par blocs issus d'estimateur de mouvement de type appariement par blocs plus connus sous l'appellation anglaise de "block matching".
L'invention concerne donc les estimateurs de mouvement, les convertisseurs de fréquence, les convertisseurs de standard, les codeurs vidéo mettant en #uvre les algorithmes tels que décrits précédemment.
Un dispositif selon l'invention comporte des moyens de comparaison, sur deux images successives, du nombre d'occurrences des vecteurs majoritaires des champs de vecteurs mouvement de chacune de ces images, des moyens de calcul, à partir du résultat de comparaison, d'un paramètre de stabilité du champ, Det~Stab(t), un champ étant défini stable si la variation du nombre d'occurrences se trouve dans une fourchette prédéfinie, et des moyens de décision de fiabilité en fonction de ce paramètre de stabilité.
Selon une amélioration, un tel dispositif comporte également des moyens de comparaison, sur deux images successives, du nombre d'occurrences du vecteur mouvement correspondant au vecteur majoritaire d'une des deux images, des moyens de calcul d'un paramètre de perturbation du champ, Det~Pert(t), à partir des résultats de la comparaison, un champ étant défini non perturbé si la variation du nombre d'occurrences
<Desc/Clms Page number 14>
se trouve dans une fourchette prédéfinie, les moyens de décision recevant le paramètre de stabilité et le paramètre de perturbation.
Selon une autre amélioration, le dispositif comporte des moyens de calcul des états de stabilité et des états de perturbation à partir de moyens de mémorisation des paramètres de stabilité et de perturbation des images précédentes, les moyens de décisions recevant ces informations pour déclarer un champ fiable ou non fiable.
Selon une autre amélioration de l'invention, les comparaisons sont effectuées non pas sur les valeurs maximales d'histogrammes ou valeurs d'histogramme correspondant au vecteur nul mais sur la somme de valeurs d'histogrammes autour de la valeur maximale ou de la valeur zéro. Par exemple, la comparaison objet de l'étape 4 se fait non pas sur la valeur Max~Histo~Vect(t-1) mais sur la somme correspondant à cette valeur et aux deux valeurs d'histogramme qui l'encadrent. Pour le test de Det~Pert(t), la somme est par exemple effectuée sur les valeurs de l'histogramme correspondant au vecteur nul et aux deux vecteurs voisins. Bien sur, plus de deux valeurs voisines peuvent être sélectionnées pour ces additions. Cette solution permet de s'affranchir des répartitions de valeurs d'histogramme autour des pics qui peuvent légèrement varier d'une trame à l'autre du fait de l'imprécision de l'estimation de mouvement.
Dans les exemples décrits, seule la composante horizontale du vecteur mouvement est utilisée pour l'analyse des champs de vecteurs ; en effet cette composante qui subit généralement le plus de variation et elle est suffisamment représentative du mouvement réel. Ceci dans un but de simplicité et il est donc tout à fait envisageable, sans sortir du domaine de l'invention, d'exploiter les deux composantes ou bien la seule composante verticale dans un contexte donné. De même en ce qui concerne les amplitudes maximum des vecteurs traités, qui peuvent être étendues.
Le critère de fiabilité ainsi calculé peut être combiné à d'autres critères connus, par exemple un critère de saturation de champ de vecteurs mouvement ou un critère de détection de changement de scène. La
<Desc/Clms Page number 15>
combinaison de ces critères permet d'obtenir une détection encore plus efficace de la fiabilité du champ de vecteurs mouvement.

Claims (14)

REVENDICATIONS
1 Procédé de détection de fiabilité d'un champ de vecteurs mouvement d'une image d'une séquence d'images vidéo, caractérisé en ce qu'il comporte une étape de calcul d'un paramètre de stabilité du champ, Det~Stab(t), à partir d'une comparaison (4), sur deux images successives, du nombre d'occurrences des vecteurs majoritaires des champs de vecteurs mouvement de chacune de ces images, un champ étant défini stable si la variation du nombre d'occurrences se trouve dans une fourchette prédéfinie, et une étape de décision de fiabilité (7) en fonction de ce paramètre de stabilité.
2 Procédé selon la revendication 1, caractérisé en ce qu'il comporte également une étape de calcul d'un paramètre de perturbation du champ, Det~Pert(t), à partir d'une comparaison (5), sur deux images successives, du nombre d'occurrences du vecteur mouvement correspondant au vecteur majoritaire d'une des deux images (2,3), un champ étant défini non perturbé si la variation du nombre d'occurrences se trouve dans une fourchette prédéfinie, et en ce que l'étape de décision (7) est également fonction de ce paramètre de perturbation.
3 Procédé selon la revendication 1, caractérisé en ce qu'il comporte également une étape de calcul d'un paramètre de perturbation du champ, Det~Pert(t), un champ étant défini non perturbé si la variation du nombre d'occurrences du vecteur nul dans le champ de vecteurs mouvement, entre deux images successives, est compris dans une fourchette prédéfinie, et en ce que l'étape de décision (7) est également fonction de ce paramètre de perturbation.
4 Procédé selon la revendication 1, caractérisé en ce qu'il comporte une étape de calcul, pour une image (t), d'un état de stabilité temporelle Etat~stab(t) (6) à partir des paramètres de stabilité Det~Stab(t) de
<Desc/Clms Page number 17>
cette image et de P-1 images précédentes (4), un état étant déclaré stable s'il est détecté un nombre minimum Q de champs stables parmi ces P images, P et Q étant des nombres entiers tels que P>Q, et en ce que l'étape de décision (7) est également fonction de cet état de stabilité.
5 Procédé selon la revendication 2, caractérisé en ce qu'il comporte, pour une image (t), une étape de calcul d'un état de perturbation, Etat~Pert(t), (6) à partir des paramètres de perturbation Det~Pert(t) de cette image et des M-1 images précédentes (5), un état étant déclaré perturbé ou non perturbé selon qu'il est détecté ou non un nombre minimum L de champs non perturbés parmi ces M images, M et L étant des nombres entiers tels que M>L, et en ce que l'étape de décision (7) est également fonction de cet état de perturbation.
6 Procédé selon la revendication 5, caractérisé en ce qu'il comporte également une étape de calcul d'un paramètre de stabilité du champ, Det~Stab(t), à partir d'une comparaison (4), sur deux images successives, du nombre d'occurrences des vecteurs majoritaires des champs de vecteurs mouvement de chacune de ces images, un champ étant défini stable si la variation du nombre d'occurrences se trouve dans une fourchette prédéfinie, et en ce qu'un champ de vecteurs est déclaré fiable s'il est détecté un champ stable et un état non perturbé.
7 Procédé selon la revendication 4, caractérisé en ce qu'il comporte également, pour une image (t), une étape de calcul d'un paramètre de perturbation du champ Det~Pert(t), à partir d'une comparaison (5), sur deux images successives, du nombre d'occurrences du vecteur mouvement correspondant au vecteur majoritaire d'une des deux images (2,3), un champ étant défini non perturbé si la variation du nombre d'occurrences se trouve dans une fourchette prédéfinie, ainsi qu'une étape de calcul d'un état de perturbation Etat~Pert(t) (6) à partir des paramètres de perturbation Det~Pert(t) de cette image et des M-1 images précédentes (5), un état étant déclaré perturbé ou non perturbé selon qu'il est détecté ou non un nombre minimum Q de champs non perturbés parmi ces M images, M et Q étant des
<Desc/Clms Page number 18>
nombres entiers strictement positifs et en ce qu'un champ de vecteurs est déclaré fiable s'il est détecté un champ stable, un état perturbé et stable.
8 Procédé selon la revendication 1,2 ou 3, caractérisé en ce que les occurrences des vecteurs sont relatives à la valeur de la composante horizontale de ces vecteurs.
9 Procédé selon la revendication 1, caractérisé en ce que l'étape de décision (7) prend également en compte un paramètre de détection de saturation du champ de vecteurs mouvement.
10 Procédé selon la revendication 1, caractérisé en ce que l'étape de décision (7) prend également en compte un paramètre de détection de changement de scène dans la séquence vidéo.
11 Dispositif de détection de fiabilité d'un champ de vecteurs mouvement d'une image d'une séquence d'image, caractérisé en ce qu'il comporte - des moyens de comparaison (4), sur deux images successives, du nombre d'occurrences des vecteurs majoritaires des champs de vecteurs mouvement de chacune de ces images, - des moyens de calcul, à partir du résultat de comparaison, d'un paramètre de stabilité du champ, Det~Stab(t), un champ étant défini stable si la variation du nombre d'occurrences se trouve dans une fourchette prédéfinie, - et des moyens de décision de fiabilité (7) en fonction de ce paramètre de stabilité.
12 Dispositif selon la revendication 11, caractérisé en ce qu'il comporte également : - des moyens de comparaison (4), sur deux images successives, du nombre d'occurrences du vecteur mouvement correspondant au vecteur majoritaire d'une des deux images, - des moyens de calcul, à partir du résultat de comparaison, d'un paramètre de perturbation du champ, Det~Pert(t), un champ étant défini non
<Desc/Clms Page number 19>
perturbé si la variation du nombre d'occurrences se trouve dans une fourchette prédéfinie, - les moyens de décision de fiabilité (7) prenant également en compte ce paramètre de perturbation.
13 Convertisseur de fréquence, caractérisé en ce qu'il comprend un dispositif selon la revendication 11.
14 Codeur vidéo, caractérisé en ce qu'il comprend un dispositif de détection selon la revendication 11.
FR0102042A 2001-02-15 2001-02-15 Procede et dispositif de detection de fiabilite d'un champ de vecteurs mouvement Expired - Fee Related FR2820927B1 (fr)

Priority Applications (6)

Application Number Priority Date Filing Date Title
FR0102042A FR2820927B1 (fr) 2001-02-15 2001-02-15 Procede et dispositif de detection de fiabilite d'un champ de vecteurs mouvement
DE60210845T DE60210845T2 (de) 2001-02-15 2002-02-01 Verfahren und Vorrichtung zur Ermittlung der Zuverlässigkeit eines Bewegungsvektorfeldes
EP02290238A EP1233618B1 (fr) 2001-02-15 2002-02-01 Procédé et dispositif de détéction de fiabilité d'un champ de vecteurs de mouvement
AT02290238T ATE324745T1 (de) 2001-02-15 2002-02-01 Verfahren und vorrichtung zur ermittlung der zuverlässigkeit eines bewegungsvektorfeldes
JP2002033501A JP2002314952A (ja) 2001-02-15 2002-02-12 動きベクトル・フィールドの信頼性を検出する方法および装置
US10/075,839 US7194034B2 (en) 2001-02-15 2002-02-13 Method and device for detecting reliability of a field of movement vectors

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR0102042A FR2820927B1 (fr) 2001-02-15 2001-02-15 Procede et dispositif de detection de fiabilite d'un champ de vecteurs mouvement

Publications (2)

Publication Number Publication Date
FR2820927A1 true FR2820927A1 (fr) 2002-08-16
FR2820927B1 FR2820927B1 (fr) 2003-04-11

Family

ID=8860035

Family Applications (1)

Application Number Title Priority Date Filing Date
FR0102042A Expired - Fee Related FR2820927B1 (fr) 2001-02-15 2001-02-15 Procede et dispositif de detection de fiabilite d'un champ de vecteurs mouvement

Country Status (6)

Country Link
US (1) US7194034B2 (fr)
EP (1) EP1233618B1 (fr)
JP (1) JP2002314952A (fr)
AT (1) ATE324745T1 (fr)
DE (1) DE60210845T2 (fr)
FR (1) FR2820927B1 (fr)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1422928A3 (fr) * 2002-11-22 2009-03-11 Panasonic Corporation Interpolation pour un signal vidéo numérique avec compensation de mouvement
GB2411784B (en) * 2004-03-02 2006-05-10 Imagination Tech Ltd Motion compensation deinterlacer protection
JP4844370B2 (ja) 2006-12-04 2011-12-28 株式会社日立製作所 フレームレート変換装置及び表示装置
US8660175B2 (en) * 2007-12-10 2014-02-25 Qualcomm Incorporated Selective display of interpolated or extrapolated video units
EP2490448A1 (fr) * 2011-02-18 2012-08-22 Siemens Aktiengesellschaft Procédé d'encodage et dispositif d'encodage d'image pour la compression d'une séquence d'images
US9510018B2 (en) * 2011-11-23 2016-11-29 Luca Rossato Signal analysis and generation of transient information
US8761448B1 (en) 2012-12-13 2014-06-24 Intel Corporation Gesture pre-processing of video stream using a markered region

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5057921A (en) * 1989-03-31 1991-10-15 Thomson Consumer Electronics Process and device for temporal image interpolation, with corrected movement compensation
EP0648047A2 (fr) * 1993-10-11 1995-04-12 THOMSON multimedia Méthode et dispositif pour former un signal vidéo à l'aide d'un estimateur de mouvement et de voies de traitement de signal utilisant des procédés d'interpolation différents
US5784114A (en) * 1992-07-03 1998-07-21 Snell & Wilcox Ltd Motion compensated video processing
EP0903946A1 (fr) * 1997-09-19 1999-03-24 THOMSON multimedia Dispositif et procédé d'interpolation d'image avec compensation de mouvement

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3853555T2 (de) * 1987-06-09 1995-08-17 Sony Corp Verarbeitung des Bewegungsvektors in digitalen Fernsehbildern.
FR2648979B1 (fr) * 1989-06-27 1996-09-06 Thomson Consumer Electronics Procede de segmentation du champ de mouvement d'une image et son application au codage d'images video
US5546130A (en) * 1993-10-11 1996-08-13 Thomson Consumer Electronics S.A. Method and apparatus for forming a video signal using motion estimation and signal paths with different interpolation processing
US6462791B1 (en) * 1997-06-30 2002-10-08 Intel Corporation Constrained motion estimation and compensation for packet loss resiliency in standard based codec

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5057921A (en) * 1989-03-31 1991-10-15 Thomson Consumer Electronics Process and device for temporal image interpolation, with corrected movement compensation
US5784114A (en) * 1992-07-03 1998-07-21 Snell & Wilcox Ltd Motion compensated video processing
EP0648047A2 (fr) * 1993-10-11 1995-04-12 THOMSON multimedia Méthode et dispositif pour former un signal vidéo à l'aide d'un estimateur de mouvement et de voies de traitement de signal utilisant des procédés d'interpolation différents
EP0903946A1 (fr) * 1997-09-19 1999-03-24 THOMSON multimedia Dispositif et procédé d'interpolation d'image avec compensation de mouvement

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
OJO O A ET AL: "ROBUST MOTION-COMPENSATED VIDEO UPCONVERSION", IEEE TRANSACTIONS ON CONSUMER ELECTRONICS, IEEE INC. NEW YORK, US, vol. 43, no. 4, 1 November 1997 (1997-11-01), pages 1045 - 1056, XP000768557, ISSN: 0098-3063 *

Also Published As

Publication number Publication date
FR2820927B1 (fr) 2003-04-11
DE60210845D1 (de) 2006-06-01
EP1233618B1 (fr) 2006-04-26
EP1233618A1 (fr) 2002-08-21
US7194034B2 (en) 2007-03-20
ATE324745T1 (de) 2006-05-15
JP2002314952A (ja) 2002-10-25
US20020141500A1 (en) 2002-10-03
DE60210845T2 (de) 2006-09-14

Similar Documents

Publication Publication Date Title
US10841494B2 (en) Motion vector estimation for video image stabilization
EP0390660B1 (fr) Procédé et dispositif d&#39;interpolation temporelle d&#39;images, à compensation de mouvement corrigée
KR100955444B1 (ko) 상태 머신에 기초한 역 텔레시네 알고리즘을 이용한 복수의 비디오 프레임 처리 방법, 장치, 머신 판독가능 매체, 및 비디오 인코딩 프로세서
US8184705B2 (en) Method and apparatus for motion compensated filtering of video signals
JP2000069487A (ja) ビデオシ―ケンスのノイズレベルの推定方法
FR2766946A1 (fr) Procede et dispositif de pretraitement pour estimation de mouvement
FR2891685A1 (fr) Procede et dispositif d&#39;estimation de mouvement a references multiples, procede et dispositif de codage, produits programme d&#39;ordinateur et moyens de stockage correspondants.
US7336707B2 (en) Method and apparatus for detecting improper area for motion compensation in video signal
FR2820927A1 (fr) Procede et dispositif de detection de fiabilite d&#39;un champ de vecteurs mouvement
FR2891686A1 (fr) Procede et dispositif de detection de transitions dans une sequence video, procede et dispositif de codage, produits programme d&#39;ordinateur et moyens de stockage correspondants.
EP0780794B1 (fr) Procédé de correction d&#39;estimation de mouvement dans des images à structures périodiques
FR2805429A1 (fr) Procede de controle de la qualite numeriques distribuees par detection de faux contours
EP1715679A1 (fr) Désentrelacement d&#39;une séquence d&#39;image animées
FR2828977A1 (fr) Dispositif et procede d&#39;estimation du niveau de bruit, systeme de reduction de bruit et systeme de codage comprenant un tel dispositif
US11595613B2 (en) De-interlacing processing method and device, and computer-readable storage medium
EP2374278B1 (fr) Codage video base sur la compensation de mouvement global
EP1223554A1 (fr) Méthode de réduction de bruit
FR2860940A1 (fr) Dispositif et procede de reduction de bruit d&#39;un signal video
EP1290879B1 (fr) Procede de detection de saturation d&#39;un champ de vecteurs mouvement
EP1241894A1 (fr) Procédé de codage d&#39;images numériques basé sur la dissimulation d&#39;erreurs
WO2003053065A2 (fr) Procede et dispositif de compression de donnees video codees par paquets video
US6671420B1 (en) Method for processing saturated intervals in video sequences
FR2829345A1 (fr) Dispositif et procede de codage d&#39;images video par compensation de mouvement
FR3103302A1 (fr) Segmentation d&#39;images par flot optique
FR2624680A1 (fr) Procede et dispositif de reduction de la visibilite du bruit sur les images de television

Legal Events

Date Code Title Description
ST Notification of lapse

Effective date: 20071030