FR2678464A1 - Procede de conversion du rythme temporel d'une sequence d'images animees. - Google Patents

Procede de conversion du rythme temporel d'une sequence d'images animees. Download PDF

Info

Publication number
FR2678464A1
FR2678464A1 FR9108005A FR9108005A FR2678464A1 FR 2678464 A1 FR2678464 A1 FR 2678464A1 FR 9108005 A FR9108005 A FR 9108005A FR 9108005 A FR9108005 A FR 9108005A FR 2678464 A1 FR2678464 A1 FR 2678464A1
Authority
FR
France
Prior art keywords
images
image
t2nk
motion
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
FR9108005A
Other languages
English (en)
Inventor
Guillotel Philippe
Chupeau Bertrand
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thales SA
Original Assignee
Thomson CSF SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson CSF SA filed Critical Thomson CSF SA
Priority to FR9108005A priority Critical patent/FR2678464A1/fr
Priority to JP50137393A priority patent/JPH06500910A/ja
Priority to PCT/FR1992/000592 priority patent/WO1993000773A1/fr
Priority to EP19920913630 priority patent/EP0546141A1/fr
Publication of FR2678464A1 publication Critical patent/FR2678464A1/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012—Conversion between an interlaced and a progressive signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/0132—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Television Systems (AREA)

Abstract

La présente invention concerne un procédé de conversion du Drythme temporel d'une séquence d'images animées permettant de transformer une fréquence trame F en une fréquence trame f, telle (CF DESSIN DANS BOPI) Ce procédé consiste à générer à partir de 2N' images successives connues T2 N ' k + 1 à T2 N ' k + 2 N ' , 2N images successives t2 N k + 1 à t2 N k + 2 N ' , les pixels des images impaires étant définis par au moins leur valeur de luminance tandis qu'au moins les pixels des images paires sont définis par au moins leur valeur de luminance et un vecteur-mouvement et comporte la détermination des images t2 N k + 1 à générer par recopie (L1 ) de l'image connue T2 N ' k + 1 , la détermination des images t2 N k + N par désentrelacement (1) de l'image connue T2 N ' k + N ' et conservation (2) d'une ligne sur deux et la détermination des 2N-2 images restantes par interpolation temporelle compensée en mouvement à partir des images connues. Application notamment au doublement de fréquence dans le cadre de la HD-MAC.

Description

PROCEDE DE CONVERSION DU RYTHME TEMPOREL
D'UNE SEQUENCE D'IMAGES ANIMEES
La présente invention concerne un procédé de conversion du rythme temporel d'une séquence d'images animées, en particulier d'une séquence d'images de télévision.
Actuellement, les images de télévision sont transmises, suivant les standards, à une fréquence-trame de 50Hz ou 60Hz. Ces fréquences-trame ont pour inconvénient de créer un phénomène de papillottement, notamment dans les zones de très fortes luminosités. Ce phénomène est d'autant plus gênant visuellement que l'écran est grand. Or depuis plusieurs années, on cherche à améliorer la qualité des images de télévision en éliminant le maximum de phénomènes parasites. Ainsi, pour remédier au papillottement, on a proposé, dans le standard 50Hz, de doubler la fréquence-trame, c'est-à-dire de réaliser une conversion 50Hz en 100Hz. Il existe actuellement plusieurs procédés permettant de réaliser cette conversion. Parmi ces procédés, on peut citer les procédés par répétition de trames de type AABB ou ABAB.Ces procédés sont décrits, par exemple, dans l'article intitulé "Scan
Rate up Conversions using adaptative weighted median filtering" de P. Haavisto, J.Juhola et Y. Neuvo paru dans le 3rd
International Workshop on HDTV 1989 Torino. Ce type de procédé introduit peu de défauts spatialement mais présente un effet de saccades d'autant plus visible que le mouvement est rapide. I1 est aussi connu d'utiliser des filtres linéaires spatiaux, temporels ou spatio-temporels. Ce type de filtre est décrit, notamment, dans l'article intitulé "Interpolating Interlaced
Television Pictures" de D.M. Ackroyd et M. teston dans le 2nd
International Workshop on Signal Processing of HDTV 1988, l'Aquila (Italie). Ces filtres permettent l'obtention d'un meilleur compromis entre la complexité de mise en oeuvre et la qualité du résultat.Cependant, les filtres introduisent une perte de définition dans l'image.
Les techniques ci-dessus sont simples à mettre en oeuvre.
Toutefois, elles ne résolvent que partiellement le problème du papillottement et présentent des défauts tels qu'un effet de saccades et/ou une perte de définition, d'autant plus visibles que le mouvement est rapide. Pour remédier à ces problèmes, notamment dans le cadre de la télévision Haute Définition, on a mis en oeuvre des techniques d'interpolation compensée en mouvement. Un exemple de ces techniques est décrit, en particulier, dans l'article intitulé "HDTV Standards Conversion" de Thomas Reuter, IEEE-ASSP & Eurasip, 5ème Séminaire sur le
Traitement de signaux multidimensionnels, 1987, Nordwijkerhout (Pays-Bas). Ces techniques améliorent nettement les résultats et permettent l'obtention d'images de très bonne qualité lorsque le mouvement détecté est exact.Toutefois, ces techniques sont très complexes, surtout lorsque l'on veut obtenir des résultats les plus exacts possibles.
La présente invention a donc pour but de proposer un nouveau procédé de conversion du rythme temporel d'une séquence d'images animées qui permette d'obtenir une bonne qualité d'images tout en étant d'une mise en oeuvre relativement simple et peu coûteuse.
La présente invention a aussi pour but de proposer un nouveau procédé de conversion du rythme temporel d'une séquence d'images animées qui soit particulièrement facile à mettre en oeuvre dans le cadre du HD-MAC.
La présente invention a encore pour but de proposer un nouveau procédé de conversion du rythme temporel d'une image qui peut être utilisé pour toute conversion d'une fréquence trame F N en une fréquence trame f telle que : f = Ns F.
En conséquence, la présente invention a pour objet un procédé de conversion du rythme temporel d'une séquence d'images animées permettant de transformer une fréquence trame F en une N fréquence trame f telle que : f = Na F, le procédé consistant à générer à partir 2N' images successives connues T2N,k+1,
T2N'k+2,.. T2N' k+2N' 2N images successives t2Nk+1, t2Nk+2, t2Nk+3, ... t2Nk+2N, , les pixels des images impairs T2N,k+1 , T2N, k+3 étant définis par au moins leur valeur de luminance tandis qu'au moins les pixels des images paires T2N,k+2 T, k+4 , ..., sont définis par au moins leur valeur de luminance et un vecteur-mouvement, caractérisé par les étapes suivantes 1 - détermination des images t2Nk+t à générer par recopie de l'image connue T2N, ; 2 - détermination des images t2Nk+N à générer par désentrelacement de l'image connue T2N,k+NX et conservation d'une ligne sur deux 3 - détermination des 2N-2 images restantes par interpolation temporelle compensée en mouvement à partir des images connues.
Ce procédé de conversion du rythme temporel d'une séquence d'images animées, qui peut être mis en oeuvre à chaque fois que l'on doit transformer une fréquence trame F en une fréquence trame f est particulièrement adapté au cadre du HD-MAC, car dans ce cas les vecteurs-mouvement sont transmis par l'intermédiaire de la voie d'assistance numérique ou DATV, au moins pour les modes 40ms et 20ms.
Ce procédé peut s'appliquer à des transformations de fréquence trame, telles qu'une conversion 50Hz en 60Hz ou 50Hz en 100Hz.
Selon un mode de réalisation préférentiel, le désentrelacement de l'image T2N,k+N, est réalisé à l'aide d'un filtre spatio-temporel qui est, de préférence, orienté selon le vecteur-mouvement associé au pixel traité.
D'autre part, selon un mode de réalisation préférentiel, l'interpolation compensée en mouvement des images t2Nk+2' t2Nk+3'
' 2Nk+N-l' t2Nk+N+l' .., t2Nk+2N est réalisée par réassignation, à chaque bloc de pxp (p > 1) pixels d'une image à interpoler, du vecteur mouvement associé au bloc de 1' image paire connue T2N,k+2 de coordonnées spatiales voisines, le vecteurmouvement présentant une amplitude égale au rapport des distances inter-images considérées, et par affectation à chaque pixel d'une valeur de luminance obtenue par moyennage des valeurs de luminance des points des images connues considérées obtenues par interpolation symétrique compensée en mouvement.
Selon une autre caractéristique de la présente invention, les valeurs de chrominance des pixels des images successives correspondant à des instants t2Nk+l'"'' t2Nk+2N sont obtenues en réalisant une répétition des images considérées connues de type
AABB.
Selon une autre caractéristique, les valeurs de chrominance des pixels des images successives correspondant à des instants t2Nk+l, .., t2Nk+2N sont calculées en utilisant le même procédé que le procédé de calcul des valeurs de luminance.
D'autre part, selon une caractéristique supplémentaire de la présente invention, dans le cas d'images animées constituées par des images télévision de type HD-MAC, les images paires de la voie 80ms sont affectées d'un champ de vecteurs-mouvement nuls.
D'autres caractéristiques et avantages de la présente invention apparaîtront à la lecture de la description d'un mode de réalisation préférentiel, faite avec référence aux dessins ci-annexés dans lesquels - la figure 1 est une représentation schématique temporelle d'une séquence d'images d'entrée à la fréquence 50Hz et d'une séquence d'images de sortie à une fréquence de 100Hz obtenues selon le procédé de la présente invention - la figure 2 est une représentation schématique expliquant le fonctionnement d'un filtre spatio-temporel utilisé dans une étape du procédé de la présente invention - la figure 3 est une représentation schématique illustrant la reconstruction d' images selon la troisième étape du procédé de la présente ihvention - la figure 4 est un schéma synoptique des différentes étapes du procédé dans le cas d'un doublement de fréquence, et - la figure 5 est une représentation schématique temporelle d'une séquence d'images d'entrée à la fréquence 50Hz et d'une séquence d'images de sortie à une fréquence 60Hz obtenues selon le procédé de la présente invention.
Dans un premier temps, la présente invention sera décrite en se référant à une conversion de la fréquence-trame de 50Hz à 100Hz dans le cadre d'une application HD-MAC. Toutefois, il est évident pour l'homme de l'art que la présente invention peut s'appliquer à une conversion du rythme temporel d'une fréquence F
N à une fréquence f, telle que : f = Ns F. D'autre part, le procédé de la présente invention peut être utilisé dans d'autres applications que le HD-MAC. De plus, dans la description, on emploie indifféremment le mot "trame" ou "image".
Conformément au problème posé dans le cadre de la présente invention, on cherche à partir de trames T1, T2, T3 transmises à une fréquence-trame de 50Hz à reconstruire quatre trames t1, t2, tu'tu à une fréquence de 100Hz. En fait, dans le cadre d'un signal du type HD-MAC, notamment au niveau du décodeur HD-MAC, l'on possède outre des informations sur les valeurs de luminance et de chrominance des pixels P d'autres informations telles que des vecteurs-mouvement transmis par la voie d'assistance numérique (DATV) pour les modes 40ms et 20ms. De manière connue, ces vecteurs-mouvement sont, dans le cadre de cette application particulière, de précision entière, d'amplitude limitée à plus ou moins 14 pixels en vertical et plus ou moins 31 pixels en horizontal et sont calculés pour des blocs de 16 x 16 pixels par image pour les modes 20ms et 40ms.Ces vecteurs-mouvement peuvent être obtenus, par exemple, à l'aide d'un estimateur de mouvement de type bloc-récursif-hiérarchique tel que décrit dans la demande de brevet français N"89 11328 déposée le 29 Août 1989 au nom de
Thomson Consumer Electronics et ayant pour titre "Procédé et dispositif d'estimation et de codage hiérarchisé du mouvement de séquences d'images" Pour une description plus détaillée du codage et du décodage en HD-MAC, on peut se référer, par exemple, à l'article intitulé "HD-MAC Coding for Mac compatible Broad
Casting HDTV signals" de IR.F.W.P. Vreeswijk et M.R. Haghiri paru dans le 3rd International Workshop on HDTV, 1989 Torino (Italie).
Ainsi, dans le cadre notamment d'un signal HD-MAC, pour construire des trames à une fréquence double, à savoir les trames tl, t2, t3, t4 ou de manière plus générale les trames t2Nk+l' t2Nk+2' . t2Nk+2N à partir de trames T2N'k+l' T2N,k+2, ..., à savoir Tt, T2, et T3 , on utilise pour les trame T1 et T3 les valeurs de luminance et de chrominance des pixels P représentés par des croix sur la figure 1 et pour la trame T2, outre les valeurs de luminance et de chrominance des pixels P, un champ de vecteurs-mouvement estimés symétriquement et représentés par les vecteurs +V et -V sur la figure 1.
Conformément à la présente invention, les trames tl, t2, t3, t4, à une fréquence-trame double de la fréquence-trame de départ sont obtenues en réalisant les étapes suivantes : on effectue, pour obtenir les pixels P1 de la trame tl représentés par un cercle, une recopie de la trame T1; pour obtenir les pixels P2 de la trame t3, un désentrelacement de la trame T2 et une conservation des lignes impaires crées, et pour obtenir les pixels P3 des trames t2 et t4, une création de ces pixels en utilisant une interpolation temporelle compensée en mouvement.
On décrira ci-après, de manière plus détaillée, l'étape de désentrelacement de la trame T2 donnant la trame t3 et l'étape de création des trames t2 et t4, la recopie étant réalisée facilement en utilisant une simple mémoire d' image.
Pour réaliser, le désentrelacement de la trame T2, on utilise de préférence un filtre spatio-temporel. Dans le cadre de la présente invention, ce filtre travaille sur trois trames telles que T1,T2, T3, puis T3, T4, T5, etc..., comme représenté sur la figure 2. D'autre part, pour améliorer le résultat, le filtre sera orienté dans le sens du mouvement. Ainsi, comme représenté sur la figure 2, pour obtenir le pixel P2 appartenant à la trame t2, on utilise quatre pixels sur la trame T2 et trois pixels sur les trames T1 et T3. De manière plus spécifique, on prend sur la trame T2 les quatre pixels P, encadrant le pixel P2, avec la même abscisse, ces pixels étant affectés, par exemple,d' un coefficient 15 pour les deux premiers pixels et d'un coefficient 1 pour les deux autres pixels plus éloignés. Les pixels des trames T1 et T3 sont affectés de coefficients -3, 6, -3.Toutefois, selon un mode de réalisation préférentiel de la présente invention, au lieu d'utiliser, sur les trames T1 et T3, le pixel P' de mêmes coordonnées spatiales que le pixel P2 à construire, on utilise le pixel P'1 le plus voisin de l'extrémité du vecteur-mouvement +V affecté au pixel P' de la trame T3 ou -V affecté au pixel P' de la trame T1. Ce pixel P'1 est affecté d'un coefficient 6 et les deux pixels P'1 l'entourant sont affectés d'un coefficient -3, comme représenté sur la figure 2. Ceci permet d'obtenir pour la trame t3 et les trames équivalentes t2Nk+N des valeurs de luminance les plus exactes possibles.Ce traitement de désentrelacements est réalisé pour les trames t3, t7, etc... dans le cas d'une conversion de 50Hz en 100Hz ou de manière plus générale pour toutes les trames se produisant aux instants t 2Nk+N en utilisant l'image connue se produisant aux instants T2N'k+N'
On décrira maintenant, en se référant à la figure 3, un mode de réalisation de la construction des trames t2 et t4 à partir des trames T1, T2, T3. La création de ces trames t2 et t4 est réalisée en utilisant une interpolation compensée en mouvement.
Pour ce faire, il est nécessaire d'obtenir, outre une valeur de luminance, un vecteur-mouvement pour les pixels des trames t2 et t4 tels que le point référencé Xij sur la figure 3, sachant que l'on dispose d'un champ de vecteurs-mouvement par blocs de 16 x 16 pixels pour la trame T2, ce champ étant estimé symétriquement à partir des trames T1, T2, T3.Conformément à la présente invention, on utilise un réassignation des vecteurs-mouvement et non une projection des vecteurs-mouvement de la trame T2 sur la trame t2 ou t4, technique généralement employée dans l'interpolation compensée en mouvement de type classique. Une réassignation des vecteurs- mouvement ne nécessite aucune gestion des conflits et des trous, ce qui simplifie la technique d'interpolation. Dans le cadre de la présente invention, on considère que le vecteur-mouvement affecté au point XiJ de la trame t2 ou de la trame t4 est constitué par un des n x n vecteurs-mouvement entourant le pixel Xjj de la trame T2 de mêmes coordonnées spatiales que les points Xij des trames t2 et t4. Comme représenté sur la figure 3, on prend pour n une valeur 3 et l'on sait d'autre part que chaque bloc de 16 x 16 pixels est affecté d'un vecteur-mouvement. En conséquence, le vecteurmouvement affecté au point Xi; des trames t2 ou t4 est choisi parmi l'un des 9 vecteurs-mouvement de la trame T2 référencés 1, 2, 3, 4, 5, 6, 7, 8, 9 sur la figure 3.Le vecteur-mouvement choisi est, en fait, celui qui minimise la DFD, à savoir la différence inter-images compensée en mouvement entre les trames
T1 et T2 pour la trame t2 et les trames T2 et T3 pour la trame t4. Toutefois, dans le cas d'objets en mouvement, le critère de la DFD minimale n'est pas un critère suffisant, notamment au niveau des contours à cause du recouvrement de ces objets.En conséquence, conformément à la présente invention, tous les vecteurs-mouvement dont la DFD est voisine à un seuil près sont conservés, à savoir : n vecteurs, et la valeur Xjj du point considéré correspond à la moyenne de tous les points obtenus par interpolation symétrique compensée en mouvement, soit
X (tk) le point recherché et X (Tk) les points source, les
ij ij valeurs de Xij (Tk) sont données par les équations ci-après
Figure img00080001
Ces équations qui ont été données dans le cas de la création de quatre images à partir de deux images, peuvent être généralisées au cas de la création de 2N images à partir de 2N' images comme cela sera expliqué ci-après dans le cas d'une conversion 50Hz en 60Hz.Dans ces équations XiJ (Vu, Tk)
ij représente la valeur du pixel de coordonnées i, j déplacé du vecteur Vu sur la trame Tk et n le nombre de vecteurs-mouvement dont la DFD est minimale au sens défini précédemment, c'est-àdire dont la DFD comparée à la DFD minimale est inférieure à un seuil, la DFD minimale étant la DFD la plus faible pour les vecteurs-mouvement considérés.Dans le cas d'une application
HD-MAC, les vecteurs-mouvement Vu sont de précision entière sur une grille désentrelacée, donc les vecteurs Vu/2 auront une précision de 0,5 pixel en horizontal et de 0,25 en vertical sur chaque trame paire à savoir les trames t2et t4 D'autre part, les valeurs des points Xij (Vu/,Tk) sont obtenues par interpolation bilinéaire, à savoir, en utilisant la formule ci-après
Figure img00090001

Xi, X2, X3, X4 représentant les pixels encadrant le point X1j déplacé du vecteur Vu et dx, dy correspondant au déplacement entre ces pixels et le point X
On a décrit ci-dessus le-traitement de la luminance dans le cadre du procédé de conversion du rythme temporel d'une séquence animée conforme à la présente invention.Ce traitement de la luminance est réalisé plus particulièrement pour un signal issu d'un décodeur HD-MAC et concerne, plus particulièrement, les modes 20ms et 40ms pour lesquels l'on a, en plus des valeurs de luminance, au moins pour les trames paires un champ de vecteursmouvement fourni par la DATV. Pour le mode 80ms, on dispose des valeurs de luminance mais pas du vecteur-mouvement qui est mis à O. Pour le traitement de la chrominance, deux procédés, en particulier, peuvent être envisagés. Le premier procédé consiste à effectuer une simple répétition de trame de type AABB.L'autre procédé consiste à effectuer sur les valeurs de chrominance le même traitement que celui effectué sur les valeurs de luminance après sélection des vecteurs-mouvement, la DFD étant calculée sur la luminance. Toutefois, cette technique nécessite l'accès au pixel déplacé Xij (Vu, Tk). Selon une variante de la présente invention, on peut donc utiliser cette information de chrominance pour calculer les DFD, ce qui donne dans ce cas
DFDu=DFDu luminance + DFDu chrominance avec la DFDu représentant une DFD minimale au sens défini ci dessus. L'utilisation de cette nouvelle DFD permet d'affiner la
u décision dans certains cas. Notamment dans le cas d'un objet qui se déplace devant un fond de même valeur de luminance, seule la couleur, à savoir la valeur de chrominance, permet de prendre une décision correcte.
Comme mentionné ci-dessus, la présente invention a été décrite en se référant à un signal de type HD-MAC, plus particulièrement à un signal en mode 20ms et 40ms. Pour les blocs de p x p pixels qui sont dans le mode 80ms, on utilise le même traitement mais en affectant ces blocs d'un vecteur-mouvement nul.
On peut aussi envisager, pour le traitement des blocs de 16 x 16 pixels qui sont dans le mode 80ms, d'utiliser un traitement par répétition de trames de type AABB, ou ABAB.
Les différentes étapes décrites ci-dessus peuvent être mises en oeuvre selon le schéma synoptique représenté à la figure 4.
Dans le cas d'une conversion 50Hz en 100Hz, on stocke donc dans des mémoires telles que des mémoires d'images ou similaires, au moins les valeurs de luminance de trois trames successives telles que T1, T2, T3 et pour la trame paire T2, on stocke en plus les vecteurs-mouvement associés. Comme représenté par la ligne en tireté L1, pour obtenir la trame tl, on recopie à l'identique la trame T1. Pour obtenir la trame t3, la trame T2 est envoyée sur un système 1 réalisant un désentrelacement, c'est-à-dire une conversion entrelacée en progressive, puis dans un système 2 réalisant l'élimination des lignes paires. Pour obtenir la trame t2, on calcule en 3 les DFD pour les 9 vecteurs voisins en
u utilisant les informations issues de T1 et de T2 ainsi que les vecteurs-mouvement associés dont l'amplitude est divisée par 2 en 4.Ce calcul permet d'obtenir un ensemble de vecteurs-mouvement pouvant être affectés au pixel considéré. En 5, on choisit le vecteur-mouvement à affecter comme décrit ci-dessus puis en 6 on calcule le pixel résultant. On réalise des opérations identiques en 7, 8 et 9 pour obtenir la trame t4. En 7, on calcule les DFDupour les 9 vecteurs voisins, en 8 on choisit parmi ces 9 vecteurs ceux tels que DFDu # S1 où S1 est un seuil déterminé et en 9 on calcule la valeur du pixel résultat en utilisant l'équation donnée ci-dessus. Puis on recommence les mêmes opérations pour les trames T3, T4, T5 de manière à obtenir t5 par recopie de T3, t7 par désentrelacement de T4 et t6 et t8 par interpolation compensée en mouvement à partir de T3, T4, T5.
On décrira maintenant avec référence à la figure 5, le cas d'une conversion de fréquence de 50Hz en 60Hz. Dans ce cas, le rapport N/N' = 6/5 et l'on utilise 10 images ou trames à 50Hz pour obtenir 12 images ou trames à 60Hz. On part donc des images T1,
T2, ..., T10 pour obtenir les images t1, t2, ..., tl2. Pour les images T2, T4, ..., T10, l'on a outre les valeurs de luminance, un vecteur-mouvement V pour chaque bloc de n x n pixels d'une image. Ainsi, pour la trame T2, l'on possède un champ de vecteurs-mouvement estimés symétriquement et représentés par -V1 et +V1 sur la figure 5. De même, pour T4 les vecteurs-mouvement sont représentés par -V2, +V2, pour T6 par -V3, +V3, pour T8 par -V4, +V4 et pour T10 par -V5, +V5.
Conformément au procédé de la présente invention, la trame t1 est obtenue par recopie de la trame T1 et la trame t7 est obtenue par désentrelacement de la trame T6 avec conservation des seules lignes paires. En ce qui concerne les trames t2, t3, t4, t5, t6, t8, t9, tlo, tll, t12, elles sont obtenues par compensatipn de mouvement à l'aide de deux trames T k adjacentes et du vecteur-mouvement correspondant d'amplitude égale au rapport des distances inter-trames.
Ainsi, la trame t2 est obtenue en utilisant les trames T1,
T2, T3 et un champ des vecteurs mouvement estimés symétriquement et représentés par - 5/6V1 et 1/6V1. De même, pour la trame t3, on utilise toujours les trames T1, T2, T3 mais des vecteursmouvement - 4/6V1 et 2/6V1. Pour les trames T4 et T5, on utilise les trames T3, T4, T et des vecteurs-mouvement représentés respectivement par - 3/6V2, 3/6V2 et par - 2/6V2, 4/6V2. Pour les trames t6 et t8, on utilise les trames T5, T6, T et des vecteurs-mouvement représentés repectivement par - 1/6V3, 5/6V3 et - 5/6V3, 1/6V3. Pour les trames t9 et t10, on utilise les trames T7, T8, T9 et des vecteurs mouvement représentés respectivement par - 4/6V4, 2/6V4. et par - 3/6V4, 3/6V4.Pour les trames t il et t@@, on utilise les trames T9, T10 T@@ et des vecteurs-mouvement représentés respectivement par - 2/6V5, 4/6V5 et par - 1/6V5, 5/6V5.
Ainsi, de manière générale, la valeur de luminance d'un pixel xi,j d'une image tq à interpoler à partir d'une image connue paire Tq' de coordonnées spatiales voisines et des deux images impaires Tq'-1 et Tq'+1 l'encadrant est obtenue par l'équation suivante : 1 - si l'image tq se trouve entre les images Tq'-1 et Tq'
Figure img00120001

avec m # n x n et A étant fonction du rapport des distances inter-images 2 - si l'image tq se trouve entre les images Tq' et Tq' + 1
Figure img00120002

avec m # n x n et A fonction du rapport des distances inter-imagès.
Il est donc clair que les exemples donnés ci-dessus peuvent être interpolés par l'homme de l'art pour réaliser toutes
N conversions de fréquence, telles que f = N, F.

Claims (13)

REVENDICATIONS
1. Procédé de conversion du rythme temporel d'une séquence d'images animées permettant de transformer une fréquence trame F en une fréquence trame f, telle que : f = N/N' F , le procédé consistant à générer à partir de 2N' images successives connues
T2N,k+1, T2N,k+2 , ..., T2N,k+2N,, 2N images successives t2Nk+1, t2Nk+2, t2Nk+3, ... t2Nk+2N, les pixels des images impaires T2N'k+l' T2N'k+3 étant définis par au moins leur valeur de luminance tandis qu'au moins les pixels des images paires T2N,k+2
T2N,k+4 , ... , sont définis par au moins leur valeur de luminance et un vecteur-mouvement, caractérisé par les étapes suivantes 1 - détermination des images t2Nk+l à générer par recopie de l'image connue T2N'k+l 2 - détermination des images t2Nk+N par désentrelacement de l'image connue T2N,k+N, et conservation d'une ligne sur deux 3 - détermination des 2N-2 images restantes par interpolation temporelle compensée en mouvement à partir des images connues.
2. Procédé selon la revendication 1, caractérisé en ce que le désentrelacement de l'image connue T2N,k+N, est réalisé à l'aide d'un filtre spatio-temporel.
3. Procédé selon la revendication 2, caractérisé en ce que le filtre spatio-temporel est orienté selon le vecteur-mouvement associé au pixel traité.
4. Procédé selon l'une quelconque des revendications 1 à 3, caractérisé en ce que le champs de vecteurs-mouvement des images T2N, k+N' est un champs de vecteurs par blocs de pxp pixels (p 1) estimé symétriquement à partir des images connues encadrant
T2N,k+N,-1 , T2N,k+N, T2N,k+N,+1
5.Procédé selon l'une quelconque des revendications 1 à 4, caractérisé en ce que l'interpolation compensée en mouvement des images t2Nk+2, t2Nk+3, ..., t2Nk+N-1, t2Nk+N+1,, ..., t2Nk+2N est réalisée par réassignation, à chaque bloc de pxp pixels (p 2 1) d'une image à interpoler, du vecteur-mouvement associé au bloc de l'image paire connue T2N,k+2 k T2N,k+4 de coordonnées spatiales voisines, le vecteur-mouvement présentant une amplitude égale au rapport des distances inter-images considérées, et par affectation à chaque pixel d'une valeur de luminance obtenue par moyennage des valeurs de luminance des points des images connues considérées obtenus par interpolation symétrique compensée en mouvement.
6. Procédé selon la revendication 5, caractérisé en ce que la réassignation d'un vecteur-mouvement à chaque bloc de pxp pixels (pro) de l'image à interpoler est réalisée en considérant les vecteurs-mouvement des nxn (nu3) blocs de pxp pixels se trouvant dans le voisinage du pixel de l'image paire connue
T2N, k+2 ' T2N,k+4 k+4 de coordonnées spatiales voisines de celles du pixel de l'image à interpoler et en choisissant parmi ces vecteurs-mouvement celui qui minimise la différence inter-images compensée en mouvement ou DFD entre les images connues considérées selon l'image à interpoler.
7. Procédé selon la revendication 6, caractérisé en ce que, pour le calcul de la valeur de luminance d'un pixel de l'image à interpoler, on utilise tous les vecteurs-mouvement dont la DFD est voisine de la DFD minimale à un seuil près.
8. Procédé selon la revendication 7, caractérisé en ce que la valeur de luminance d'un pixel Xi d'une image tq à interpoler à partir d'une image connue paire Tq' de coordonnées spatiales voisines et des deux images impaires Tq'-l' et Tq'+i l'encadrant est obtenue par l'équation suivante 1" - si l'image tq se trouve entre les images Tq' - 1 et Tq'
Figure img00140001
avec m 4 n x n et A étant fonction du rapport des distances inter-images 2" - si l'image tq se trouve entre les images Tq' et Tq' + 1
Figure img00150001
avec m < n x n et A fonction du rapport des distances interimages.
9. Procédé selon la revendication 8, caractérisé en ce que la valeur de luminance d'un point Xjj (Vu, Tq') d'une image connue Tq'-l, Tq', Tq'+l, ... est obtenue par interpolation bilinéaire.
10. Procédé selon l'une quelconque des revendications 1 à 9, caractérisé en ce que les valeurs de chrominance des pixels des images successives correspondant à des instants t2Nk+1, ..., t2Nk+2 sont obtenues en réalisant une répétition des images sources connues de type AABB.
11. Procédé selon l'une quelconque des revendications 1 à 9, caractérisé en ce que les valeurs de chrominance des pixels des images successives correspondant à des instants t2Nk+1, ..., t2Nk+2N sont calculées en utilisant le même procédé que le procédé de calcul des valeurs de chrominance.
12. Procédé selon la revendication 11, caractérisé en ce que les valeurs de chrominance sont utilisées pour le calcul des DFD lors de la réassignation des vecteurs.
13. Procédé selon l'une quelconque des revendications 1 à 11, caractérisé en ce que, dans le cas d'images animées constituées par des images télévision de type HD-MAC, les images paires de la voie 80ms sont affectées d'un champs de vecteursmouvement nuls.
FR9108005A 1991-06-27 1991-06-27 Procede de conversion du rythme temporel d'une sequence d'images animees. Withdrawn FR2678464A1 (fr)

Priority Applications (4)

Application Number Priority Date Filing Date Title
FR9108005A FR2678464A1 (fr) 1991-06-27 1991-06-27 Procede de conversion du rythme temporel d'une sequence d'images animees.
JP50137393A JPH06500910A (ja) 1991-06-27 1992-06-26 動画像のシーケンスのタイミングの変換方法
PCT/FR1992/000592 WO1993000773A1 (fr) 1991-06-27 1992-06-26 Procede de conversion du rythme temporel d'une sequence d'images animees
EP19920913630 EP0546141A1 (fr) 1991-06-27 1992-06-26 Procede de conversion du rythme temporel d'une sequence d'images animees

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR9108005A FR2678464A1 (fr) 1991-06-27 1991-06-27 Procede de conversion du rythme temporel d'une sequence d'images animees.

Publications (1)

Publication Number Publication Date
FR2678464A1 true FR2678464A1 (fr) 1992-12-31

Family

ID=9414413

Family Applications (1)

Application Number Title Priority Date Filing Date
FR9108005A Withdrawn FR2678464A1 (fr) 1991-06-27 1991-06-27 Procede de conversion du rythme temporel d'une sequence d'images animees.

Country Status (4)

Country Link
EP (1) EP0546141A1 (fr)
JP (1) JPH06500910A (fr)
FR (1) FR2678464A1 (fr)
WO (1) WO1993000773A1 (fr)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0883298A2 (fr) * 1997-06-04 1998-12-09 Hitachi, Ltd. Appareil de conversion de signaux d'images et récepteur TV

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996033571A2 (fr) * 1995-04-11 1996-10-24 Philips Electronics N.V. Modification des rapports s'appliquant aux champs traites pour compenser un mouvement
US6442203B1 (en) * 1999-11-05 2002-08-27 Demografx System and method for motion compensation and frame rate conversion
JP3596521B2 (ja) * 2001-12-13 2004-12-02 ソニー株式会社 画像信号処理装置及び方法
JP3596520B2 (ja) * 2001-12-13 2004-12-02 ソニー株式会社 画像信号処理装置及び方法
JP3596519B2 (ja) 2001-12-13 2004-12-02 ソニー株式会社 画像信号処理装置及び方法
JP2004023673A (ja) * 2002-06-19 2004-01-22 Sony Corp 動きベクトル検出装置及び方法、動き補正装置及び方法
CN100401763C (zh) * 2003-05-16 2008-07-09 索尼株式会社 运动补偿设备和方法
JPWO2008136116A1 (ja) * 2007-04-26 2010-07-29 パイオニア株式会社 内挿フレーム作成制御装置、フレームレート変換装置、表示装置、内挿フレーム作成制御方法、そのプログラム、および、そのプログラムを記録した記録媒体

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0294958A2 (fr) * 1987-06-09 1988-12-14 Sony Corporation Interpolation compensée en mouvement pour images numériques de télévision
WO1989010600A1 (fr) * 1988-04-29 1989-11-02 N.V. Philips' Gloeilampenfabrieken Dispositif pour interpoler des images par estimation et compensation de mouvement et systeme convertisseur de standards de television constitue a partir d'un tel dispositif

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0294958A2 (fr) * 1987-06-09 1988-12-14 Sony Corporation Interpolation compensée en mouvement pour images numériques de télévision
WO1989010600A1 (fr) * 1988-04-29 1989-11-02 N.V. Philips' Gloeilampenfabrieken Dispositif pour interpoler des images par estimation et compensation de mouvement et systeme convertisseur de standards de television constitue a partir d'un tel dispositif

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
IEE COLLOQUIUM "IMAGE PROCESSING FOR HDTV", 26 octobre 1989, pages 4/1-4/3, Londres, GB; G.M.X. FERNANDO: "Motion compensated display conversion" *
IEEE TRANSACTIONS ON CONSUMER ELECTRONICS, vol. 31, no. 4, novembre 1985, pages 627-641, New York, US; H. SCHR\DER et al.: "Scanning modes for flicker-free colour tv reproduction" *
PROCEEDINGS OF THE SECOND INTERNATIONAL WORKSHOP ON SIGNAL PROCESSING OF HDTV, L'Aquila, 29 février 1988, pages 319-328, Elsevier, Amsterdam, NL; D. PELE et al.: "Field-rate conversion by motion estimation/compensation" *
PROCEEDINGS OF THE SECOND INTERNATIONAL WORKSHOP ON SIGNAL PROCESSING OF HDTV, L'Aquila, 29 février 1988, pages 449-458, Elsevier, Amsterdam, NL; M. ERNST et al.: "Adaptive filtering for improved standard conversion" *
PROCEEDINGS OF THE THIRD INTERNATIONAL WORKSHOP ON SIGNAL PROCESSING OF HDTV, Turin, 30 août 1989, pages 635-642, Elsevier, Amsterdam, NL; F.M. WANG et al.: "Time-recursive motion compensated deinterlacing" *
PROCEEDINGS OF THE THIRD INTERNATIONAL WORKSHOP ON SIGNAL PROCESSING OF HDTV, Turin, 30 août 1989, pages 649-655, Elsevier, Amsterdam, NL; M. HAGHIRI et al.: "A motion compensated field rate conversion algorithm" *
PROCEEDINGS OF THE THIRD INTERNATIONAL WORKSHOP ON SIGNAL PROCESSING OF HDTV, Turin, 30 août 1989, pages 703-710, Elsevier, Amsterdam, NL; P. HAAVISTO et al.: "Scan rate up conversion using adaptive weighted median filtering" *
SMPTE JOURNAL, vol. 98, no. 6, juin 1989, pages 420-424, White Plains, New York, US; P. ROBERT et al.: "Advanced high-definition 50 to 60 Hz standards conversion" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0883298A2 (fr) * 1997-06-04 1998-12-09 Hitachi, Ltd. Appareil de conversion de signaux d'images et récepteur TV
EP0883298A3 (fr) * 1997-06-04 2000-03-29 Hitachi, Ltd. Appareil de conversion de signaux d'images et récepteur TV

Also Published As

Publication number Publication date
WO1993000773A1 (fr) 1993-01-07
EP0546141A1 (fr) 1993-06-16
JPH06500910A (ja) 1994-01-27

Similar Documents

Publication Publication Date Title
EP0677228B1 (fr) Procede de desentrelacement de trames d&#39;une sequence d&#39;images animees
US7738038B2 (en) Content-dependent scan rate converter with adaptive noise reduction
US6118488A (en) Method and apparatus for adaptive edge-based scan line interpolation using 1-D pixel array motion detection
KR100957479B1 (ko) 필드-기반 비디오에 대해 모션 보상을 이용한 공간-시간디인터레이싱을 위한 방법 및 장치
US6473532B1 (en) Method and apparatus for visual lossless image syntactic encoding
EP1441510A2 (fr) Méthode et dispositif de désentrelacement d&#39;un signal vidéo
EP0568694B1 (fr) Procede d&#39;estimation et de codage hierarchise du mouvement de sequences d&#39;images
FR2717027A1 (fr) Procédé de conversion de format de séquences d&#39;images présentes dans un premier réseau de points d&#39;image, en un second réseau de points d&#39;image.
EP0347325B1 (fr) Procédé et installation de diffusion de programmes de télévision haute définition compatible
FR2678464A1 (fr) Procede de conversion du rythme temporel d&#39;une sequence d&#39;images animees.
US20040240543A1 (en) Low bandwidth video compression
FR2650718A1 (fr) Dispositif de transformation d&#39;une information de mouvement en un signal de detection de mouvement a la frequence trame et au nombre de lignes souhaites pour un recepteur de television haute definition
FR2790852A1 (fr) Procede d&#39;evaluation d&#39;images codees, dispositif mettant en oeuvre le procede et utilisation du dispositif et procede
US7443448B2 (en) Apparatus to suppress artifacts of an image signal and method thereof
Biswas et al. A novel motion estimation algorithm using phase plane correlation for frame rate conversion
Jeon et al. Fuzzy rule-based edge-restoration algorithm in HDTV interlaced sequences
JPS6115635B2 (fr)
FR2750558A1 (fr) Procede d&#39;interpolation de trames pour compatibilite mode film
EP0365090B1 (fr) Dispositif de doublement du rythme de signaux de télévision, et décodeur d&#39;images de télévision comprenant un tel dispositif
US20030026498A1 (en) Method for converting the scanning format of images, a system and computer program product therefor
Mohammadi et al. A five-field motion compensated deinterlacing method based on vertical motion
JP2004320279A (ja) 動画像時間軸補間方法及び動画像時間軸補間装置
JP3745425B2 (ja) 動きベクトル検出方法および動きベクトル検出用適応切り替え型前置フィルタ
Lee Adaptive Frame Rate Up-Conversion Algorithms using Block Complexity Information
CN100366071C (zh) 数字电视后处理去隔行技术的方向相关运动补偿方法

Legal Events

Date Code Title Description
ST Notification of lapse