FR2702915A1 - Procédé de conversion de l'information de mouvement, entre deux fréquences temporelles, dans un réseau de transmission d'images animées . - Google Patents
Procédé de conversion de l'information de mouvement, entre deux fréquences temporelles, dans un réseau de transmission d'images animées . Download PDFInfo
- Publication number
- FR2702915A1 FR2702915A1 FR9303011A FR9303011A FR2702915A1 FR 2702915 A1 FR2702915 A1 FR 2702915A1 FR 9303011 A FR9303011 A FR 9303011A FR 9303011 A FR9303011 A FR 9303011A FR 2702915 A1 FR2702915 A1 FR 2702915A1
- Authority
- FR
- France
- Prior art keywords
- motion
- images
- vectors
- field
- instants
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0112—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
- H04N7/012—Conversion between an interlaced and a progressive signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/015—High-definition television systems
- H04N7/0152—High-definition television systems using spatial or temporal subsampling
- H04N7/0155—High-definition television systems using spatial or temporal subsampling using pixel blocks
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Television Systems (AREA)
Abstract
L'invention concerne les réseaux de matériels qui traitent des images animées, telles que la télévision, mais qui ont des bases de temps, ou fréquences, différentes. Ces images étant formées de pixels (Z1 , Z2 ), définis par leurs instants (t1 , t2 ), et leurs champs de vecteurs mouvement (D1 , j ), le procédé selon l'invention utilise ces champs de mouvement pour définir le mouvement entre deux instants (T2 , i - 1 , T2 , i ), par pondération des vecteurs par le scalaire T2 / T1 ) (T = périodes); Applications aux réseaux de traitement d'images vidéo qui comportent des matériels d'origines différentes ou correspondant à des normes temporelles différentes.
Description
PROCEDE DE CONVERSION DE L'INFORMATION DE MOUVEMENT,
ENTRE DEUX FREQUENCES TEMPORELLES, DANS UN RESEAU DE
TRANSMISSION D'IMAGES ANIMEES.
ENTRE DEUX FREQUENCES TEMPORELLES, DANS UN RESEAU DE
TRANSMISSION D'IMAGES ANIMEES.
La présente invention concerne un procédé de distribution de l'information de mouvement dans un réseau de transmission d'images animées. Ce procédé s'applique à la télécommunication d'images telles que les images de télévision, et plus particulièrement aux réseaux comportant la mise en cascade de modules de traitements compensés en mouvement: il a pour objet d'assurer la non-dégradation de l'information de mouvement au long de la cascade de modules de traitement.
On sait que dans les procédés modernes de transmission d'images électroniques, comme la télévision, celles-ci sont transmises sur deux voies. De façon très schématique, une première voie transmet les pixels qui forment une image, et une deuxième voie transmet les informations de mouvement qui font que la série des images présente une animation.
Un nombre déjà important de procédés de traitements de séquences d'images utilisent l'information de mouvement inter-images: ces procédés sont dits "compensés en mouvement". Leurs performances sont très nettement supérieures à celles des procédés classiques reposant sur un traitement linéaire du signal image.
Grâce aux progrès technologiques récents dans le domaine du traitement numérique de l'image, les premiers dispositifs correspondants, fonctionnant à la cadence vidéo, sont disponibles.
L'éventualité de la mise en cascade de différents dispositifs de traitement d'images compensés en mouvement dans une même chaîne de traitements, au sein d'un studio de télévision, ou plus généralement dans tout réseau de télécommunications d'images animées, entraîne le problème de l'estimation du mouvement, de sa transmission et de son utilisation dans un tel réseau.
Sur ce problème de la mise en cascade de traitements compensés en mouvement dans une même chaîne de traitements, il n'a été que peu publié, et à plus forte raison il n'existe pas encore de matériel en service apportant une solution à ce problème. Le document le plus pertinent "Considération on cascading of motion compensation processes " a été présenté par la firme NHK le 13 février 1992 à 1'
European Broadcasting Union GT V1/HDTV. I1 s'agit plutôt d'une réflexion sur la façon la plus rationnelle, efficace et économe d'interconnecter les divers matériels qui constituent une chaîne de traitement d'images animées.
European Broadcasting Union GT V1/HDTV. I1 s'agit plutôt d'une réflexion sur la façon la plus rationnelle, efficace et économe d'interconnecter les divers matériels qui constituent une chaîne de traitement d'images animées.
Trois schémas d'organisation sont possibles.
Premier schéma, représenté en figure 1: l'information de mouvement n'est pas transmise . A chaque étape T1 à Tn comportant un traitement compensé en mouvement, l'information de mouvement est estimée de façon indépendante sur les images Il à In qui arrivent. Ce système est le plus simple qui soit pour connecter des dispositifs compensés en mouvement développés de façon séparée, et comportant chacun un estimateur de mouvement EM adapté aux contraintes d'un traitement spécifique. Le coût d'un tel schéma est très élevé, I'estimateur de mouvement représentant généralement de loin la partie la plus complexe du dispositif, et l'inconvénient majeur est la diminution rapide de la fiabilité de l'information mouvement lors de la mise en cascade.En effet, les images sur lesquelles l'estimation de mouvement est effectuée sont de plus en plus dégradées, par rapport à la source issue de la caméra, au fur et à mesure des traitements en cascade. Par conséquent la compensation de mouvement est de moins en moins efficace. A titre d'exemple, la mise en cascade de conversions de standards f1 = 50 images/s vers f2 = 60 images/s et réciproquement montre l'introduction rapide d'un flou sur l'image qui s'accroît en fonction du nombre d'itérations du processus de conversion. Ce procédé, trop simple dans son principe et trop compliqué dans sa réalisation pour un résultat insatisfaisant, n'est pas applicable.
Selon le second schéma, représenté en figure 2, les vecteurs mouvement sont détectés seulement lors de la première étape de la chaîne, sans information additionnelle sur le signal source sur lequel ils ont été estimés. Dès qu'un traitement modifie la cadence image du signal de sortie f2 par rapport au signal d'entrée f1, il n'est plus possible d'utiliser l'information de mouvement de façon précise. En effet les vecteurs reçus ne sont plus en phase avec les images à traiter. Le document cité montre l'insuffisance de techniques simplistes de conversion linéaire pour remettre en phase l'information de mouvement reçue avec les images à traiter.Ce type de schéma interdit pratiquement la mise en cascade de matériels, tels que caméra, magnétoscope, convertisseur film/vidéo ou l'inverse, fonctionnant de plus dans les différents systèmes connus, de différentes nations, chacun ayant en outre sa base de temps où fréquence image.
On en conclut donc la nécessité de recourir à un schéma dans lequel l'information de mouvement est estimée à la source, sur les images issues de la caméra, transmise et accompagnée d'informations additionnelles permettant d'utiliser les vecteurs mouvement sur des images échantillonnées temporellement de façon différente de la source.
La notion d'estimateur de mouvement unique à fait l'objet d'une publication "Coding motion information whit the HDTV system", présentée par
Thomson-CSF au CCIR-SG11 le ler juin 1987. il est précisé qu'à partir d'un estimateur de mouvement unique et performant situé dans le studio de production, chaque équipement dont les performances nécessitent la connaissance du mouvement utilise les informations de mouvement au niveau de complexité approprié.
Thomson-CSF au CCIR-SG11 le ler juin 1987. il est précisé qu'à partir d'un estimateur de mouvement unique et performant situé dans le studio de production, chaque équipement dont les performances nécessitent la connaissance du mouvement utilise les informations de mouvement au niveau de complexité approprié.
Cette même notion a également été développée par l'Université de
Dortmund sous le titre "Motion controlled television (MCTV) for electronic movie production and HDTV production " à Eureka 95 et publié dans WPM1, DOC N" 39, du 09.09.1991. Toutefois le concept proposé de "Télévision contrôlée en mouvement", fondé sur un estimateur dans la caméra, se limite aux applications du studio de production, et ne prend pas en compte la mise en cascade de traitements compensés en mouvement.
Dortmund sous le titre "Motion controlled television (MCTV) for electronic movie production and HDTV production " à Eureka 95 et publié dans WPM1, DOC N" 39, du 09.09.1991. Toutefois le concept proposé de "Télévision contrôlée en mouvement", fondé sur un estimateur dans la caméra, se limite aux applications du studio de production, et ne prend pas en compte la mise en cascade de traitements compensés en mouvement.
Ainsi, il apparaît que pour un réseau de transmission d'images animées, constitué de:
- une source d'images, une caméra par exemple qui délivre une séquence source (Il,k) à la fréquence de f1 images par seconde,
- divers modules cascades de traitement d'images compensés en mouvement T n qui convertissent une séquence (1n,k) à la fréquence f n en une séquence (I n+î,k) à la fréquence f n+1 à l'aide d'une information de mouvement (Mn,k) en phase avec (1n,k) quel est le schéma d'estimation /transmission/ distribution de l'information de mouvement qui satisfait aux contraintes suivantes: :
-maximisation de la fiabilité de l'information de mouvement estimée,
- minimisation du coût de calcul de l'information de mouvement,
-distribution d'une information de mouvement en phase avec les images à traiter par compensation de mouvement?
La solution proposée par l'invention correspond au schéma d'organisation de la figure 3, qui comprend un estimateur unique de mouvement et la transmission d'une information de mouvement qui incorpore des données sur la séquence source d'images dont elle est issue, de façon à pouvoir l'utiliser dans un contexte différent de cadence temporelle.
- une source d'images, une caméra par exemple qui délivre une séquence source (Il,k) à la fréquence de f1 images par seconde,
- divers modules cascades de traitement d'images compensés en mouvement T n qui convertissent une séquence (1n,k) à la fréquence f n en une séquence (I n+î,k) à la fréquence f n+1 à l'aide d'une information de mouvement (Mn,k) en phase avec (1n,k) quel est le schéma d'estimation /transmission/ distribution de l'information de mouvement qui satisfait aux contraintes suivantes: :
-maximisation de la fiabilité de l'information de mouvement estimée,
- minimisation du coût de calcul de l'information de mouvement,
-distribution d'une information de mouvement en phase avec les images à traiter par compensation de mouvement?
La solution proposée par l'invention correspond au schéma d'organisation de la figure 3, qui comprend un estimateur unique de mouvement et la transmission d'une information de mouvement qui incorpore des données sur la séquence source d'images dont elle est issue, de façon à pouvoir l'utiliser dans un contexte différent de cadence temporelle.
Ce schéma général, représenté en figure 3, est constitué, en plus de la caméra-source, par les modules de:
- Estimation de mouvement EM.
- Estimation de mouvement EM.
Elle est effectuée sur le signal source, avant toute dégradation due aux traitements cascadés ou à la transmission : la fiabilité de l'information extraite est maximale. Elle est effectuée une fois pour toute. L'information (M1 k), à définir, est estimée à la fréquence temporelle f1 de la source (Iî,k).
- Transmission du mouvement.
L'information (Mî, est transmise dans un canal de données séparé, dit "canal mouvement". Si l'on fait abstraction du nécessaire processus de codage/décodage, idéalement réversible, destiné à faire passer (Mî,k) sous un débit limité, l'information de mouvement n'est pas modifiée tout au long de la chaîne de traitements.
- Distribution du mouvement.
L'information de mouvement (Mî.k) est utilisée par différents modules de traitement Tn en différents points de la chaîne. Pour traiter la séquence ( I1 k) en entrée, à la fréquence fn ils requièrent une information de mouvement (Mn,k) à la même fréquence. Un processus de conversion réversible de (M1 k) à (Mn,k) est nécessaire: il est fourni par les convertisseurs C.
Plus particulièrement l'invention réside dans le procédé de conversion de l'information de mouvement, d'une fréquence temporelle f1 à une fréquence différente fn. Ce procédé impose certaines conditions sur la représentation de l'information de mouvement, au moyen non seulement des informations de mouvement sous forme de vecteurs, mais aussi au moyen d"'étiquettes" telles qu'elles ont été décrites dans la demande de brevet français n" 91 04164, du 5 avril 1991, intitulée " Procédé de classification des pixels d'une image appartenant à une séquence d'images animées, et procédé d'interpolation temporelle d'images utilisant ladite classification" .
Ainsi, le procédé selon l'invention réside en l'utilisation d'un champ de vecteurs mouvement et d'un champ d'étiquettes associées non pas pour interpoler une image à l'instant T2,i à l'aide de deux images aux instants tî, j-l et tlj, mais pour définir le mouvement entre les instants t2, i-1 et t2,i. Il s'agit donc d'une opération liée à la fréquence. Ceci nécessite une modification du procédé décrit dans la demande de brevet citée, qui trouve là une application nouvelle, moyennant modification des calculs sur les champs.
De façon plus précise l'invention concerne un procédé de conversion de l'information de mouvement entre deux fréquences temporelles , dans un réseau de transmission d'images animées, transmises sous formes de champs de pixels sur un premier canal "images" et de champs de vecteurs mouvements sur un second canal mouvement, ce procédé étant caractérisé en ce que, à partir de deux images connues à deux premiers instants, il utilise le champ de mouvement projeté dans sa direction, entre deux seconds instants, pour définir le mouvement entre les dits deux seconds instants, par pondération des vecteurs projetés par le scalaire T2/T1,Tl et T2 étant les périodes correspondant aux deux fréquences temporelles
D2 1 (Z2) = T2 /T1D1,1(Z1)
L'invention sera mieux comprise par la description plus détaillée qui suit, en liaison avec les figures jointes en annexe, qui représentent:
- figures 1 et 2 : deux schémas d'organisation de cascades de traitements d'images animées, selon l'art connu, et qui ont été développés ci-dessus,
- figure 3 : le schéma d'organisation auquel est appliqué le procédé de traitement d'images animées selon l'invention,
- figure 4 : schéma de conversion, selon l'invention, d'un champ de mouvement pour définir le mouvement entre deux instants.
D2 1 (Z2) = T2 /T1D1,1(Z1)
L'invention sera mieux comprise par la description plus détaillée qui suit, en liaison avec les figures jointes en annexe, qui représentent:
- figures 1 et 2 : deux schémas d'organisation de cascades de traitements d'images animées, selon l'art connu, et qui ont été développés ci-dessus,
- figure 3 : le schéma d'organisation auquel est appliqué le procédé de traitement d'images animées selon l'invention,
- figure 4 : schéma de conversion, selon l'invention, d'un champ de mouvement pour définir le mouvement entre deux instants.
Parmi les différents systèmes de représentation et de traitement des images animées, tels que la télévision à haute définition HDTV, qui associent un champ de pixels et un champ de vecteurs mouvement, on appelle D(Z)) le vecteur mouvement qui représente le mouvement apparent dans le plan image d'un point image Z associé à un point réel de l'espace. A chaque instant O + kT, I'espace réel est représenté dans le plan image de luminance Ik (les pixels) et par une image de vecteurs mouvement Dk.Si le point réel de l'espace correspondant à Z dans le plan image à l'instant O + kT est également visible à l'instant O + (k-1) T, et si son mouvement apparent est un mouvement de translation à vitesse constante sur cette période T, I'équation ci-dessous est vérifiée:
Ik-l(Z-Dk(Z))=Ik(Z) (1)
Par convention, adoptée pour la définition de la séquence de champs de mouvement (Dk), associée à la séquence d'image (Ik), le champ de mouvement Dk décrit le mouvement entre tk = O + (k - 1)T et tk = O + kT, supposé linéaire et constant point à point. L'équation (1) n'est pas vérifiée pour les points de Ik qui sont découverts entre tk-1 et tk par des objets en avant-plan.
Ik-l(Z-Dk(Z))=Ik(Z) (1)
Par convention, adoptée pour la définition de la séquence de champs de mouvement (Dk), associée à la séquence d'image (Ik), le champ de mouvement Dk décrit le mouvement entre tk = O + (k - 1)T et tk = O + kT, supposé linéaire et constant point à point. L'équation (1) n'est pas vérifiée pour les points de Ik qui sont découverts entre tk-1 et tk par des objets en avant-plan.
Ainsi, le problème de la distribution de l'information de mouvement dans un réseau associant des matériels qui travaillent avec des bases de temps, ou des périodes, différentes peut s'énoncer:
- soit la séquence de champs de mouvement (1)1 k), associée à la séquence d'images (I1k), de période T1 et d'origine Oî = ,
- soit la séquence d'images (I2k), de période T2 et d'origine 02, représentant la même scène réelle tridimensionnelle que (Iî,k), comment peut-on déduire le champ de mouvement (D2k), associé à la séquence d'images (I2k), du champ de mouvement (D1,k)?
On sait résoudre partiellement ce problème, et l'invention constitue le complément qui apporte une solution unique.
- soit la séquence de champs de mouvement (1)1 k), associée à la séquence d'images (I1k), de période T1 et d'origine Oî = ,
- soit la séquence d'images (I2k), de période T2 et d'origine 02, représentant la même scène réelle tridimensionnelle que (Iî,k), comment peut-on déduire le champ de mouvement (D2k), associé à la séquence d'images (I2k), du champ de mouvement (D1,k)?
On sait résoudre partiellement ce problème, et l'invention constitue le complément qui apporte une solution unique.
En effet il s'agit de définir C, application de l'espace des champs de mouvements dans lui-même qui à D lj associe D2,i:
On pose comme condition sur i et j:
0 < t1,j-t2,i # T1 (3)
qui signifie que l'instant t2,i = 02 + iT2 auquel est défini D2 i est compris entre tlj-1 et tlj, entre lesquels est défini D1j.
0 < t1,j-t2,i # T1 (3)
qui signifie que l'instant t2,i = 02 + iT2 auquel est défini D2 i est compris entre tlj-1 et tlj, entre lesquels est défini D1j.
La figure 4 illustre cette condition : les plans horizontaux symbolisent deux champs de pixels, I'un aux instants tj-1 et t1j l'autre aux instants f2,i-1 et t2,i, et les vecteurs symbolisent les champs de mouvement : de D(1j.) connu, on veut déduire D(2,i)
L'instant t2,i étant donné, t1j est défini de façon unique par:
j=F(iT2 /T, + 2 /T,) (4)
.F(x) = E(x - 1) si x E R+ - N(E partie entière) .F(x)=x si x sN
D2i est tel que:
D2j0T(j,D1j) T2 /TD1j (5) ou T(j, Dîj) est l'application du plan dans lui-même vérifiant la relation::
L'instant t2,i étant donné, t1j est défini de façon unique par:
j=F(iT2 /T, + 2 /T,) (4)
.F(x) = E(x - 1) si x E R+ - N(E partie entière) .F(x)=x si x sN
D2i est tel que:
D2j0T(j,D1j) T2 /TD1j (5) ou T(j, Dîj) est l'application du plan dans lui-même vérifiant la relation::
La signification pratique des équations (4), (5) et (6), qui permettent de définir le champ D2,i à partir du champ D1 j, tel qu'illustré figure 4 est la suivante "le champ D(1j.) est projeté le long de sa trajectoire sur 12,in et est pondéré par le scalaire T2/T1,, qui est un rapport de périodes. De façon générale T(j,D1,j,) n'est pas bijective et D2,i n'est donc pas défini en tous points et de façon unique par les équations (4),(5) et (6). Pour définir complètement D2 i de façon unique, on a recours à un procédé connu, mais dont on modifie l'interprétation. Ce procédé est décrit dans la demande de brevet n 9104164 du 5 avril 1991 déjà citée, et dans la publication de P.Robert "Motion compensating interpolation considering occluding, appearing and disappearing areas", 4 th International Workshop on HDTV and beyond, Turin, Italie, Septembre 1991.
La méthode proposée suppose qu'en préalable un champ d'étiquettes décrivant les occlusions dans la scène soit associé au champ de vecteurs mouvement;
L'opération d'étiquetage est effectuée au sein du module "Estimation de mouvement ", lors de la phase de prédiction temporelle qui déduit du champ de mouvement calculé à l'instant tek 1 une prédiction du champ à calculer à l'instant tk.
L'opération d'étiquetage est effectuée au sein du module "Estimation de mouvement ", lors de la phase de prédiction temporelle qui déduit du champ de mouvement calculé à l'instant tek 1 une prédiction du champ à calculer à l'instant tk.
L"'information de mouvement" à calculer à l'instant tk est désormais constituée de:
- un champ de vecteurs décrivant le mouvement entre tek l et tk supposé translation à vitesse constante point à point sur une période T.
- un champ de vecteurs décrivant le mouvement entre tek l et tk supposé translation à vitesse constante point à point sur une période T.
- un champ d'étiquettes à trois valeur possibles:
- "occluant" : le point appartient à un objet en avant-plan qui occlut à tk une zone d'arrière-plan visible à l'instant précédent tk 1
- "apparaissant" : le point était occlus à l'instant précédent par un objet en avant-plan
- "normal": le point est visible à tk-l et tk sans masquer entre ces deux instants de zone d'arrière-plan visible à tk1
Soient Dlj le champ de mouvement et L1j le champ d'étiquettes définissant l'information de mouvement entre les instants tlj l et t1j.
- "occluant" : le point appartient à un objet en avant-plan qui occlut à tk une zone d'arrière-plan visible à l'instant précédent tk 1
- "apparaissant" : le point était occlus à l'instant précédent par un objet en avant-plan
- "normal": le point est visible à tk-l et tk sans masquer entre ces deux instants de zone d'arrière-plan visible à tk1
Soient Dlj le champ de mouvement et L1j le champ d'étiquettes définissant l'information de mouvement entre les instants tlj l et t1j.
Soit t2,i l'instant, défini par l'équation (4) où l'on doit définir le champ de mouvement D2 i . La demande de brevet et la publication citées ci-dessus décrivent comment, connaissant Dlj et L1j , déduire un vecteur mouvement en tout point de l'image à t2 i, ce vecteur décrivant le mouvement entre les instants t1j-l et t1j
L'invention réside en l'utilisation de ce champ de mouvement projeté, non plus pour interpoler une image à t2,i à l'aide des deux images connues à t1j-1 et tlj
comme décrit dans les documents cités, mais pour définir le mouvement entre les instants t2,i-l et t2,i .Cela nécessite de pondérer les vecteurs projetés par le scalaire T2/T1, ce qui donne:
Z2 =NlNT(Z1-o:D11(Z1 (7)
(NINT = plus proche entier)
D2j(Z2)=T2 /T1 Dlj(Z,) (8)
Les conflits résultants de la projection de plusieurs vecteurs de Dîj en un même point Z2 sont réglés à l'aide des étiquettes Llj : les vecteurs appartenant à des objets en premier plan sont prioritaires.
L'invention réside en l'utilisation de ce champ de mouvement projeté, non plus pour interpoler une image à t2,i à l'aide des deux images connues à t1j-1 et tlj
comme décrit dans les documents cités, mais pour définir le mouvement entre les instants t2,i-l et t2,i .Cela nécessite de pondérer les vecteurs projetés par le scalaire T2/T1, ce qui donne:
Z2 =NlNT(Z1-o:D11(Z1 (7)
(NINT = plus proche entier)
D2j(Z2)=T2 /T1 Dlj(Z,) (8)
Les conflits résultants de la projection de plusieurs vecteurs de Dîj en un même point Z2 sont réglés à l'aide des étiquettes Llj : les vecteurs appartenant à des objets en premier plan sont prioritaires.
L'invention réside en la modification de l'utilisation des étiquettes, telle que seuls les vecteurs de Dlj étiquettés "normal" ou "occluant" sont projetés, les vecteurs "apparaissant" ne sont pas jugés assez fiables.
Les conflits sont résolus de la manière suivante:
- En cas de conflit entre un vecteur "occluant" et un vecteur non marqué "occluant", le vecteur "occluant" est choisi il est supposé appartenir au premier plan et il n'y a pas de modification du procédé d'utilisation des étiquettes.
- En cas de conflit entre un vecteur "occluant" et un vecteur non marqué "occluant", le vecteur "occluant" est choisi il est supposé appartenir au premier plan et il n'y a pas de modification du procédé d'utilisation des étiquettes.
- En cas de conflit entre deux vecteurs "normaux" ou deux vecteurs "occluants" le choix n'est pas fait sur la comparaison des valeurs absolues de la différence de luminance entre les pixels pointés par les deux extrémités du vecteur dans I1j-1 et Ilj (ou "displaced frame difference ", DFD en anglais).
Le vecteur choisi est celui le plus proche du vecteur "occluant" majoritaire dans un voisinage spatio-temporel du point considéré. Ainsi, aucune référence n'est faite aux images de la séquence source ( Ii,k) lors de la conversion mais il y modification du procédé déjà cité. Celui-ci avait été mis au point pour repérer quels sont les pixels qui apparaissent ou qui disparaissent dans une séquence d'images animées, et il est, selon l'invention, modifié pour définir le mouvement entre deux instants, c'est à dire pour adapter une séquence d'images animées à une base de temps, ouà une période, locale.
En conclusion, la méthode de projection temporelle d'un champ de mouvement associé à un champ d'étiquettes "normal"/" occluant"/" découvert", décrite dans la publication citée de P. Robert, est utilisée pour convertir un champ de mouvement Dîj décrivant le mouvement entre tlj l et tlj en un champ de mouvement D2,i décrivant le mouvement entre t2,i-1 et t2,i ( avec tij-t1j-T1 t2.i-1 = t2i - T2, t1j-l < t2,i #t1j). Le champ projeté tel que décrit dans cette publication est simplement multiplié par le scalaire T2/T1
La modification de la méthode de projection consiste à remplacer, lors des conflits qui ne peuvent être résolus par les étiquettes, le recours au calcul de DFD sur les images de luminance par une comparaison avec le vecteur "occluant" majoritaire dans un voisinage.
La modification de la méthode de projection consiste à remplacer, lors des conflits qui ne peuvent être résolus par les étiquettes, le recours au calcul de DFD sur les images de luminance par une comparaison avec le vecteur "occluant" majoritaire dans un voisinage.
Ainsi le procédé de conversion ne dépend plus des images sources (I1 k) et peut être implanté à n'importe quel endroit de la chaîne de traitements, avec en entrée l'information mouvement (Ml.k) = ((D1,k), (L1,k)), et en sortie le champ de mouvement (D2,k).
Les applications suivantes utilisent, ou sont destinées à utiliser dans un proche avenir, la compensation de mouvement:
- réduction de débit : pour des systèmes de transmission analogiques tHDMAC) ou numériques (MPEG),
- désentrelacement de frames : conversion du format de balayage "entrelacé" en format "progressif' également dit "séquentiel", pour l'utilisation de sources entrelacées dans des systèmes au format progressif, pour une restitution de meilleure qualité ou pour la visualisation d'images vidéo sur des stations de travail informatique dont l'écran est à balayage progressif,
- conversion de standards : du format de télévision américain (59.94 images par seconde, au moins 1050 lignes par image), ou japonais (60 images par seconde, 1125 lignes par image), au format européen (50 images par seconde et 1250 lignes par image) et vice versa,
- doublement de la fréquence image, ou "upconversion", de 50 images/s à 100 images/s, pour une restitution de meilleure qualité, sans effet de papillotement,
génération de ralenti d'images de qualité,
- réduction de bruit améliorée,
- conversion vidéo-film : enregistrement sur pellicule film d'un signal vidéo, qui nécessite les opérations de désentrelacement et de réduction de bruit,
- conversion film-vidéo : conversion du format film de 24 images/s au format vidéo de 50 images/s ou 60 images/s, entrelacé;
- réduction de débit : pour des systèmes de transmission analogiques tHDMAC) ou numériques (MPEG),
- désentrelacement de frames : conversion du format de balayage "entrelacé" en format "progressif' également dit "séquentiel", pour l'utilisation de sources entrelacées dans des systèmes au format progressif, pour une restitution de meilleure qualité ou pour la visualisation d'images vidéo sur des stations de travail informatique dont l'écran est à balayage progressif,
- conversion de standards : du format de télévision américain (59.94 images par seconde, au moins 1050 lignes par image), ou japonais (60 images par seconde, 1125 lignes par image), au format européen (50 images par seconde et 1250 lignes par image) et vice versa,
- doublement de la fréquence image, ou "upconversion", de 50 images/s à 100 images/s, pour une restitution de meilleure qualité, sans effet de papillotement,
génération de ralenti d'images de qualité,
- réduction de bruit améliorée,
- conversion vidéo-film : enregistrement sur pellicule film d'un signal vidéo, qui nécessite les opérations de désentrelacement et de réduction de bruit,
- conversion film-vidéo : conversion du format film de 24 images/s au format vidéo de 50 images/s ou 60 images/s, entrelacé;
Claims (6)
1 - Procédé de conversion de l'information de mouvement entre deux fréquences temporelles (f1 et f2), dans un réseau de transmission d'images animées, transmises sous formes de champs de pixels (Z 1 et Z 2), sur un premier canal "images" et de champs de vecteurs mouvement ( ) sur un second canal "mouvement", ce procédé étant caractérisé en ce que, à partir de deux images connues à deux premiers instants (tl,j-et tl,j), il utilise le champ de mouvement (D2,i) projeté dans sa direction, entre deux seconds instants (t2i~lett2i), pour définir le mouvement entre les dits deux seconds instants (t2i lett2i) par pondération des vecteurs projetés (D2i) par le scalaire T2/T1, T1 et T2 étant les périodes correspondant aux deux fréquences temporelles (f1 et f2):
D2i(Z2) = T2 /T1D1,j(Zl).
2 - Procédé de conversion selon la revendication 1, caractérisé en ce que les conflits, résultant de la projection de plusieurs vecteurs (Dl,j), correspondant aux deux images connues ( à t1,j4et t1,j), en un même point (Z2), sont réglés au moyen d'un champ d"'étiquettes" (L1 j), le dit champ d"'étiquettes" (Lî,j) associé au champ de vecteurs mouvement (Dî,j), étant obtenu par projection temporelle du champ de mouvement dans sa direction et étant composé d"'étiquettes" à trois valeurs possibles:
- "occluant": le pixel appartient à un objet en avant-plan (à tij) qui occlut une zone d'arrière-plan visible à l'instant précédent (tl,j-1)
- "apparaissant": le pixel était occlus à l'instant précédent,
- "normal": le pixel est visible aux deux instants,
3 - Procédé de conversion selon la revendication 2, caractérisé en ce que, s'il y a conflit de projection de plusieurs vecteurs, les vecteurs mouvement appartenant à des objets en premier plan sont prioritaires: vecteurs "occluants".
4 - Procédé de conversion selon la revendication 2, caractérisé en ce que, s'il y a conflit entre deux vecteurs "normaux" ou "occluants", le vecteur choisi est celui qui est plus proche du vecteur "occluant" majoritaire dans un voisinage spatiotemporel du point considéré (Z2)
5 - Procédé de conversion selon la revendication 1, caractérisé en ce que le circuit estimateur de mouvement (EM), qui calcule les champs de vecteurs mouvement (Dî,j) et d"'étiquettes" (Ll j), est unique et connecté sur la source d'images, dont il estime le mouvement I1) à la fréquence temporelle (fil) de la source.
6 - Procédé de conversion selon la revendication 5, caractérisé en ce que chaque étage dans le réseau de transmission d'images animées comporte un convertisseur (C) qui, à partir de l'information de mouvement (Mi) à la fréquence de la source d'images (f1), calcule l'information de mouvement (Mn) à la fréquence (fn) du dit étage (Tn)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR9303011A FR2702915B1 (fr) | 1993-03-16 | 1993-03-16 | Procédé de conversion de l'information de mouvement, entre deux fréquences temporelles, dans un réseau de transmission d'images animées . |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR9303011A FR2702915B1 (fr) | 1993-03-16 | 1993-03-16 | Procédé de conversion de l'information de mouvement, entre deux fréquences temporelles, dans un réseau de transmission d'images animées . |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR2702915A1 true FR2702915A1 (fr) | 1994-09-23 |
| FR2702915B1 FR2702915B1 (fr) | 1995-04-21 |
Family
ID=9445007
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR9303011A Expired - Fee Related FR2702915B1 (fr) | 1993-03-16 | 1993-03-16 | Procédé de conversion de l'information de mouvement, entre deux fréquences temporelles, dans un réseau de transmission d'images animées . |
Country Status (1)
| Country | Link |
|---|---|
| FR (1) | FR2702915B1 (fr) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1996026606A2 (fr) * | 1995-02-20 | 1996-08-29 | Snell & Wilcox Limited | Systeme de reproduction d'images mobiles |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0294282A1 (fr) * | 1987-06-04 | 1988-12-07 | Thomson Grand Public | Procédé d'interpolation temporelle d'images et dispositif pour la mise en oeuvre de ce procédé |
| WO1992017983A1 (fr) * | 1991-04-05 | 1992-10-15 | Thomson-Csf | Procede de classification des pixels d'une image et d'interpolation temporelle utilisant ladite classification |
-
1993
- 1993-03-16 FR FR9303011A patent/FR2702915B1/fr not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0294282A1 (fr) * | 1987-06-04 | 1988-12-07 | Thomson Grand Public | Procédé d'interpolation temporelle d'images et dispositif pour la mise en oeuvre de ce procédé |
| WO1992017983A1 (fr) * | 1991-04-05 | 1992-10-15 | Thomson-Csf | Procede de classification des pixels d'une image et d'interpolation temporelle utilisant ladite classification |
Non-Patent Citations (1)
| Title |
|---|
| YASUDA ET AL 'signal processing of HDTV, 3' 1992 , ELSEVIER SCIENCE PUBLISHERS Robert: "Motion compensating interpolation considering occluding, appearing and disappearing areas, pp 329-341 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1996026606A2 (fr) * | 1995-02-20 | 1996-08-29 | Snell & Wilcox Limited | Systeme de reproduction d'images mobiles |
| WO1996026606A3 (fr) * | 1995-02-20 | 1996-10-31 | Snell & Wilcox Ltd | Systeme de reproduction d'images mobiles |
Also Published As
| Publication number | Publication date |
|---|---|
| FR2702915B1 (fr) | 1995-04-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100957479B1 (ko) | 필드-기반 비디오에 대해 모션 보상을 이용한 공간-시간디인터레이싱을 위한 방법 및 장치 | |
| US8526502B2 (en) | Method and apparatus for line based vertical motion estimation and compensation | |
| EP0675652B1 (fr) | Procédé et circuit d'estimation de mouvement entre images à deux trames entrelacées, et dispositif de codage de signaux numériques comprenant un tel circuit | |
| EP0330279B1 (fr) | Dispositif de sous-échantillonnage spatio-temporel de signaux vidéo numériques représentatifs d'une suite d'images entrelacées ou séquentielles, système de transmission d'images de télévision à haute définition incluant un tel dispositif, et étages d'émission et de réception pour un tel système | |
| US5847772A (en) | Adaptive filter for video processing applications | |
| EP1164792A2 (fr) | Convertisseur de format utilisant des vecteurs de mouvement bidirectionnels et méthode correspondante | |
| US9204086B2 (en) | Method and apparatus for transmitting and using picture descriptive information in a frame rate conversion processor | |
| FR2651399A1 (fr) | Procede et dispositif d'estimation et de codage hierarchise du mouvement de sequences d'images. | |
| KR100657261B1 (ko) | 적응적 움직임 보상 보간 방법 및 장치 | |
| JP2002514866A (ja) | ビデオ・フレーム・レートを増加させる方法および装置 | |
| US20090174812A1 (en) | Motion-compressed temporal interpolation | |
| EP0347325B1 (fr) | Procédé et installation de diffusion de programmes de télévision haute définition compatible | |
| US6538688B1 (en) | Method and apparatus for performing an automated inverse telecine process | |
| KR20050065104A (ko) | 영상 오류 복구장치 및 방법 | |
| US6898243B1 (en) | Apparatus and methods for down-conversion video de-interlacing | |
| KR20050107849A (ko) | 적응적 가중치를 적용한 움직임 추정 방법 및 그를 적용한프레임 레이트 변환 장치 | |
| FR2860941A1 (fr) | Dispositif et procede d'estimation de bruit d'un signal video | |
| Lee et al. | High frame rate motion compensated frame interpolation in high-definition video processing | |
| FR2702915A1 (fr) | Procédé de conversion de l'information de mouvement, entre deux fréquences temporelles, dans un réseau de transmission d'images animées . | |
| Mohammadi et al. | A five-field motion compensated deinterlacing method based on vertical motion | |
| EP0546141A1 (fr) | Procede de conversion du rythme temporel d'une sequence d'images animees | |
| FR2927758A1 (fr) | Procede et dispositif de codage-decodage d'images video successives selon un flux video principal en pleine resolution et selon un flux video secondaire en qualite reduite | |
| EP0350122A1 (fr) | Procédés et dispositifs de codage et de décodage d'images de télévision à haute définition et systèmes de transmission d'images de télévision incluant de tels dispositifs | |
| Aly et al. | Real-time motion-based frame estimation in video lossy transmission | |
| Csillag et al. | Frame-rate conversion based on acceleration and motion-based segmentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TP | Transmission of property | ||
| ST | Notification of lapse |
Effective date: 20101130 |