FR2860940A1 - Dispositif et procede de reduction de bruit d'un signal video - Google Patents

Abstract

L'invention concerne un dispositif (1) et une méthode de réduction de bruit d'un signal vidéo. Le dispositif comprend :- des moyens (2) d'interpolation compensée en mouvement,- un filtre récursif (3) destiné à recevoir sur une première entrée la sortie (r(x,y,t)) du filtre récursif (3) compensée en mouvement par les moyens (2) d'interpolation et sur une seconde entrée le signal vidéo (12),- des moyens (9) de calculer la différence entre le signal vidéo (12) et la sortie (r(x,y,t)) du filtre récursif (3) compensée en mouvement par les moyens (2) d'interpolation,Selon l'invention, le dispositif comporte :- des moyens (8) d'aiguiller vers la première entrée du filtre récursif, soit le signal vidéo (12) si ladite différence est supérieure à un seuil (Sc) prédéterminé de niveau de bruit, soit la sortie (r(x,y,t)) du filtre récursif (3) compensée en mouvement si la différence est inférieure audit seuil (Sc) prédéterminé de niveau de bruit.Application à des dispositifs de réduction de bruit avant compression.

Description

La présente invention est relative à un dispositif et un procédé de

réduction de niveau de bruit.

La réduction du bruit est un élément essentiel dans le pré-traitement vidéo avant codage. Elle est basée sur un filtrage temporel récursif.

Les techniques de réduction de bruit s'appliquent généralement à des images vidéo numériques se présentant sous la forme d'une matrice d'échantillons; chaque échantillon est composé d'un signal de luminance et, pour un signal en couleur, d'un signal de chrominance.

L'acquisition des séquences d'images vidéo est encore aujourd'hui largement réalisée sous une forme analogique de sorte que les images, une fois acquises et éventuellement transmises et stockées dans des formats analogiques, présentent une part sensible de bruit dans leur contenu. Une fois numérisées, ces images sont également souvent soumises à des opérations de stockage I édition qui, à leur tour, introduisent un bruit de nature numérique, cette fois. En final, une séquence d'images subit généralement une succession de transformations ayant pour résultat un bruit spatio-temporel de nature fortement aléatoire.

Pour obtenir un fonctionnement performant, les méthodes de réduction de bruit faisant appel à un filtrage récursif considèrent la très forte corrélation temporelle des images d'une séquence vidéo. Par conséquent, les notions de mouvement et de déplacement sont importantes pour la mise au point d'une réduction de bruit efficace.

Par déplacement , on entend le changement de position d'un objet dans une scène, ce changement de position étant localisé et propre à cet objet. Par mouvement , on entend l'ensemble des déplacements d'objets dans une séquence vidéo.

Le mouvement est classiquement détecté soit par simple différence d'images à images, soit en utilisant un estimateur de mouvement.

Lorsque l'on utilise un estimateur de mouvement, on tient compte des déplacements en effectuant des différences d'images à des instants distincts ainsi qu'en se déplaçant spatialement dans les trames. Ces déplacements sont représentés par des champs de vecteurs de mouvement appliqués à des pixels (estimation de mouvement au pixel) ou à des blocs (estimation de mouvement par blocs). On obtient ainsi des différences d'images compensées en mouvement, appelées DFDs (Displacement Frame Differences), par pixels ou par blocs.

Cependant, un estimateur de mouvement présente des imperfections qui peuvent induire des défauts en sortie du filtre récursif, et qui sont propagés dans le temps par le principe de récursivité. Parmi ces imperfections, on peut citer des problèmes de suivi d'objets, d'occultation d'un objet par un autre, d'apparition d'un nouvel objet.

Afin de pallier ces inconvénients, une solution envisagée est d'appliquer le filtre récursif uniquement sur des zones fixes ou sur des zones à faible mouvement. Le réducteur de bruit est alors un réducteur de bruit adapté en mouvement et non plus un réducteur de bruit compensé en mouvement. Un inconvénient majeur d'une telle méthode est que le bruit n'est supprimé que sur des séquences sans mouvement ou à faible mouvement, ou sur des zones d'images, or s'il y a du bruit dans une séquence, le bruit est présent dans toute la séquence. Un tel réducteur de bruit serait donc peu efficace.

L'invention propose un dispositif et une méthode de réduction de bruit évaluant le bruit dans l'image et les erreurs dues à la compensation de mouvement.

A cet effet, l'invention propose un dispositif de réduction de bruit d'un signal vidéo comprenant - des moyens d'interpolation compensée en mouvement, - un filtre récursif destiné à recevoir sur une première entrée la sortie du filtre récursif compensée en mouvement par les moyens d'interpolation et sur une seconde entrée le signal vidéo, - des moyens de calculer la différence entre le signal vidéo et la sortie du filtre récursif compensée en mouvement par les moyens d'interpolation, Selon l'invention, le dispositif comporte - des moyens d'aiguiller vers la première entrée du filtre récursif, soit le signal vidéo si ladite différence est supérieure à un seuil prédéterminé de niveau de bruit, soit la sortie du filtre récursif compensée en mouvement si la différence est inférieure audit seuil prédéterminé de niveau de bruit.

L'invention peut ainsi permetre de séparer les erreurs dues à la compensation de mouvement et le bruit réel. Lorsque la différence entre le signal vidéo et la sortie du filtre récursif compensée en mouvement est supérieure à un seuil, la boucle de récursivité est rompue, ce qui permet de ne pas propager les erreurs dues à la compensation de mouvement en coupant la boucle de récursivité. Il est donc possible de réaliser un filtrage très sévère sans produire d'artefacts à la sortie du filtre qui seraient dues à de fortes erreurs de compensation de mouvement en cas de mauvaise estimation de mouvement.

Selon un mode préféré de réalisation, le dispositif comporte: - des moyens d'estimation du niveau de bruit de la séquence vidéo, - des moyens de calcul dudit seuil prédéterminé de niveau de bruit.

Selon un mode préféré de réalisation, les moyens de calculer la différence entre le signal vidéo et la sortie du filtre récursif compensée en mouvement par les moyens d'interpolation calculent ladite différence pour chaque pixel de l'image véhiculée par le signal vidéo.

Avantageusement, le filtre récursif comporte une ou deux cellules de filtrage.

Selon un mode préféré de réalisation, ledit seuil est lié à des paramètres de filtrage dudit filtre récursif.

Ceci permet de régler manuellement le seuil et peut donc permettre à 5 un utilisateur de régler le seuil en fonction de l'application.

Selon un mode préféré de réalisation, ledit seuil est fonction du niveau de bruit de chaque trame.

De cette manière, le niveau de bruit pouvant varier d'une trame à 10 l'autre, le seuil peut être modifié et recalculé pour chaque trame.

Selon un mode préféré de réalisation, ledit seuil peut être modifié dynamiquement et localement en l'adaptant à des zones caractéristiques de chaque image.

Ceci permet de s'adapter à des trames présentant un niveau de bruit irrégulier et donc de limiter localement, au sein d'une même trame, les risques d'artefact, tout en concervant un ahut niveau de filtrage.

L'invention est également relative à un procédé de réduction de bruit 20 comportant les étapes: - d'interpolation compensée en mouvement, - de filtrage récursif destiné à recevoir sur une première entrée la sortie d'un filtre récursif compensée en mouvement et sur une seconde entrée le signal vidéo, - de calcul de la différence entre le signal vidéo et la sortie du filtre récursif compensée en mouvement, Selon l'invention le procédé comporte: - une étape d'aiguillage vers la première entrée du filtre récursif, soit le signal vidéo si ladite différence est supérieure à un seuil prédéterminé de niveau de bruit, soit la sortie du filtre récursif compensée en mouvement si la différence est inférieure audit seuil prédéterminé de niveau de bruit.

L'invention est également relative à un produit programme d'ordinateur comprenant des instructions de code de programme aptes à mettre en oeuvre le procédé selon l'invention lorsque le programme est exécuté sur un ordinateur.

L'invention sera mieux comprise et illustrée au moyen d'exemples de modes de réalisation et de mise en oeuvre avantageux, nullement limitatifs, en référence aux figures annexées sur lesquelles: - la figure 1 représente un mode préféré de réalisation de 10 l'invention basé sur un filtre récursif comportant une cellule de filtrage; - la figure 2 représente un mode préféré de réalisation de l'invention basé sur un filtre récursif comportant deux cellules de filtrage; Un dispositif 1 de réduction de bruit comme représenté en figure 1 peut 15 permettre imperfections liées à la compensation de mouvement dans un dispositif de filtrage récursif compensé en mouvement.

Un tel dispositif permet de séparer les erreurs dues à la compensation de mouvement et le bruit réel.

Le dispositif 1 comporte un module 3 de filtrage récursif et un module 2 20 d'interpolation compensée en mouvement.

Le bruit contenu dans certaines séquences vidéo peut réduire l'efficacité d'un codeur vidéo, par exemple de type MPEG, engendrant une mauvaise qualité visuelle de l'image décodée malgré un débit de codage raisonnable.

Le dispositif 1 de réduction de bruit est basé sur un filtrage récursif effectué par le filtre récursif 3 et des moyens 2 d'interpolation en mouvement.

Le filtre récursif 3 a de préférence une granularité de l'ordre du pixel.

Le signal vidéo 12 est représentatif d'une image composée d'un certain nombre de pixels. Chaque image est codée en mode entrelacé et est composé de deux trames. Chaque pixel de l'image est filtré par le dispositif 3.

Le signal vidéo 12 est reçu sur une entrée du soustracteur 7. Le soustracteur 7 reçoit sur sa deuxième entrée la sortie du multiplexeur 8, m(x,y,t).

Le filtre récursif 3 reçoit en entrée une estimation du niveau de bruit 13 sigma (a) effectuée pour chaque trame par un estimateur de niveau de bruit non représenté sur la figure 1.

Le niveau de bruit (a) est utilisé pour calculer un coefficient de 5 récursivité a.

Le coefficient de récursivité a pondère l'efficacité du filtrage en fonction du niveau de bruita dans la trame et de l'erreur 14 calculée entre le signal vidéo e(x,y,t) en entrée et la sortie m(x,y,t) du multiplexeur 8, soit la sortie du différentiateur 7.

a = et a e [0.25;1] 4x6 Le coefficient a est transmis à un multiplieur 6 qui reçoit sur son autre entrée la sortie s du différentiateur 7.

En sortie du multiplieur 6, on obtient donc axe=a(e(x,y,t) m(x,y,t)) La sortie du multiplieur 6 est reliée à l'entrée d'un additioneur 10. L'autre entrée de l'additionneur 10 est reliée à la sortie du multiplexeur 8. En sortie de l'additionneur 10 on obtient f(x,y,t) : f (x, y, t) = a x e(x, y, t) + (1 a) x m(x, y, t) Le signal f(x,y,t) est ensuite transmis aux moyens 2 d'interpolation compensée en mouvement après avoir subi un retard d'une trame f(x,y,t-1). Les moyens 2 d'interpolation génèrent à partir de f(x,y,t-1) et du vecteur de déplacement (dx,dy) estimé entre la trame courante et la trame précédente, la sortie compensée en mouvement r(x,y,t).

La sortie compensée en mouvement r(x,y,t) est ensuite transmise à un différentiateur 9. Le différentiateur 9 reçoit également en entrée le signal vidéo e(x,y,t). Le différentiateur 9 produit en sortie le signal g(x,y,t).

g(x, y, t) = e(x, y, t) r(x, y, t) Un comparateur 11 reçoit en entrée g(x,y,t) et un seuil Sc de niveau de bruit.

Le seuil Sc dépend de l'application finale à laquelle peut être associé le dispositif de réduction de bruit selon l'invention. Il représente un compromis entre l'efficacité du réducteur de bruit et l'apparition d'artefacts en sortie du réducteur de bruit. Dans un premier mode de réalisation, le seuil Sc peut être lié linéairement à un degré de sévérité de filtrage.

Par exemple, si l'on suppose disposer d'un curseur de réglage de filtrage à 5 positions (position_curseur), on peut attribuer à Sc la valeur suivante: Sc =16 + position _ curseur, 16 étant une valeur fixée arbitrairement.

Dans un second mode de réalisation, Sc peut être adapté au niveau de bruit a et ainsi le faire varier pour chaque trame.

Selon un troisième mode de réalisation, le seuil peut être modifié dynamiquement et localement et adapté à des zones caractéristiques de l'image en cours de traitement. Ainsi, pour les zones de mouvement, le risque d'artefacts augmente et il est préférable de baisser la valeur du seuil. Pour les zones de faible mouvement, la valeur du seuil peut être plus élevée.

Le multiplexeur 8 aiguille vers une entrée du filtre récursif le signal 30 vidéo e(x,y,t) ou la sortie compensée en mouvement r(x,y,t) en fonction du résultat de la comparaison faite par le comparateur 11.

Le multiplexeur permet de faire un tri entre le bruit réel et les erreurs de compensation.

Le comparateur 11 génère un signal de commande vers le multiplexeur 8.

Si g(x,y,t) > Sc, alors le signal de commande envoyé vers le multiplexeur 8 informe le multiplexeur 8 de transmettre le signal vidéo e(x,y,t) 5 au filtre récursif 3.

Si g(x,y,t) < Sc, alors le signal de commande envoyé vers le multiplexeur 8 informe le multiplexeur 8 de transmettre la sortie compensée en mouvement r(x,y,t) au filtre récursif 3.

La figure 2 représente un autre mode de réalisation de l'invention, appliquée à un filtre récursif comprenant deux cellules.

Le dispositif représenté en figure 2 peut, comme le dispositif représenté en figure 1, permettre d'eviter les effets nefastes des imperfections liées à la compensation de mouvement dans un dispositif de filtrage récursif compensé en mouvement.

Un filtre récursif possédant deux cellules de filtrage récursif est plus efficace qu'un filtre récursif comportant une seul cellule.

Le dispositif de réduction de bruit comme représenté en figure 2 comporte deux filtres récursifs 29 et 39 couplés respectivement à deux 20 modules 28 et 38 d'interpolation en mouvement.

Les filtres récursifs 29 et 39 ont de préférence une granularité de l'ordre du pixel.

Le signal vidéo 18 est représentatif d'une image composée d'un certain nombre de pixels. Dans le mode préféré de réalisation, chaque image est codée en mode entrelacé et est composée de deux trames mais pourait également être codée en mode progressif. Chaque pixel de l'image entrante est filtré par le filtre récursif 29 et par le filtre récursif 39. Le signal vidéo 18 est reçu sur une entrée d'un soustracteur 23 et sur une entrée d'un soustracteur 33. Le soustracteur 23 reçoit sur sa deuxième entrée la sortie d'un multiplexeur 22 et le soustracteur 33 reçoit sur sa deuxième entrée la sortie d'un multiplexeur 32.

Les filtres récursifs 29 et 39 reçoivent en entrée une estimation du niveau de bruit delta (8) effectuée pour chaque trame par un estimateur de niveau de bruit non représenté sur la figure 2. Le niveau de bruit 3 est utilisé pour calculer un coefficient de récursivité al du filtre récursif 29 et un coefficient de récursivité a2 du filtre récursif 39.

Les coefficients de récursivité al et a2 pondèrent l'efficacité du filtrage en fonction du niveau de bruit S dans la trame et respectivement de l'erreur cl ou s2 calculée entre le signal vidéo e(x,y,t) en entrée et respectivement la sortie ml(x,y,t) du multiplexeur 22 ou la sortie m2(x,y, t) du multiplexeur 32, soit respectivement la sortie de différentiateurs 23 ou 33.

al = 4 Xlô et al e [0.25;1] Le coefficient al est transmis à un multiplieur 24 qui reçoit sur son autre entrée la sortie cl du différentiateur 23.

En sortie du multiplieur 24, on obtient donc al x s1= al(e(x, y, t) ml(x, y, t)) La sortie du multiplieur 24 est reliée à l'entrée d'un additioneur 26. 20 L'autre entrée de l'additionneur 26 est reliée à la sortie du multiplexeur 22. En sortie de l'additionneur 26 on obtient fl(x, y,t).

fl(x,y,t)=alxe(x,y,t)+(1-al)xml(x,y,t) 25 a2 = 4 X et a2 E [0.25;1] 8 Le coefficient a2 est transmis à un multiplieur 34 qui reçoit sur son autre entrée la sortie E2 du différentiateur 33.

En sortie du multiplieur 34, on obtient donc a2xs2 =a2(e(x,y,t)-m2(x,y,t)) La sortie du multiplieur 34 est reliée à l'entrée d'un additioneur 36. L'autre entrée de l'additionneur 36 est reliée à la sortie du multiplexeur 32. En 5 sortie de l'additionneur 36 on obtient f2(x,y,t).

f 2(x, y, t) = a2 x e(x, y, t) + (1- a2)x m2(x, y, t) fl(x,y,t) et f2(x,y, t) sont ensuite transmis à un additionneur 39 qui fournit en sortie le signal filtré f'(x,y,t).

f'(x,y,t) _ [.fl(x,y,t)+ f 2(x, y,t)]/2 Le signal f'(x,y,t) est ensuite transmis à un module de retard trame 27 et à un module de retard image 37.

On obtient ainsi à la sortie du module de retard trame 27 le signal 15 f'(x,y,t-1) et à la sortie du module de retard image 37 f'(x,y,t-2).

Les moyens d'interpolation 27 génèrent à partir des vecteurs de mouvement estimés entre la trame courante et la trame précédente et de f'(x,y,t-1) la sortie compensée en mouvement de la trame courante rl (x,y,t).

Les moyens d'interpolation 37 génèrent à partir des vecteurs de mouvement estimés entre la trame courante et l'image précédente et de f'(x,y,t-2) la sortie compensée en mouvement de l'image courante r2(x,y,t).

La sortie compensée en mouvement r1(x,y,t) est transmise à un différentiateur 21. Le différentiateur 21 reçoit également en entrée le signal vidéo e(x,y,t). Le différentiateur 21 produit en sortie le signal gl(x,y,t).

gl(x, y, t) = e(x, y, t) - rl(x, y, t) Le comparateur 20 reçoit en entrée gl(x,y,t) et un seuil Sc1 de niveau de bruit.

Un multiplexeur 22 aiguille vers une entrée du filtre récursif le signal vidéo e(x,y,t) ou la sortie compensée en mouvement r1(x,y,t) en fonction du résultat de la comparaison faite par le comparateur 20.

Le multiplexeur 22 permet de faire un tri entre le bruit réel et les erreurs de compensation.

Un comparateur 20 génère un signal de commande vers le multiplexeur 8.

Si gl(x,y,t) > Sc, alors le signal de commande envoyé vers le multiplexeur 22 informe le multiplexeur 22 de transmettre le signal vidéo e(x,y,t) au filtre récursif 29.

Si gl(x,y,t) < Sc, alors le signal de commande envoyé vers le multiplexeur 22 informe le multiplexeur 22 de transmettre la sortie compensée 10 en mouvement rl (x,y,t) au filtre récursif 29.

La sortie compensée en mouvement r2(x,y,t) est transmise à un différentiateur 31. Le différentiateur 31 reçoit également en entrée le signal vidéo e(x,y,t). Le différentiateur 31 produit en sortie le signal g2(x,y,t).

g2(x, y, t) = e(x, y, t) r2(x, y, t) Un comparateur 30 reçoit en entrée gl(x,y,t) et un seuil Sc2 de niveau de bruit Les deux seuils de niveau de bruit Sc1 et Sc2 peuvent être indépendants.

Un multiplexeur 32 aiguille vers une entrée du filtre récursif le signal vidéo e(x,y,t) ou la sortie compensée en mouvement r2(x,y,t) en fonction du 25 résultat de la comparaison faite par le comparateur 30.

Le multiplexeur 32 permet de faire un tri entre le bruit réel et les erreurs de compensation.

Le comparateur 30 génère un signal de commande vers le multiplexeur 32.

Si g2(x,y,t) > Sc2, alors le signal de commande envoyé vers le multiplexeur 32 informe le multiplexeur 32 de transmettre le signal vidéo e(x,y,t) au filtre récursif 39.

Si g2(x,y,t) < Sc, alors le signal de commande envoyé vers le multiplexeur 32 informe le multiplexeur 32 de transmettre la sortie compensée en mouvement r2(x,y,t) au filtre récursif 39.

Les seuil Sc1 et Sc2 peruvent être fixes, variables ou dépendant de la sévérité de filtrage comme indiqué précédemment pour le seuil Sc.

Claims (9)

Revendications

1. Dispositif (1) de réduction de bruit d'un signal vidéo comprenant - des moyens (2) d'interpolation compensée en mouvement, - un filtre récursif (3) destiné à recevoir sur une première entrée la sortie (r(x,y,t) du filtre (3) récursif compensée en mouvement par les moyens (2) d'interpolation et sur une seconde entrée le signal vidéo (12), - des moyens (9) de calculer la différence entre le signal vidéo (12) et la sortie (r(x,y,t)) du filtre (3) récursif compensée en mouvement par les moyens (2) d'interpolation, caractérisé en ce qu'il comporte - des moyens (8) d'aiguiller vers la première entrée du filtre récursif, soit le signal vidéo (12) si ladite différence est supérieure à un seuil (Sc) prédéterminé de niveau de bruit, soit la sortie (r(x,y,t)) du filtre (3) récursif compensée en mouvement si la différence est inférieure audit seuil (Sc) prédéterminé de niveau de bruit.

2. Dispositif selon la revendication 1 caractérisé en ce qu'il comporte: des moyens d'estimation du niveau de bruit de la séquence vidéo, des moyens de calcul dudit seuil prédéterminé de niveau de bruit.

3. Dispositif selon la revendication 2 caractérisé en ce que les moyens (9) de calculer la différence entre le signal vidéo (12) et la sortie (r(x,y,t) du filtre récursif compensée en mouvement par les moyens (2) d'interpolation calculent ladite différence pour chaque pixel de l'image véhiculée par le signal vidéo (12).

4. Dispositif selon l'une des revendications précédentes caractérisé en ce que le filtre récursif (3) comporte une ou deux cellules de filtrage.

5. Dispositif selon l'une des revendications précédentes caractérisé en ce que ledit seuil (Sc) est lié à des paramètres de filtrage dudit filtre récursif.

6. Dispositif selon l'une des revendications 1 à 5 caractérisé en ce que ledit seuil est fonction du niveau de bruit de chaque trame.

7. Dispositif selon l'une des revendications 1 à 5 caractérisé en ce que ledit seuil peut être modifié dynamiquement et localement en l'adaptant à des zones caractéristiques de chaque image.

8. Procédé de réduction de bruit d'un signal vidéo comprenant les étapes d'interpolation compensée en mouvement, - de filtrage récursif destiné à recevoir sur une première entrée la sortie d'un filtre récursif compensée en mouvement et sur une seconde entrée le signal vidéo, - de calcul de la différence entre le signal vidéo et la sortie du filtre récursif compensée en mouvement, caractérisé en ce qu'il comporte

9. Produit programme d'ordinateur caractérisé en ce qu'il comprend des instructions de code de programme aptes à mettre en oeuvre le procédé selon la revendication 8 lorsque le programme est exécuté sur un ordinateur.