FR2641883A1 - Procede et dispositif de binarisation d'image a deux dimensions, en temps reel - Google Patents

Abstract

Le dispositif, utilisable pour la reconnaissance d'objets dans une image, comprend une mémoire de stockage des pixels, un premier filtre de convolution 12, de réponse impulsionnelle gaussienne, comportant et fournissant une transformée de l'image; un filtre 14 de convolution, ayant un noyau plus étendu que le premier filtre 12, correspondant à un environnement sur lequel on souhaite déterminer un premier laplacien, et attaqué par la sortie du premier filtre; un soustracteur 15 des différences des sorties des filtres 12, 14 en chaque pixel, fournissant un laplacien haute fréquence; au moins un jeu de composants constitués chacun d'un sous-échantillonneur 18, 18a,..., d'un filtre à réponse étendue 14a, 14b,... et d'un soustracteur 15a, 15b, le sous-échantillonneur ayant un rapport de décimation correspondant à la réduction de fréquence spatiale provoquée par le filtre qui le précède; pour chaque transformée de sortie d'un soustracteur, autre que la première, un opérateur d'expansion-interpolation 20a, 20b de compensation du sous-échantillonnage; et des opérateurs de comparaison des pixels du laplacien à des seuils, à partir du laplacien de fréquence la plus élevée, chaque ambiguité étant levée par recours au laplacien de fréquence immédiatement plus basse.

Description

Procédé et dispositif de binarisation d r image à deux dimensions, en temps réel
L'invention concerne la binarisation d'image, c'est-à-dire la conversion d'un signal donnant la valeur d'un paramètre optique, tel que la brillance ou la réflectivité, en des points élémentaires répartis suivant un réseau régulier dans l'image en un signal ayant l'une de deux valeurs binaires en chaque point élémentaire ou pixel.

L'invention est susceptible de nombreuses applications ; en particulier elle est utilisable chaque fois qu'on cherche à identifier, dans une image, des objets de forme particulière ayant un contraste déterminé par rapport au fond. Pour simplifier, on considèrera dans ce qui suit qu'il s'agit d'objets sombres sur fond clair (ou inversement), du fait d'un niveau de réflectivité ou de brillance différente. Mais le paramètre caractéristique d'un pixel de l'image peut être d'autre nature, par exemple lié à sa couleur.

A titre d'exemple d'application, on peut notamment citer l'identification d'objets industriels dans l'image fournie par un capteur (ce problème se posant notamment en robotique) et la lecture optique dans ce dernier cas, le problème est facilité du fait que les caractères alphanumériques sont des objets à structure de traits, l'épaisseur des traits ainsi que leur longueur maximum étant approximativement connues.

Un problème majeur que pose la binarisation d'une image est que le niveau de gris du fond n'est généralement pas uniforme, pas plus que le niveau de gris associé aux objets. Il est en conséquence impossible de différencier les pixels des objets des pixels du fond par simple comparaison avec un seuil de valeur constante dans toute l'image. Le niveau de gris des pixels du fond aussi bien que des pixels des- objets varie d'un point à l'autre de l'image soit par suite d'une inhomogénéité -d'éclairement, soit de manière inhérente au fond et aux objets (ou à leur support). De plus, les capteurs d'image et l'électronique qui leur est associée ont un bruit propre.

On a déjà proposé de nombreux procédés de binarisation d'image. En particulier, on a proposé des procédés utilisant des algorithmes d'itération. Ils sont difficilement implémentables en temps réel, donc pratiquement incompatibles avec la lecture optique ou avec la binarisation d'images industrielles pour des applications telles que la robotique.

On a également proposé des algorithmes de calcul dynamique d'un seuil local, constitué par une moyenne du niveau de gris sur un environnement particulier autour de chaque pixel. Mais ces procédés exigent qu'on définisse a priori la taille de l'environnement sur lequel est calculée la moyenne, donc qu'on dispose de connaissances sur la taille des objets. Si cette situation se présente dans certains cas de lecture numérique, à condition que les caractères aient une taille uniforme, cette contrainte enlève beaucoup de généralité au procédé et le rend peu intéressant en pratique.

Un autre procédé encore utilise le signe d'un laplacien pour marquer les points d'entrée et les points de sortie d'un objet au cours d'un balayage de l'image selon des lignes particulières. Par exemple, la traversée de la frontière à l'entrée dans un objet noir (et à la sortie) est reconnue par le passage du laplacien d'une valeur positive à une valeur négative (et inversement). Des exemples de tels procédés sont donnés notamment dans le document GB-A-1 419 105 et dans l'article de White et Rohrer "Image thresholding for optical character recognition and other applications requiring character image extraction", IBM J. Res
Development, Vol 27, pp. 400-411, 1986.

Cette solution présente l'avantage de pouvoir être implémentée en temps réel de façon relativement simple en logiciel ou en utilisant une logique câblée.

Mais elle se heurte à un défaut fondamental du laplacien qui est sa tendance à amplifier les variations de contraste locales, par exemple celles dues à des défauts microscopiques d'impression dans le cas de la lecture optique. Les performances d'un tel procédé sont également altérées en présence de bruits perturbant le laplacien qui, comme toutes les opérations qui s'apparentent à une dérivation, est sensible aux bruits de haute fréquence. On constate qu'effectivement une séquence d'entrée dans un objet noir ou de sortie de cet objet peut être "oubliée". Ce défaut ne peut être écarté qu'à partir d'une information a priori sur la dimension des objets rencontrés au cours d'un balayage suivant la direction utilisée de l'image : mais le procédé n'a plus la généralité souhaitable.

L'invention vise notamment à fournir un procédé de binarisation d'image à deux dimensions, utilisable en temps réel et sans qu'il soit nécessaire de faire d'hypothèse sur la taille des objets présents dans l'image.

Dans ce but, l'invention propose notamment un procédé suivant lequel
(a) on soumet l'image à un filtrage par convolution avec un filtre de réponse impulsionnelle gaussienne pour obtenir une transformée de l'image
(b) on soumet la transformée à un filtrage par convolution avec un filtre de réponse gaussienne ayant un noyau plus étendu que le premier filtre et correspondant à un environnement sur lequel on souhaite déterminer un premier laplacien ;
(c) on détermine le premier laplacien en chaque pixel par différence des résultats des filtrages (a) et (b) ;
(d) on répète au moins une fois les opérations (b) et (c) en les faisant précéder d'un souséchantillonnage de l'image obtenue en (b) dans un rapport correspondant à la réduction de fréquence spatiale provoquée par le filtrage (b), pour constituer une pyramide de représentations multirésolution ;;
(e) on soumet chaque transformée obtenue par l'étape (c), autre que la première, à une expansioninterpolation de compensation du sous-échantillonnage correspondant pour obtenir une représentation multifréquence de l'image
(f) on réalise la représentation binaire de l'image par comparaison des pixels du laplacien à des seuils, à partir du laplacien de fréquence la plus élevée, en levant chaque ambiguité par recours au laplacien de fréquence immédiatement plus basse.

L'invention propose également un dispositif permettant de mettre en oeuvre le procédé ci-dessus défini, susceptible d'avoir une constitution entièrement parallèle, à condition de prévoir un processeur de traitement pour chaque pixel de l'image.

L'invention sera mieux comprise à la lecture de la description qui suit d'un mode particulier de réalisation, donné à titre d'exemple non limitatif. La description se réfère aux dessins qui l'accompagnent, dans lesquels
- la Figure 1 est un schéma de principe d'un dispositif suivant l'invention ;
- la Figure 2 est un schéma montrant le signal du laplacien en des points élémentaires d'une image qu'on peut considérer comme représentative, ou figurent les caractères M-8 en noir sur fond blanc (les signes + et - indiquant respectivement un laplacien positif et un laplacien négatif et un zéro indiquant un laplacien nul) ,
- la Figure 3 montre quatre représentations successives des caractères PL/M-86, en noir sur fond blanc, par le signe de laplaciens successifs, de fréquence décroissante du haut vers le bas.

La Figure 1 montre, de façon schématique, l'architecture d'un procédé ou d'un dispositif permettant de mettre en oeuvre l'invention pour binariser une scène 8 dont un capteur 10, tel qu'une caméra video, fournit une image sous forme d'un tableau de n x p pixels codés chacun sur 2x niveaux de gris, chaque pixel étant représenté par un mot de x bits ; on utilise fréquemment une numérisation des pixels par 1 octet, donc à 256 niveaux de gris.

On supposera, dans ce qui suit, que le capteur comporte une mémoire d'image capable de stocker les n x p pixels à l'issue d'un balayage complet de l'image et jusqu'à apparition de l'image suivante.

Un premier opérateur 12, qui peut étre programmé ou câblé, fournit, à partir de l'image (I(j,k) fournie par le capteur 10, une transformée Il(j,k).

L'opérateur 12 est constitué par un filtre de convolution ayant une réponse impulsionnelle gaussienne.

On peut notamment utiliser un filtre ayant un noyau de convolution g de 3 x 3. On supposera dans ce qui suit que l'image transformée Ii(j,k) obtenue par convolution de l'image I(j,k) par le filtre 12 est

Le masque de convolution g de la formule (1) constitue une approximation de la fonction :

L'image transformée li est appliquée à un second filtre 14 de convolution dont le noyau G(j,k) est lié à g par la relation
G(j,k) = g*g*g*.

Le noyau G a une taille 7 x 7 et constitue une approximation de la fonction

où a22 = 3 #i2 = 1,5.

A partir des images 11(j,k) fournie par le filtre 12 et 12(j,k) fournie par le filtre 14, on peut obtenir une approximation du laplacien gaussien de I.(j,k) calculée sur un environnement qui est, dans le cas de la formule (1) ci-dessus, de 7 x 7
L(j,k) = I.(j,k) - Ia(j,k) (2) à l'aide d'un soustracteur 15.

Dans ce qui suit, pour simplifier, on désignera par "laplacien gaussien" l'approximation en différence finie de l'opérateur laplacien fourni par les opérateurs donnés â titre d'exemples.

La Figure 2 montre la répartition du signe du laplacien L1 aux emplacements des pixels d'une image des caractères M-8 que l'on peut considérer comme représen- tative. Ceux des pixels situés à l'intérieur des carac tères qui sont proches du contour de ces caractères sont caractérisés par un laplacien négatif. Ceux des pixels situés à l'extérieur des caractères qui sont eux aussi proches du voisinage d'un contour sont caractérisés par un laplacien positif, la notion de voisinage étant relative à l'étendue du domaine sur lequel est calculé le laplacien, ici un environnement 7 * 7 centré sur chaque pixel.

Mais on constate qu'un laplacien nul peut indiquer aussi bien un pixel appartenant au fond qu'un pixel appartenant à un caractère. Et on voit que les zones du fond écartées d'un contour se traduisent par un laplacien nul ou même négatif et qu'inversement les zones de la lettre M écartées du contour présentent un laplacien nul ou même positif.

On a déjà proposé des procédés et dispositifs de binarisation fondés sur le signe du laplacien Ll. Pour cela, on utilise un comparateur 16 avec une valeur de seuil, ajustable ou non, ou deux valeurs. Dans le cas, généralement préférable, où on adopte deux valeurs de seuil +s et -s, on considère qu'un pixel est blanc (ou clair) si L1 > +s noir (ou sombre) si L1 < -s gris si -s < L1 < +s.

(3)
Ce procédé permet de repérer, par les changements de signe du laplacien L1, les pixels à proximité des contours des objets, mais, malheureusement, les points intérieurs trop éloignés des contours ne sont pas identifiés : les objets ayant une surface importante sont "évidés", les zones écartées des contours apparaissant de la même façon que le fond.

On pourrait penser que ce défaut peut être écarté en augmentant le domaine sur lequel on-calcule le laplacien. Mais, d'une part, la levée de l'ambiguité sur le contenu des objets n'est obtenue qu'au prix d'une perte de résolution sur les contours de l'image, d'autre part, cette façon de procéder impose de connaître la taille minimum des objets (la largeur minimale des traits dans le cas de caractères alphanumériques).

5 10 15 20 25 30 35
L'invention permet notamment d'éviter le phénomène d'évidement des objets sans perdre pour autant sur la résolution. Pour cela, elle implique de constituer d'abord une représentation multifréquence et multirésolution de l'image I(j,k).

Elle utilise la constatation que, si f1 est la fréquence spatiale maximum contenue dans l'image transformée I1(j,k), qui peut s'écrire

où et et wy sont les fréquences maximum suivant les
directions x et y
C est une constante qui dépend de la façon dont
on estime la fréquence maximum d'un signal
(C = 1 si f1 est la fréquence de coupure du
filtre passe-bas gaussien, pour une
atténuation de 1 néper, la fréquence spatiale maximum f2 contenue dans l'image
I2(j,k) est f2 = C/L212 (:12 +
= F1/2~
Le laplacien L1 est donc la réponse d'un filtre d'octave passe-bande à l'image I. et fournit une représentation de l'image à fréquence maximum réduite dans un rapport 2.

On peut poursuivre la réduction de fréquence maximum, comme le montre la Figure 1. Après une convolution par un filtre gaussien, qui permet de réaliser de manière contrôlée une réduction dans un rapport 2 de la fréquence maximum contenue dans une image, on peut procéder à une décimation (ou souséchantillonnage) de rapport correspondant en restant en accord avec le théorème d'échantillonnage de Shannon.

Des séquences successives constituées chacune d'un filtrage et d'une décimation permettent d'obtenir, à partir d'une image n x p, une suite limitée d'images (n/2 x p/2), (n/4 x p/4), (n/8 x p/8), etc.

Sur la Figure 1, un premier opérateur de décimation 18 fournit, à partir de l'image 12, une image sous-échantillonnée à n/2 x p/2 points. Une nouvelle séquence, par le filtre 14a et l'opérateur 18a, fournit successivement une image I, à fréquence spatiale maximum de nouveau divisée par 2 par rapport à f2, puis une image I. sous-échantillonnée. Enfin, le filtre 14b fournit l'image 14 où la fréquence spatiale maximum f3 est encore divisée par 2.

L'ensemble des images obtenues constitue une représentation fournissant , de la même scène 8, une pyramide multirésolution constituée par des vues depuis la plus globale (image du sommet de la pyramide, pour la fréquence la plus basse) jusqu'à la plus détaillée (image à la base de la pyramide).

Pour chacune des images, on peut déterminer le laplacien 12, 13,..., à l'aide d'un soustracteur 15a, 15b,... Une remise s l'échelle n x p de chacune des images 12, 13 par un opérateur 20a, 20b,...

d'expansion-interpolation, transforme la pyramide multirésolution (laplaciens 11, 12, 13,...) en une représentation multifréquence (laplaciens L1, L2, L3,...), réponse d'un ensemble de filtres d'octave passe-bande mutuellement adjacents.

La variation de représentation apparaît sur la
Figure 3 qui donne l'affectation ou étiquetage (blanc ou noir) des pixels dans le cas du critère (3) avec s = 2, respectivement pour L1, L2, L3 et L4 (de haut en bas).

On voit que le laplacien haute fréquence L1 repère, par ses changements de signe, les pixels à la frontière des objets mais que les points intérieurs trop éloignés des contours ne sont pas repérés (dans les caractères P, M et 6). Le laplacien L2 fait apparaître les pixels intérieurs. Le laplacien L4 ne fait plus apparaître qu'un caractère, ou un groupe de caractères, (par exemple 86).

Des laplaciens de plus basse fréquence permettraient de repérer un mot, une ligne de texte, une zone de texte dans une page, etc.

Cette spécificité des laplaciens successifs permet de lever les ambiguités que présenterait une affectation fondée sur le seul laplacien L1. Diverses stratégies de recours au laplacien d'ordre supérieur pour lever une ambiguité sont possibles. On peut notamment utiliser la règle de binarisation suivante (pour un étiquetage "blanc" ou "noir").

Si L1(j,k) < -s, alors le pixel est noir

si L1(j,k) > +s, alors blanc sinon si L2(j,k) < -s, alors noir

Si L2(j,k) > +s, alors blanc sinon Si L3...

Si Ln(j,k) < #S, alors noir sinon, blanc
La pyramide peut être parcourue jusqu'au sommet pour certains pixels : il est nécessaire que la règle de décision privilégie l'un des étiquetages, ici "blanc" pour éviter une ambiguité finale.

Cette règle de décision, qui examine en premier le signe du laplacien de haute fréquence, garantit que les contours des objets seront préservés ; les lapla ciens de plus basse fréquence ne sont utilisés que pour "remplir" l'intérieur des objets. La stratégie serait inversée en cas d'objets clairs sur un fond sombre.

Dans le cas illustré sur la Figure 1, l'application, de la règle est schématisé par des comparateurs 16, 16a, 16b,..., à trois sorties fournissant un signal suivant que l'entrée est supérieure à +s, inférieure à -s ou comprise entre +s et -s. Des portes OU 22 et 24 permettent de fournir un signal sur l'une ou l'autre de deux sorties "blanc" B et "noir" N du dispositif.

Le procédé suivant l'invention présente de nombreux avantages : il n'utilise aucun seuil, l'étiquetage "sombre" ou "clair" des pixels faisant appel à la notion "d'intérieur" des objets, elle-meme définie à partir d'un contraste local. Grâce à la représentation multifréquence, il n'est pas nécessaire de connaître a priori les dimensions maximales des objets : il suffit que l'image ne fasse apparaître que deux classes de pixels (ceux du fond et ceux des objets) et qu'on puisse définir une frontière entre objets et fond à partir d'une mesure de contraste. Elle met en oeuvre une analyse multifréquence présentant une certaine similitude avec les processus de vision chez l'être humain.

La mise en oeuvre de l'invention peut se faire soit en électronique câblée, soit en logiciel.

En électronique câblée, on peut utiliser un calculateur multi-couches, chaque couche correspondant à un niveau de convolution (sauf une, qui correspond au niveau de décision) et chaque couche comprenant autant de processeurs qu'il y a de pixels à traiter. Une architecture du type dit "pipe-line", plus facile à réaliser, a pour contrepartie une réalisation matérielle plus lourde.

L'invention ne se limite pas aux modes particuliers de réalisation donnés à titre d'exemples et il doit être entendu que la portée du présent brevet s'étend aux équivalences, utilisant un laplacien de haute fréquence pour étiqueter les pixels intérieurs et extérieurs proches du contour des objets et les laplaciens de basse fréquence pour remplir l'intérieur des objets par couches successives et établir un lien entre pixels intérieurs situés au voisinage du contour et pixels intérieurs éloignés du contour.

Claims (5)

REVENDICATIONS

1. Procédé de binarisation d'image à deux dimensions, utilisable en temps réel, l'image étant représentée par des pixels, caractérisé en ce que

(a) on soumet l'image a un filtrage par convolution avec un filtre (12) de réponse impulsionnelle gaussienne pour obtenir une transformée de l'image

(b) on soumet la transformée à un filtrage par convolution avec un filtre (14) de réponse gaussienne ayant un noyau plus étendu que le premier filtre et correspondant à un environnement sur lequel on souhaite déterminer un premier laplacien

(c) on détermine le premier laplacien en chaque pixel par différence des résultats des filtrages (a) et (b)

(d) on répète au moins une fois les opérations (b) et (c) en les faisant précéder d'un souséchantillonnage de l'image obtenue en (b) dans un rapport correspondant à la réduction de fréquence spatiale provoquée par le filtrage (b), pour constituer une pyramide de représentations multirésolution

(e) on soumet chaque transformée obtenue par l'étape (c), autre que la première, a une expansioninterpolation de compensation du sous-échantillonnage correspondant pour obtenir une représentation multifréquence de l'image

(f) on réalise la représentation binaire de l'image par comparaison des pixels du laplacien à des seuils, à partir du laplacien de fréquence la plus élevée, en levant chaque ambiguité par recours au laplacien de fréquence immédiatement plus basse.

2. Procédé selon la revendication 1, caractérisé en ce que la transformée de l'image au cours de l'opération (a) s'effectue par convolution avec un filtre de masque

121

g = 2 4 2 x (1/16) (l)

121

3. Procédé selon la revendication 2, caractérisé en ce que le filtrage de l'opération (b) est effectué par un filtre de noyau G 5 g*g*g.

4. Procédé selon la revendication 1, 2 ou 3, caractérisé en ce que la comparaison de l'opération (f) s'effectue suivant la règle

Si L1(j,k) < -s, alors le pixel est noir

Si Ll(j,k) > +s, alors blanc sinon si L2(j,k) < -s, alors noir -

sinon si L3...

Si L2(j,k) > +s, alors blanc

........

Si L#(j,k) < #S, alors noir sinon, blanc ou +s et -s sont deux valeurs de seuil ; L1, ..., Ln sont les laplaciens successifs correspondant au pixel de coordonnées (j,k).

5. Dispositif de binarisation d'image à deux dimensions, en temps réel, l'image étant représentée par des pixels, caractérisé en ce qu'il comprend

- une mémoire de stockage d'image,

- un premier filtre de convolution (12) de réponse impulsionnelle gaussienne comportant des moyens d'entrée d'image et fournissant une transformée de l'image sur une sortie

- un filtre (14) de convolution, de réponse gaussienne ayant un noyau plus étendu que le premier filtre (12) et correspondant à un environnement sur lequel on souhaite déterminer un premier laplacien, ledit filtre de noyau étendu ayant une entrée reliée à la sortie du premier filtre

- un soustracteur (15) des différences des sorties des filtres (12, 14) en chaque pixel, fournissant un laplacien haute fréquence

- au moins un jeu de composants constitués chacun d'un sous-échantillonneur (18, lssa,...), d'un filtre à réponse étendue (14a, 14b,...) et d'un soustracteur (15a, 15b), le sous-échantillonneur ayant un rapport de décimation correspondant à la réduction de fréquence spatiale provoquée par le filtre qui le précède, pour constituer une pyramide de représentations multirésolutions ;

- pour chaque transformée de sortie d'un soustracteur, autre que la première, un opérateur d'expansion-interpolation (20a, 20b) de compensation du sous-échantillonnage correspondant pour obtenir une représentation multifréquence de l'image ; et

- des opérateurs de comparaison des pixels du laplacien à des seuils, à partir du laplacien de fréquence la plus élevée, chaque ambiguité étant levée par recours au laplacien de fréquence immédiatement plus basse, fournissant la représentation binaire de l'image.