FR2641432A1 - Dispositif integre d'acquisition et de traitement d'images - Google Patents

Abstract

Le dispositif comprend un détecteur élémentaire pour chaque pixel de l'image à traiter et autant de processeurs élémentaires qu'il y a de colonnes de pixels dans l'image. Des registres R1 contiennent des valeurs numériques représentatives de ces pixels soit après un traitement de numérisation simple, soit après une étape intermédiaire d'un traitement plus complexe par convolution des pixels avec une matrice de coefficients particulière au traitement choisi. Ces registres sont incrémentés par une unité arithmétique et logique 18 qui reçoit des informations spécifiques au traitement à exécuter d'un registre R3. Les bus de sortie B1 et B2 des processeurs élémentaires adjacents fournissent à l'unité 18 des valeurs numériques relatives aux pixels traités dans ces processeurs pour les traitements par convolution. Application à l'exécution d'opérations sur une image saisie, telles que numérisation, extraction de contours, décomposition en fréquences spatiales, transformations géométriques, etc...

Description

La présente invention est relative à un dispositif d'acquisition et de traitement d'images et, plus particulièrement, à un tel dispositif dans lequel des moyens de traitement numériques d'images sont intégrés à des moyens d'acquisition des images à traiter.

Pour saisir et traiter numériquement des images1 on a proposé d'utiliser un capteur d'images constitué par un agencement matriciel de photodiodes reliées à un réseau de convertisseurs analogique-numérique dits "flash" capables de numériser en temps réel les informations analogiques fournies par les photodiodes et associées chacune à un élément d'image (couramment appelé "pixel", contraction de l'anglais "picture element"). Les signaux numériques obtenus sont ensuite traités dans une matrice de processeurs élémentaires conçus pour mettre en oeuvre des fonctions de corrélation ou de convolution, par exemple, au moyen d'opérations linéaires sur des informations numériques représentatives d'un domaine de pixels qui se décale sur la "surface" de l'image de manière à balayer tout ou partie de celle-ci.Par ces traitements on peut tirer de l'image des informations telles que la position d'un motif dans l'image, réaliser une extraction de contours, exécuter une analyse des fréquences spatiales de cette image ou lui faire subir des transformations géométriques (translation, rotation, zoom, etc...).

Du point de vue matériel, les dispositifs connus pour réaliser ces opérations impliquent la réalisation d'un circuit intégré à trois couches et trois dimensions, incorporant une multiplicité coûteuse de convertisseurs analogique-numérique et, outre la réalisation du circuit intégré, celle de multiplieurs ciblés.

On connaît aussi, pour l'acquisition d'images, des dispositifs à couplage de charge dits nC.C.D" que l'on peut associer à une chaîne de traitement numérique.

Cependant la vitesse d'acquisition d'un tel dispositif à couplage de charge est limitée et, du fait même du principe de fonctionnement par décalage commandé des "C.C.D", il n'est pas possible d'appliquer des traitements particuliers à chaque pixel de l'image traitée. En outre de tels dispositifs ne se prêtent pas à l'intégration de fonctions de traitement de deuxième niveau, telles que corrélations ou convolutions.

La présente invention a donc pour but de réaliser un dispositif d'acquisition et de traitement numérique d'images intégrant la détection de l'image, sa mise en mémoire et son traitement, sans faire appel à un réseau de convertisseurs analogique-numérique et à des multiplieurs câblés.

La présente invention a aussi pour but de réaliser un tel dispositif susceptible d'une réalisation en circuit intégré à deux couches seulement.

La présente invention a encore pour but de réaliser un tel dispositif présentant une vitesse d'acquisition, ou un temps d'intégration à vitesse équivalente, supérieurs à ce que l'on obtient avec des dispositifs d'acquisition et de traitement à C.C.D.

La présente invention a également pour but de réaliser un tel dispositif permettant de différencier les traitements appliqués aux pixels de l'image et. d'appliquer à ces pixels des traitements de premier niveau (numérisation) comme de deuxième niveau (corrélation, convolution par exemple).

On atteint ces buts de l'invention, ainsi que d'autres qui apparaitront dans la suite, avec un dispositif intégré d'acquisition et de traitement d'images, comprenant un réseau bidimensionnel de détecteurs élémentaires munis chacun d'un composant électronique photosensible, pour capter une image optique formée sur ce réseau, des moyens de traitement des signaux délivrés par les détecteurs élémentaires pour former des signaux numériques représentatifs d'une image traitée suivant un procédé prédéterminé, caractérisé en ce qutil comprend des moyens pour échantillonner les signaux de sortie des composants photosensibles et des moyens pour comparer les échantillons à une tension de référence en forme de rampe en marches d'escalier, les moyens de traitement étant constitués d'une pluralité de processeurs élémentaires commandant l'incrémentation de registres associés chacun à un détecteur élémentaire en fonction du procédé de traitement prédéterminé, l'incrementation des registres étant bloquée, registre par registre, par les moyens de comparaison de manière que reste en registre une valeur numérique représentative d'un pixel d'une image au moins partiellement traitée.

Chaque détecteur élémentaire comprend un échantillonneur-bloqueur alimenté par le signal de sortie du composant photosensible associé, un comparateur pour comparer l'échantillon du signal de sortie prélevé par l'échantillonneur-bloqueur au niveau instantané de la rampe de tension de référence en marches d'escalier, le signal de sortie du comparateur commandant le blocage du registre associé, par ailleurs incrémenté par les moyens de traitement.

Chacun des processeurs élémentaires comprend plusieurs registres associés chacun à un détecteur élémentaire d'une même colonne du réseau bidimensionnel, les moyens de traitement comptant autant de processeurs élémentaires qutil y a de colonnes de détecteurs dans le réseau, ces processeurs fonctionnant en parallèle pendant la saisie et le traitement d'une image.

Un processeur élémentaire comprend en outre une unité arithmétique et logique (U.A.L), un multiplexeur pour faire entrer sélectivement dans l'unité le contenu d'un des registres, un registre de mémorisation et des moyens pour mettre séquentiellement dans ce registre des valeurs numériques correspondant à un procédé de traitement particulier, 1'U.A.L. exécutant des calculs à partir des contenus des registres et de ces valeurs numériques pour commander cycliquement l'incrémentation des registres associés aux détecteurs élémentaires.

Grâce à cette structure du dispositif suiyant l'invention il est possible d'assurer l'essentiel du traitement de l'image à l'endroit même de son acquisition, ce qui permet de ne faire appel qu'd un minimum de moyens extérieurs, tels que mémoire, unité de commande, etc..., en autorisant ainsi l'installation du dispositif dans des endroits où la place et la consommation électrique permises sont mesurées.

Au dessin annexé, donné seulement à titre d'exemple
- La figure 1 illustre schématiquement la disposition en deux couches spécialisées des détecteurs et processeurs élémentaires intégrés dans le dispositif suivant l'invention,
- la figure 2 est un diagramme fonctionnel de l'organisation générale d'un système d'acquisition et de traitement d'images construit autour du dispositif suivant l'invention,
- la figure 3 est un schéma de câblage d'un détecteur élémentaire formant partie du dispositif suivant 1 'invention,
- la figure 4 est un diagramme fonctionnel de l'architecture d'un processeur élémentaire formant partie du dispositif suivant l'invention,
- la figure 5 est un schéma des interconnexions des processeurs élémentaires du dispositif suivant l'invention et,
- la figure 6 illustre les formes d'onde de signaux délivrés par une horloge à deux phases utilisées dans les processeurs élémentaires du dispositif suivant l'invention, et
- la figure 7 est un schéma synoptique qui illustre un fonctionnement particulier d'unités arithmétiques et logiques formant partie du dispositif suivant l'invention.

D'une façon générale, comme schématisé à la figure 1 le dispositif suivant l'invention est réalisé sous la forme d'un circuit intégré à deux couches
- une couche supérieure 1 qui comprend un réseau de m x m détecteurs élémentaires 2 sensibles chacun å la luminance d'un élément (ou "pixel") d'une image formée par des moyens optiques classiques dans le plan de la couche 1,
- une couche inférieure 3 qui comprend autant de processeurs élémentaires 4 qu'il y a de colonnes de pixels dans le réseau 1, soit m processeurs élémentaires dans le mode de réalisation représenté. Bien entendu celui-ci n'est pas limitatif et, par exemple, le réseau 1 pourrait comprendre des lignes en nombre différent du nombre de colonnes et les rôles des lignes et des colonnes pourraient être intervertis.

Ainsi, chacun des processeurs élémentaires est organisé de manière à pouvoir traiter des informations en provenance de détecteurs attachés à une colonne entière de pixels. Cette disposition permet de limiter la surface de silicium occupée par l'ensemble des processeurs élémentaires.

Sur la figure 1 il apparaît encore que la couche 1 de détecteurs élémentaires 2 est alimentée par une source unique de tension de référence et par une commande d'échantillonnage unique de ces détecteurs, dispositions avantageuses qui seront décrites en plus de détail dans la suite.

De même la couche 3 des processeurs élémentaires 4 est connectée à une source de signaux de commande, à une horloge et à un bus d'entrée/sortie (E/S).de communication avec une mémoire externe conçue pour conserver des états intermédiaires, ou finaux, des traitements appliqués à l'image par le dispositif suivant l'invention, comme on le verra en plus de détail dans la suite.

Chaque processeur élémentaire 4 étant associé à une colonne entière de détecteurs élémentaires 2, un tel processeur comprend m registres si la colonne contient m détecteurs assurant la saisie de m pixels alignés d'une image à traiter, pour conserver chacun une valeur numérique représentative de la luminance d'un pixel de cette image ou, suivant une caractéristique de la présente invention, représentative d'une valeur intermédiaire ou finale d'un pixel d'une image tirée de l'image détectée par un traitement spécifique, comme on le verra plus loin.

On décrira plus complètement l'architecture d'un processeur élémentaire en liaison avec la figure 4, où il apparaitra que les processeurs élémentaires peuvent communiquer entre eux et avec des moyens de commande et/ou de mémoire extérieurs au dispositif.

On se réfère maintenant à la figure 2 qui est un diagramme fonctionnel d'un système d'acquisition et de traitement d'images dont le coeur est constitué par le dispositif suivant l'invention. Celui-ci, référencé 5, est connecté à une unité de commande 6 qui lui délivre des signaux de commande sous la forme de microcodes. Une horloge 7 alimente à la fois l'unité de commande 6 et le dispositif 5. Comme on le verra plus loin, une mémoire externe 8 est connectée par un bus d'entrée/sortie B4 au dispositif 5, cette mémoire étant adressée et commandée par l'unité 6. Cette dernière contrôle aussi un convertisseur numérique-analogique 9 qui alimente le dispositif 5 pour un but que l'on examinera en plus de détail en liaison avec la figure 3, qui représente la constitution d'un des détecteurs élémentaires 2 de la couche 1 du dispositif.

A cette figure il apparaît que chaque détecteur de la couche 2 comprend un composant photosensible tel qu'un phototransistor 10 polarisé entre une ligne connectée à une source de tension Vcc et une ligne à la masse, à travers une résistance 10', la tension sur l'émetteur du phototransistor, fonction de l'éclairement de la surface sensible par un pixel de l'image formée sur la couche 1, étant prélevée par un échantillonneur-bloqueur constitué d'un transistor à effet de champ 11 ou un transistor MOS, par exemple, et d'une capacité 12 dont l'alimentation est commandée par le transistor 11. La conduction de celui-ci est commandée par une tension d'échantillonnage qui alimente sa grille.

La charge de la capacité 12 alimente une entrée (+) d'un comparateur 14 dont l'autre entrée (-) est connectée t une ligne 15 alimentée par une source de tension de référence constituée par le convertisseur analogiquenumérique 9 du système de la figure 2.

Suivant une caractéristique de la présente invention, l'unité 6 commande le convertisseur 9 de manière que celui-ci délivre sur la ligne 15 une tension de référence en forme de rampe en marches d'escalier, la durée de chaque palier de la rampe étant égale au temps nécessaire à l'échantillonnage des m détecteurs élémentaires associés à un processeur élémentaire 4 et à l'incrémentation de tous les registres associés dans ce processeur à ces détecteurs, comme on le verra plus loin en détail.

Suivant une autre caractéristique de la présente invention les lignes 13 et 15 sont communes à tous les détecteurs élémentaires 2 de la couche 1 du dispositif.

Ainsi, tous les détecteurs 2 associés à un même processeur élémentaire 4 sont échantillonnés au même instant et les échantillons sont comparés à une même tension de référence dans les comparateurs 14 associés t chaque détecteur. Les sorties 16 de ces comparateurs 14 (symbolisés par des flèches verticales à la figure 1) commandent l'arrêt de l'incrémentation de registres associés chacun à un des détecteurs élémentaires d'une colonne traitée par un processeur élémentaire, comme on va l'expliquer maintenant en liaison avec l'examen de la figure 4 qui représente l'architecture d'un tel processeur élémentaire.

Sur cette figure il apparaît que le processeur comprend m registres R1 connectés chacun à une sortie 16 d'un comparateur 14 d'un détecteur élémentaire de la colonne traitée par le processeur. Tous les registres R1 sont identiques et sont commandés par des entrées de verrouillage parallèles à celles représentées pour le registre R1 de droite (du point de vue de la figure).

Ainsi, un tel registre est constitué par une bascule transparente à trois commandes de verrouillage a, b, c connectées respectivement à la sortie 16 du comparateur 14 associé, à une phase 1 ou 2 d'une horloge à deux phases entrelacées (voir formes d'onde de la figure 6) et à une sortie d'un décodeur 17 d'adresse de registre R1. La bascule comprend encore une entrée d de donnée et une sortie e pour cette donnée, connectée à l'entrée d'un multiplexeur M1.

Lorsque les trois commandes a, b, c sont à l'état "1", la bascule laisse passer la donnée (codée sur huit bits dans le mode de réalisation représenté) de d vers e.

Si une des commandes de verrouillage passe à l'état n o n, la bascule retient la donnée.

Dans le mode de réalisation représenté, on a supposé que le dispositif suivant l'invention comprend un réseau de 32 x 32 détecteurs élémentaires associés donc à trente deux processeurs élémentaires. Pour décoder les adresses des trente deux registres R1 contenus dans chaque processeur élémentaire le décodeur 16 doit alors recevoir une commande C1 à cinq bits. Cette commande agit aussi sur le multiplexeur Ml qui fait passer sucessivement les données contenues dans les 32 registres R1 dans un multiplexeur M3 qui alimente lui-même une unité arithmétique et logique (U.A.L) 18. Celle-ci est destinée à l'exécution d'opérations sur ces données.

Pour l'exécution de ces opérations, l'unité 18 reçoit d'un registre R3 de mémorisation des données spécifiques à l'exécution d'opérations de numérisation, de corrélation, convolution, etc... propres au traitement d'image recherché, visant à produire une image numérisée ou bien à extraire des caractéristiques particulières de cette image, contours, motifs, fréquences spatiales, etc... Le registre R3 peut prendre la forme d'une bascule transparente à commandes de verrouillage 2, C2.

On sélectionne par la commande C3 l'opération à réaliser sur la donnée délivrée par le multiplexeur M3, opération fixée par le contenu du registre R3 qui joue le rôle d'accumulateur pour sauvegarder des données lors d'un calcul. Ce contenu peut, par exemple, être une constante de valeur numérique déterminée, destinée t être additionnée s la donnée venue de M3, addition choisie et exécutée par la commande C3. Le résultat de l'opération est alors mis en registre R2 commandé par une des phases de l'horloge 7 (voir figure 6).

il est a noter à cet égard que, dans le mode de réalisation représenté du processeur élémentaire suivant l'invention, les phases fl et 02 entrelacées de cette horloge commandent respectivement les registres R2 et R3.

Comme on l'expliquera plus loin, l'utilisation de ces deux phases évite l'emploi de registres maitre-esclave plus complexes et constitue une caractéristique avantageuse de la présente invention. Ainsi le registre R2 activé par 1, interdit le recyclage des données délivrées par l'U.A.L 18 quand la phase 2 rend un registre R1 transparent. En outre on verra que, dans deux processeurs élémentaires adjacents, les commandes cbl et 92 sont interverties pour isoler les traitements opérés sur deux colonnes adjacentes de pixels.

On remarquera encore sur la figure 4 que, suivant une autre caractéristique de la présente invention, le contenu du registre R2, issu du traitement opéré dans 1'U.A.L est transféré sous la commande de fl dans un des registres R1, ceux-ci étant alors actualisés successivement par ces transferts en vue d'un recyclage de leur contenu dans 1'U.A.L, par l'intermédiaire des multiplexeurs M1 et M3, jusqu'à l'exécution complète du traitement d'image choisi.

La même donnée issue du registre R2 peut etre mise en mémoire externe, par exemple, par l'intermédiaire du bus B3, d'une mémoire-tampon BF1 et du bus externe bidirectionnel 84.

Les multiplexeurs M3 et M4 sélectionnent une donnée parmi deux présentes à leur entrée, suivant des commandes propres C5 et C6. Ils sont reliés par une de leurs entrées aux bus B4 et B3, respectivement pour des opérations d'initialisation des registres R1 ( travers l'U.A.L et
R2) et du registre R3, respectivement, comme on le verra plus loin, chaque initialisation étant particulière au type de traitement d'image choisi.

L'autre entrée du multiplexeur M4 est connectée à la sortie d'un multiplexeur M5 qui sélectionne, par une commande C4, une donnée présente sur un des bus de sorties B1 et B2 des processeurs élémentaires associés aux colonnes de pixels adjacentes, t droite et à gauche du processeur représenté de bus de sortie B3, le bus B4 étant commun à tous les processeurs élémentaires. Comme on le verra plus loin, ces données sont combinées dans l'U.A.L à celles associées au processeur élémentaire de bus de sortie B3 pour l'exécution d'opérations linéaires sur plusieurs pixels voisins appartenant à des colonnes adjacentes, opérations nécessaires lorsque le traitement demandé exige la réalisation de produits matriciels comme c'est le cas par exemple lors de l'exécution d'opérations de convolution.Par contre les données présentes sur les bus de sortie B1 et B2 ne seront pas utilisées lorsque le traitement à exécuter consiste en une simple numérisation d'image.

Les diverses commandes C1, C2, C3, C4, C5 et C6 délivrées au décodeur 16, au registre R3, à l'U.A.L 18 et aux multiplexeurs M5, M4 et M3, respectivement, sont élaborées par un décodeur général (non représenté) à partir d'un microcode fourni à ce décodeur par l'unité de commande 6 qui exécute un microprogramme de gestion du dispositif d'acquisition et de traitement d'images suivant l'invention. Ce microprogramme peut être contenu, par exemple, dans une mémoire morte rebouclée sur elle-même pour assurer une exécution cyclique du même microprogramme.La commande Cl décodée par le décodeur général est elle-meme reprise par le décodeur 16 qui en tire l'adresse du registre R1 activé, t tout instant, alors que les autres commandes C2 a C6 produites par le décodeur général sont utilisées directement.

On se réfère maintenant à la figure 5 du dessin annexé, où l'on a schématisé les diverses interconnexions des m processeurs élémentaires P.E qui font partie du dispositif suivant l'invention. Comme on l'a indiqué plus haut, les entrées fl et 2 de deux processeurs élémentaires adjacents sont interverties. Cette interversion sert t empêcher le rebouclage d'une donnée dans un processeur élémentaire P.E au moment de la propagation d'une donnée d'un processeur élémentaire vers un processeur élémentaire voisin.

Sur cette figure on voit aussi que la sortie B3 de chaque processeur élémentaire alimente les entrées B1 et
B2 des processeurs adjacents, de droite et de gauche du point de vue de la figure, respectivement, pour l'exécution de traitements faisant intervenir des fonctions de corrélation ou de convolution, par exemple, comme on 1'a vu plus haut. Le bus bidirectionnel B4 est commun * tous les processeurs et assure la liaison avec la mémoire externe 8 (voir aussi figure 2). Cette mémoire externe comprend une partie organisée en mémoire morte contenant les données d'initialisation des divers registres, qui sont propres à chaque type de traitement, et une partie organisée en mémoire vive pour la conservation temporaire de résultats partiels obtenus au cours du traitement.

On va maintenant décrire le fonctionnement du dispositif intégré d'acquisition et de traitement d'images suivant l'invention, dans diverses applications, d'ailleurs non limitatives, en commençant par la plus simple, à savoir l'acquisition et la numérisation d'une image optique.

Pour une numérisation simple on procède tout d'abord à l'initialisation de tous les registres R1 de chaque processeur élémentaire. On introduit ainsi une valeur initiale zéro dans ces registres, t partir d'une commande issue de la partie "mémoire morte" de la mémoire externe 8, transmise par la ligne de bus qui relie le bus B4 au registre M3 convenablement commandé par l'unité de commande 6, l'U.A.L 18 et le registre R2 transmettant enfin ces valeurs initiales aux registres Rl.

La valeur 1 est ensuite introduite dans tous les registres R3, toujours à partir d'une commande enregistrée en mémoire morte et transmise aux registres R3 par les multiplexeurs M4 convenablement commandés en C5 par l'unité de commande 6.

Un signal en forme de rampe en marches d'escalier est alors appliqué sur les lignes 15 communes à tous les détecteurs, simultanément dans tous les processeurs élémentaires qui fonctionnent alors en parallèle. Si, par exemple, le dispositif compte trente deux processeurs élémentaires associés chacun à trente deux colonnes de détecteurs élémentaires, chaque palier de la rampe dure trente deux cycles d'horloge.

A chaque cycle d'horloge, la constante chargée dans
R3 (de valeur 1) est ajoutée à un des registres R1 si bien qu'au bout de trente deux cycles d'horloge, les registres R1 non bloqués de tous les processeurs élémentaires sont tous incrémentés.

Pour chaque registre R1 cette incrémentation se poursuit cycliquement aussi longtemps qu'elle est autorisée par la sortie 16 du comparateur 14 formant partie du détecteur élémentaire associé à ce registre. Dès que la tension de référence délivrée par le convertisseur numérique-analogique 9, qui évolue progressivement par paliers de niveaux croissants tous les trente deux cycles d'horloge, atteint la tension échantillonnée dans la capacité 12, la sortie 16 du comparateur bascule et bloque le contenu du registre Rl associé à la valeur alors atteinte, qui constitue une expression numérique de la mesure d'une grandeur photométrique représentative du pixel de l'image formée sur le réseau de photodiodes, détectée par la photodiode particulière qui fait partie du détecteur élémentaire associé au registre R1 considéré.

Quand la tension de référence atteint sa valeur maximale, tous les registres RI de tous les processeurs élémentaires contiennent une valeur numérique, ces valeurs numériques constituant chacune une expression numérisée de la luminance d'un pixel associé de l'image optique analysée par le dispositif suivant l'invention. La numérisation n'introduit pas de distorsion si la dynamique du dispositif est adaptée au contraste de l'image à numériser. On peut alors reconstruire l'image analysée à partir du contenu des registres R1 mis en mémoire externe, d'une électronique de reconstruction et d'un appareil d'affichage commandé par cette électronique. Ces moyens sont bien connus et ne seront donc pas décrits plus avant.

On peut également reporter les informations numériques représentatives de l'image numérisée sur un support d'enregistrement permanent, tel qu'un disque optique, ou effaçable (disque magnéto-optique, bande magnétique, etc...).

Les performances du dispositif suivant l'invention, utilisé pour la numérisation d'images sont illustrées, d'une manière non limitative, par l'exemple suivant chaque pixel de l'image étant codé sur seize niveaux de luminance, le nombre N de cycles d'horloge nécessaire à la numérisation d'une image de 32 x 32 pixels est
N - 32 x 16 + 32 cycles d'initialisation ^ 544 cycles
Avec un cycle d'horloge de 100 ns, la fréquence d'acquisition d'image est de l'ordre de 180.000 images/seconde. Pour une image de 1000 x 1000 pixels, cette fréquence d'acquisition est encore de (180.000 x 32)/1000 = 5760 images/ seconde, si on utilise encore autant de processeurs élémentaires qu'il y a de colonnes de pixels dans l'image à analyser.

Il apparaît donc que le dispositif suivant l'invention présente une très grande rapidité d'acquisition. Cette caractéristique remarquable trouve application dans l'analyse de phénomènes très rapides, qui exige l'emploi d'appareil de prises de vues å haute fréquence, de l'ordre de quelques centaines t quelques milliers d'images par seconde.

Comme on l'a vu plus haut en préambule de la présente description, un capteur d'image du type C.C.D, de par son principe de fonctionnement, ne peut qu'accorder la même durée d'intégration de charges à tous les capteurs élémentaires qui le constituent. Pour certains pixels de forte luminance cette durée peut être trop longue et entraîne un "éblouissement" du capteur élémentaire associé et donc une saturation du signal délivré.

Le dispositif suivant l'invention peut être réalisé de manière à assurer un traitement de saisie particulier à chaque pixel, pour éviter cet inconvénient.

On procède pour cela à une numérisation de l'image en plusieurs étapes en partant d'un temps d'échantillonnage réduit par -rapport à celui utilisé dans la numérisation simple décrite ci-dessus. Le taux de réduction est fonction du nombre d'étapes.

L'initialisation et chaque étape de la numérisation s'exécutent comme décrit ci-dessus, à la durée du temps d'échantillonnage près. Entre deux étapes de numérisation, les valeurs des pixels numérisés sont sauvegardées en mémoire externe. Après la dernière étape de numérisation, les valeurs partielles associées à chaque pixel sont additionnées pour constituer la valeur finale dudit pixel.

On obtient ainsi une numérisation de plus grande dynamique. En effet si on dispose de valeurs partielles à quatre bits, par exemple, l'addition de ces deux valeurs partielles peut conduire à un total à cinq bits, et ainsi de suite, au fur et à mesure des additions des valeurs partielles. On s'est limité, dans le dispositif de la figure 1, à des valeurs finales à huit bits pour les pixels numérisés, bien que cela ne soit pas limitatif.

Les étapes d'échantillonnage et de numérisation peuvent se succéder suivant- une loi systématique ou conditionnelle.

Comme on l'a vu plus haut, un enchaînement systématique des étapes conduit à une plus grande dynamique, qui diminue par conséquent le risque d'éblouissement.

Avec une loi conditionnelle, c'est-t-dire une loi permettant de décider de la suppression de l'échantillonnage suivant si on approche de la saturation, on supprime tout simplement le risque d'éblouissement.

Le dispositif suivant l'invention ne permet pas seulement d'exécuter des traitements d'images d'un premier niveau de complexité, tels que les numérisations décrites ci-dessus. Il permet d'aller plus loin et d'exécuter des traitements d'un deuxième niveau, plus complexes, au moyen d'opérations linéaires faisant intervenir tout ou partie des pixels d'une image, par des opérations de convolution des pixels par lignes et par colonnes.

Ces opérations ont pour applications, à titre d'exemple
- la reconnaissance d'un motif dans une image,
- l'extraction de contours, le filtrage de fréquences spatiales, les transformations géométriques telles que rotation, translation, effet de zoom, etc..., relevant de techniques d'interpolation.

On peut inclure encore, dans ces traitements de deuxième niveau, la saisie d'histogrammes, qui releve d'un traitement mathématique autre que la convolution.

On va maintenant décrire le fonctionnement du dispositif suivant l'invention, quand on l'utilise à la mise en oeuvre de ces techniques de traitement de deuxième niveau par corrélation (reconnaissance de motifs) ou convolution (extraction de contours, filtrage de fréquences spatiales, transformations géométriques, par exemple). Dans les deux cas il s'agit de filtrer l'image par un médaillon de n x n coefficients.

Dans le cas d'une reconnaissance de motif par corrélation, ce médaillon prend la forme d'une matrice de n x n coefficients a > dont les poids sont représentatifs du motif t reconnaître, divisé en pixels.

Bien entendu la matrice doit être plus grande que le motif. Le nombre n x n des coefficients de la matrice peut aussi être égal au nombre m x m de pixels saisis par le dispositif suivant l'invention.

Dans le cas des applications faisant appel à une convolution, la matrice associée au médaillon ne correspond plus à un motif, mais à une fonction mathématique propre à extraire telle ou telle autre caractéristique de l'image numérisée à traiter, contour, fréquence spatiale, etc...

Dans tous les cas il s'agit de réaliser des produits matriciels de cette matrice et de valeurs numériques associées aux pixels saisis par le dispositif suivant l'invention, par des convolutions successives par ligne et par colonne.

Les registres R1 de tous les processeurs élémentaires sont initialisés à zéro et un coefficient de la matrice, chaque fois différent, est introduit dans chacun des registres R3 de tous les processeurs élémentaires.

Pour réaliser une convolution par ligne on multiplie le contenu de n registres R1 par n coefficients de la matrice, les n registres Rl appartenant chacun à un processeur élémentaire différent. Si on numérote parallèlement, par exemple de p = 1 à p = 32, les trente deux registres d'un même processeur élémentaire (cas ou m = 32), une "ligne" de n pixels est constituée par les contenus de n registres appartenant à n processeurs élémentaires différents, et portant le même numéro g.

Une tension de rampe en marches d'escalier est alors appliquée sur la ligne 15 (figure 3) qui est connectée à tous les détecteurs de la couche 1 (figure 1) du dispositif suivant l'invention, pour qu'à chaque palier de la rampe se produise l'addition du contenu de R3 dans le registre R1 associé. Chaque palier doit durer alors trente registre R1 associé. Chaque palier doit durer alors trente deux cycles d'horloge et la durée totale de la rampe est de 16 x 32 w 512 cycles si les pixels sont codés sur seize niveaux.

Ce processus d'addition se répète à chaque palier pour chaque registre R1 puisque celui-ci reste "transparent", en l'absence d'un signal de verrouillage sur la ligne 16 associée, et recycle son contenu dans l'U.A.L, à travers les multiplexeurs M1 et M3. L'addition se répète autant de fois qu'il y a de paliers dans la rampe jusqu'au palier qui correspond en niveau t celui du pixel associé à un registre R1 particulier.

En effet, à chaque palier de la rampe, dès que la tension de référence correspondant t ce palier dépasse la valeur d'un pixel échantillonné, le comparateur 14 associé à ce pixel verrouille le registre R1 correspondant, alors que d'autres registres R1, associés à d'autres pixels, peuvent continuer à etre incrémentés lors des paliers suivants de la rampe jusqu'à leur verrouillage individuel opéré comme décrit ci-dessus.

A la fin de la rampe, chacun des registres R1 de tous les processeurs élémentaires est chargé avec une valeur numérique qui correspond à la valeur du pixel associé multiplié par le coefficient chargé dans le processeur élémentaire auquel il appartient.

On remarque qu'ainsi, suivant l'invention, les registres RI de chaque processeur élémentaire sont utilisés pour conserver des valeurs intermédiaires dans les calculs nécessaires à l'exécution de la convolution.

Il y a la une utilisation inattendue des registres pixels R1 en mémoire temporaire et intermédiaire, dans des opérations de traitement de deuxième niveau, qui évite de recourir à des mémoires externes et qui permettent un traitement au moins partiel d'image, localisé et intégré au dispositif. On tire de cette disposition un avantage important dans des applications ou la place et la consommation électrique possibles sont mesurées.

A la fin de la rampe, les résultats partiels de traitement contenus dans les registres R1 sont additionnés ligne par ligne par les U.A.L 18 travaillant suivant le schéma synoptique de la figure 7. Les registres R1 représentés sont ceux qui correspondent, dans des processeurs élémentaires adjacents, à une même ligne de pixels. Dans chaque U.A.L 18 s'opère une addition entre le contenu du registre R1 associé et la sortie de l'U.A.L 18 du processeur élémentaire adJacent de rang immédiatement inférieur, sortie qui résulte elle-même d'une opération d'addition similaire. Du processeur élémentaire PEn sort alors, par l'intermédiaire de son registre R2, la somme des contenus de n registre R1 d'une même ligne.Si la matrice de coefficients utilisée dans la convolution est de même "dimension" que le réseau de pixels saisis par le dispositif suivant l'invention (m = n) et que cette dimension soit 32 x 32 pour fixer les idées, à la fin de chaque rampe on dispose de trente deux sommes de trente deux pixels qui sont les résultats partiels d'un produit matriciel. Ces trente deux sommes sont mémorisées en mémoire externe 8 (figure 2).

On recommence trente deux fois l'application de la tension de référence en forme de rampe en marches d'escalier, ceci chaque fois avec un chargement différent des registres R3 des processeurs élémentaires, de manière que chaque processeur élémentaire ait "vu" trente deux coefficients différents.

A la fin de l'application de ces trente deux rampes on dispose en mémoire externe de 32 x 32 valeurs numériques (sommes), cet ensemble de valeurs constituant le résultat de la convolution par lignes.

On peut ensuite exécuter un traitement d'effet analogue à une convolution par colonnes par des additions sélectives des 32 x 32 sommes obtenues comme décrit cidessus.

Les trente deux lignes de pixels et les trente deux rampes successivement appliquées dans la convolution par ligne étant numérotées p, p étant un nombre modulo 32, ce traitement consiste à ajouter la somme de la ligne p obtenue lors de la rampe p, t la somme de la ligne p + 1 obtenue lors de la rampe p + 1. On cumule ces additions jusqu'à p + 32. Trente deux cycles d'horloge sont donc nécessaires t chacun de ces cumuls. Les résultats sont mis en mémoire externe.

La convolution par lignes permet d'obtenir trente deux lignes de trente deux pixels (quand n = 32) convolués partiellement, par des applications répétées d'une rampe de tension de référence en escalier dont la durée est de (16 x 32) cycles d'horloge comme on l'a vu plus haut, si les pixels sont codés sur seize niveaux.

Compte tenu de trente deux cycles nécessaires à l'initialisation des registres R3 au début de chaque rampe et de trente deux cycles nécessaires à l'addition des résultats par ligne, à la fin de chaque rampe, la durée totale d'une rampe s'établit à
32 + 512 + 32 t 576 cycles d'horloge
Comme n (n = 32) convolutions par ligne sont nécessaires, leur durée totale est de
(576 x 32) cycles d'horloge
Le traitement par addition de résultats obtenus par la convolution par lignes, décrit ci-dessus, exige trente deux cycles d'horloge avant de produire trente deux résultats représentatifs d'une colonne d'image traitée, le temps d'obtention de cette colonne s'établissant alors a ::
576 x 32 + 32 w 18.464 cycles d'horloge
Le temps nécessaire à l'obtention des trente deux colonnes d'image traitée est donc égal à
18.464 x 32 = 590.848 cycles d'horloge
Avec un cycle d'horloge de 100 ns par exemple, la fréquence N d'obtention des images traitées et de l'ordre de
N = 17 images/seconde
Si, dans les traitements de deuxième niveau mentionnés cidessus, on peut se satisfaire d'un filtrage de l'image par un médaillon de coefficients de plus petit format que le format 32 x 32 adopté ci-dessus, soit un format 3 x 3 par exemple, on peut réduire alors le temps de filtrage d'un facteur 10 environ ce qui donne alors une fréquence
N - 170 images/seconde beaucoup plus élevée qui peut être mieux adaptée à certaines applications.

De tout ce qui précède il résulte que le dispositif d'acquisition et de traitement d'images suivant l'invention peut exécuter des opérations de convolution sur des pixels d'image, sans faire appel à un processeur de signal extérieur. Le dispositif comprend tous les organes, décodeurs, registres, multiplexeurs, unités arithmétiques et logiques, nécessaires à l'exécution de ces traitements.

On remarquera en particulier la souplesse du dispositif qui peut être adapté à l'exécution de telle ou telle opération (reconnaissance de motifs, extraction de contours, etc...) à l'aide d'un chargement des registres
R3 avec des valeurs numériques adéquates, les U.A.L, multiplexeurs, registres et décodeurs étant commandés par des microcodes contenus dans un programme. en mémoire externe, rebouclé sur lui-même.

On remarquera aussi l'utilisation particulièrement rationnelle qui est faite des registres R1, pour conserver temporairement des résultats intermédiaires de traitement, exploités par les U.A.L, alors que de tels registres sont ordinairement réservés à la conservation d'une image simplement numérisée.

On remarquera encore l'utilisation qui est faite d'une horloge à deux phases 01 et 2 interverties dans deux processeurs élémentaires adjacents pour rythmer leur fonctionnement en complète indépendance, utilisation qui permet de se passer de registres maitre-esclave plus complexes.

Le dispositif suivant l'invention se prête aussi à l'exécution d'une opération d'-un type différent de celles décrites ci-dessus, t savoir la saisie d'histogrammes d'images.

Pour ce faire, on procède d'abord à une initialisation t zéro de tous les registres R1. On applique la rampe de tension et, au début de chaque palier on tente de charger une valeur "1" dans chaque registre.

Certains restent t zéro sous la commande du comparateur du détecteur élémentaire associé. On compte par colonne, dans chaque processeur élémentaire, le nombre de registres passés t l. A la fin du palier on connaît alors le nombre de pixels qui sont au moins du niveau du palier. Le registre R3 est utilisé pour conserver temporairement ce nombre. Les contenus de tous les registres R3 de tous les processeurs élémentaires sont ensuite additionnés par les
U.A.L 18, fonctionnant alors d'une manière similaire à celle décrite en liaison avec la figure 7. La somme ainsi obtenue donne le nombre de pixels de l'ensemble de l'image qui sont au moins au niveau du palier de la rampe.En répétant ces opérations pour chaque palier de la rampe, on construit progressivement l'histogramme de l'image, obtenu par des soustractions appropriées des sommes partielles pour déterminer le nombre de pixels par niveau de la rampe.

Le traitement de chaque palier de la rampe exige alors 32 cycles d'initialisation, 32 cycles de chargement, 32 cycles de sommation "ligne" et 32 cycles de sommation "colonne" soit 128 cycles d'horloge. Le calcul de l'histogramme entier exige alors seize fois ce temps et seize cycles de sommation supplémentaires soit environ 206,4 ps, avec un cycle d'horloge de 100 ns.

L'histogramme une fois calculé peut être utilisé pour une opération ultérieure de transformation d'image, telle qu'une égalisation d'histogramme par exemple. Celleci peut être obtenue en multipliant les pixels d'une image suivante saisie par le dispositif selon l'invention, par des coefficients calculés t partir de cet histogramme, toutes ces opérations s'effectuant en temps réel.

Ainsi le dispositif d'acquisition et de traitement d'images suivant l'invention, qui est conçu pour fonctionner t la fois en capteur d'image, en mémoire d'image et en processeur de signaux, permet-il de capter et traiter une image avec un minimum de moyens externes, ce qui permet de l'installer dans des appareils où la place et la consommation d'énergie électrique sont mesurées. Il ne fait pas usage des convertisseurs analogique-numérique et/ou de multiplieurs câblés complexes, coûteux et encombrants que l'on trouve habituellement dans les dispositifs numériques d'acquisition et de traitement d'images de la technique antérieure. il prend la forme d'un circuit intégré en deux couches sur substrat de silicium alors qu'une réalisation par les moyens de la technique antérieure exigerait au moins trois couches.

Comme on l'a vu plus haut, par rapport t un tel dispositif à capteur CCD et chaîne de traitement d'image, le dispositif suivant l'invention présente l'avantage
d'offrir un temps d'intégration supérieur pour une vitesse d'acquisition équivalente ou une plus grande vitesse d'acquisition t temps d'intégration comparable. I1 permet aussi d'appliquer, dans certaines conditions, un traitement particulier à chaque pixel. Il offre de vastes possibilités de traitement, de premier et de deuxième niveau . Utilisé pour numériser une image il offre une fréquence de numérisation très supérieure à celle qui est possible avec un dispositif à capteur CCD.

Le dispositif suivant l'invention s'avère particulièrement bien adapté à la saisie d'images de taille réduite, jusqu'au format de 64 pixels x 64 pixels par exemple, à nombre de niveaux de numérisation limité (inférieures à soixante quatre niveaux par exemple).

Le dispositif suivant l'invention peut recevoir de nombreuses applications, en particulier dans les systèmes autodirecteurs de missiles, dans les caméras de surveillance "intelligentes", dans les détecteurs de mise au point d'images optiques, dans les appareils pour la détection de motifs ou la reconnaissance de forme, dans les numériseurs de documents à balayage, etc...

Claims (18)

REVENDICATIONS

1. Dispositif intégré d'acquisition et de traitement d'images, comprenant un réseau bidimensionnel de détecteurs élémentaires munis chacun d'un composant électronique photosensible (10) pour capter une image optique formée sur ce réseau, des moyens de traitement des signaux délivrés par les détecteurs élémentaires pour former des signaux numériques représentatifs d'une image traitée suivant un procédé prédéterminé, caractérisé en ce qu'il comprend des moyens (11, 12, 13) pour échantillonner les signaux de sortie des composants photosensibles et des moyens (14) pour comparer les échantillons à une tension de référence en forme de rampe en marches d'escalier, les moyens de traitement étant constitués d'une pluralité de processeurs élémentaires (4) commandant l'incrémentation de registres (R1) associés chacun à un détecteur élémentaire en fonction du procédé de traitement prédéterminé, l'incrémentation des registres (R1) étant bloquée, registre par registre, par les moyens de comparaison (14) de manière que reste en registre (R1) une valeur numérique représentative d'un pixel d'une image au moins partiellement traitée.

2. Dispositif conforme à la revendication 1, caractérisé en ce que chaque détecteur élémentaire comprend un échantillonneur-bloqueur (11, 12) alimenté par le signal de sortie du composant photosensible (10) associé, un comparateur (14) pour comparer l'échantillon du signal de sortie prélevé par l'échantillonneur-bloqueur (11, 12) au niveau instantané de la rampe de tension de référence en marches d'escalier, le signal de sortie du comparateur (14) commandant le blocage du registre (R1) associé, par ailleurs incrémenté par les moyens de traitement.

3. Dispositif conforme à l'une quelconque des revendications 1 et 2, caractérisé en ce que chacun des processeurs élémentaires (4) comprend plusieurs registres (R1) associés chacun à un détecteur élémentaire d'une même colonne du réseau bidimensionnel, les moyens de traitement comptant autant de processeurs élémentaires (4) qu'il y a de colonnes de détecteurs dans le réseau, ces processeurs fonctionnant en parallèle pendant la saisie et le traitement d'une image.

4. Dispositif conforme b la revendication 3, caractérisé en ce que la rampe de tension de référence présente autant de paliers qu'il est prévu de valeurs de numérisation pour les pixels de l'image traitée.

5. Dispositif conforme à la revendication 4, caractérisé en ce qu'une horloge (7) rythme le fonctionnement du dispositif, chaque palier de la rampe présentant une durée correspondant à un nombre de cycles d'horloge au moins égal au nombre de registres (R1) associé à un même processeur élémentaire.

6. Dispositif conforme à la revendication 5, caractérisé en ce que l'horloge délivre deux phases (dol, 2) entrelacées, les entrées de ces deux phases dans deux processeurs élémentaires (4) adjacents étant interverties.

7. Dispositif conforme à la revendication 3, caractérisé en ce que la tension de référence alimente simultanément tous les comparateurs (14) alors que tous les registres (R1) associés t un même processeur élémentaire sont échantillonnés simultanément.

8. Dispositif conforme à l'une quelconque des revendications précédentes, caractérisé en ce que la tension de référence en marches d'escalier est délivrée par un convertisseur numérique-analogique (9).

9. Dispositif conforme à l'une quelconque des revendications 3 à 8, caractérisé en ce qu'un processeur élémentaire (4) comprend, outre une pluralité de registres (R1), une unité arithmétique et logique U.A.L (18), un multiplexeur (Ml) pour faire entrer sélectivement dans l'unité (18) le contenu d'un des registres (R1), un registre (R3) de mémorisation et des moyens pour mettre séquentiellement dans ce registre des valeurs numériques correspondant å un procédé de traitement particulier, l'U.A.L exécutant des calculs à partir des contenus des registres et de ces valeurs numériques pour commander cycliquement l'incrémentation des registres (R1) associés aux détecteurs élémentaires.

10. Dispositif conforme à la revendication 9, caractérisé en ce que chaque processeur élémentaire comprend des moyens (M5, M4, R3) pour alimenter l'unité arithmétique et logique avec les informations présentes sur le bus de sortie (B1, B2) des processeurs élémentaires adjacents, pour ltexécution de traitement faisant appel à des convolutions.

11. Dispositif conforme t la revendication 9 ou 10, caractérisé en ce qu f une unité de commande (6) externe fournit au dispositif des codes contenant des informations de commande (C1, C2, C3, C4, C5, C6) propres a assurer le fonctionnement de chaque processeur élémentaire suivant un programme déterminé, fonction du traitement appliqué.

12. Dispositif conforme à l'une quelconque des revendications 9 à 11, caractérisé en ce qu'une mémoire externe (8) est associée au dispositif et présente une partie organisée en mémoire vive pour la conservation temporaire de résultats partiels du traitement réalisé par les processeurs élémentaires (4) et une partie organisée en mémoire morte contenant les données d'initialisation des registres (Rl, R3), propres à chaque type de traitement.

13. Dispositif conforme à l'une quelconque des revendications 11 et 12, caractérisé en ce que le programme délivré par 1 'unité de commande (6) et exécuté par les processeurs élémentaires organise la numérisation de l'image saisie, de manière à mettre dans les registres (Rl) des valeurs numériques représentatives des pixels de l'image.

14. Dispositif conforme à la revendication 13, caractérisé en ce qu'il comprend des moyens pour opérer la mémorisation de l'image en plusieurs étapes successives.

15. Dispositif conforme à la revendication 14, caractérisé en ce que lesdits moyens organisent une succession conditionnelle desdites étapes.

16. Dispositif conforme t l'une quelconque des revendications 11 et 12, caractérisé en ce que le programme délivré par l'unité de commande (6) et exécuté par les processeurs élémentaires (4) organise une convolution de l'image correspondant t une application du groupe constitué par : reconnaissance d'un motif, extraction d'un contour, transformation géométrique de

I'iaage, extraction de fréquences spatiales, avec mise en registres (R1) d'au moins une étape intermédiaire du traitement.

17. Dispositif conforme à l'une quelconque des revendications 11 et 12, caractérisé en ce que le programme délivré par l'unité de commande (6) et exécuté par les processeurs élémentaires (4) organise la saisie d'un histogramme de l'image.

18. Dispositif conforme à la revendication 17, caractérisé en ce qu'il comprend des moyens pour assurer l'égalisation de l'histogramme d'une image å partir des résultats tirés de l'histogramme d'une image précédente.