BE1023383A9 - Capteur d'image à grande gamme dynamique - Google Patents

Abstract

Un système de traitement d’image possède un réseau de capteurs avec une pluralité de pixels. Un circuit distinct est associé à chaque pixel dans le réseau de capteurs. Les circuits sont conçus de sorte que, sur la pluralité de circuits, il y ait une pluralité de sensibilités distinctes à un éclairement lumineux d’une scène destinée à être capturée, qui sont mises en ordre spatial pseudo-aléatoire les unes par rapport aux autres. Le système de traitement d’image comprend

également un algorithme de reconstruction d'image. Un procédé est également décrit.

Description

CAPTEUR D’IMAGE À GRANDE GAMME DYNAMIQUE

Contexte de l’invention

La présente invention concerne une technique d’acquisition et de traitement d’image où l’image est capturée en utilisant un capteur qui possède différents niveaux de sensibilité assignés à différents pixels.

La reconstruction d’image est inhérente dans un nombre quelconque de domaines techniques. A titre d’exemple, des aéronefs de surveillance capturent des images, à de multiples longueurs d’onde, qui doivent être reconstruites pour fournir des informations. Ces images doivent être capturées relativement rapidement, et la précision, la résolution spatiale, et la gamme dynamique doivent être aussi grandes que possibles.

Cependant, une scène naturelle possède habituellement une gamme dynamique très grande, à savoir, des zones très lumineuses et très sombres, nécessitant par exemple 20 bits, et les capteurs d’imagerie standard peuvent en acquérir moins, par exemple seulement 8 à 12 bits. Un capteur d’imagerie classique fait face au problème de manque de détails de scène ou flou ou de sérieuse distorsion, dû à une gamme dynamique limitée.

Les procédés d’art antérieur pour capturer des images à grande gamme dynamique (« High Dynamic Range » ou « HDR ») peuvent utiliser de multiples expositions séquentielles pour obtenir de multiples images à différentes expositions. Aussi, ils peuvent utiliser de multiples réseaux de capteurs distincts avec différentes sensibilités. En outre, ils peuvent fabriquer une seule puce avec de multiples pixels de tailles différentes pour capturer simultanément de multiples images avec différentes expositions. Dans encore une autre approche, ils ont tenté d’intégrer un flux lumineux jusqu’à ce qu’un pixel atteigne une saturation où le temps d’intégration représente l’éclairement lumineux réel. Une technique supplémentaire est d’utiliser des pixels ou des circuits à réponse logarithmique pour étendre de façon non linéaire la gamme dynamique d’une scène. Enfin, des masques ou des filtres physiques ont été utilisés, avec des niveaux d’atténuation des pixels, déployés en des diagrammes réguliers.

Avec ces techniques, l’image finale est obtenue pour l’affichage en compressant la grande gamme dynamique construite à partir des données d’échantillonnage.

Toutes les approches d’art antérieur présentent des désavantages. L’approche de la prise de multiples expositions séquentielles présente des artéfacts dus à un mouvement dans la scène, car chaque image est d’un temps légèrement différent ou d’une durée légèrement différente. En outre, une superposition d’images compliquées est nécessaire pour générer l’image finale. H y a également souvent des artéfacts dans des images reconstruites, dus à l’occlusion ou à la mauvaise superposition.

Les multiples réseaux de capteurs distincts présentent le problème que la lumière est divisée et réfléchie vers des réseaux de capteurs différents. La quantité de lumière atteignant un capteur est donc inférieure, et ceci n’est pas approprié pour l’imagerie à faible niveau de lumière. Le matériel supplémentaire entraîne également une augmentation du coût, de la taille, du poids et de l’énergie électrique nécessaires. L’utilisation de pixels de tailles multiples réduit la résolution par rapport à un pixel de taille unique et, ainsi, n’est également pas idéale.

Dans le système temporel d’intégration de pixels, un désavantage principal est qu’un transistor de transfert partiellement ouvert peut introduire une source supplémentaire de courant d’obscurité ayant pour résultat un plus grand bruit de grenaille de courant d’obscurité. Aussi, les circuits d’excitation sont plus complexes en raison de multiples lectures de signal. Des composants électroniques supplémentaires sont nécessaires à un coût proportionnellement plus important.

Le système de pixels ou de circuits à réponse logarithmique possède une réponse non linéaire qui n’est pas préférée dans la plupart des applications car elle rend difficile la correction exacte des couleurs sur la gamme complète du rendement de capteur.

Le système de masque a généralement été pourvu d’un masque à grille régulière, ce qui a pour résultat une faible résolution ou faible qualité en raison de l’interpolation d’imagerie.

Ainsi, un procédé amélioré d’imagerie à grande gamme dynamique est souhaitable. Résumé de l’invention

Un système de traitement d’image possède un réseau de capteurs avec une pluralité de pixels. Un circuit distinct est associé à chaque pixel dans le réseau de capteurs. La pluralité descircuits est conçue de sorte que, sur la pluralité de circuits, il y ait une pluralité de sensibilités distinctes à l’éclairement lumineux d’une scène destinée à être capturée, qui sont mises en ordre spatial pseudo-aléatoire les unes par rapport aux autres. Le système de traitement d’image comprend également un algorithme de reconstruction d’image. Un procédé est également décrit.

Pour comprendre au mieux ces caractéristiques, et d’autres, les dessins et le mémoire suivants sont fournis.

Brève description des dessins

La figure 1 représente un capteur pseudo-aléatoire.

La figure 2 est un schéma d’un système.

La figure 3A représente un premier mode de réalisation de circuit.

La figure 3B représente un second mode de réalisation de circuit.

La figure 3C représente une autre manière de fournir des niveaux de sensibilité distincts et des circuits.

La figure 4 représente graphiquement une étape dans un algorithme d’apprentissage de dictionnaire.

La figure 5 représente des images types.

Description détaillée

La présente invention concerne la capture d’une image de capteur pseudoaléatoire. La description suivante est de nature simplement illustrative et n’est aucunement prévue pour limiter l’invention, son application, ou ses utilisations.

Sur la figure 1, un capteur 40 est représenté schématiquement. Une pluralité de pixels dans un réseau de w-par-w pixels est prévue. Chaque pixel dans le capteur communique avec un circuit, et les circuits possèdent différentes sensibilités à un éclairement lumineux. Ainsi, certains pixels 22 sont associés à des circuits 225 et sont sensibles à un faible éclairement lumineux (possèdent une haute sensibilité) alors que d’autres pixels 23 sont associés à des circuits 235 et sont sensibles à un fort éclairement lumineux (possèdent une basse sensibilité). Bien que seulement un de chaque circuit 225 et 235 soit illustré, et illustré schématiquement, chaque pixel est associé à un circuit. Ainsi, il y aura une pluralité des deux circuits 225 et 235.

Comme on peut l’apprécier à partir de la figure 1, les différentes sensibilités sont irrégulièrement espacées ou ne sont pas mises en ordre géométrique, en correspondance à une irrégularité spatiale sur le capteur 40. Cette propriété non mise en ordre spatial est appelée diagramme pseudo-aléatoire. Ces sensibilités sont fournies par le circuit qui communique avec chaque pixel et communique les informations de pixel à un processeur ou ordinateur en aval (mieux décrit ci-dessous en faisant référence à la figure 2).

Comme cela est représenté sur la figure 2, un appareil de prises de vues 58 comprenant le capteur 40 peut communiquer avec un processeur ou ordinateur 60. La scène 32, destinée à être capturée, est représentée reconstruite et affichée, à la référence 132, sur le processeur ou l’ordinateur 60. L’utilisation du capteur mis en ordre pseudo-aléatoire fournit des avantages, comme cela va être décrit ci-dessous. Particulièrement, lorsqu’il est utilisé en association avec des algorithmes de reconstruction modernes, des images plus précises sont fournies.

Bien que le processeur ou l’ordinateur 60 soit représenté de façon distincte de l’appareil de prises de vues 58, qui comprend lui-même le capteur 40, le processeur ou l’ordinateur 60 peut être mis sous boîtier à l’intérieur de, ou autrement intégré, ou incorporé avec, l’appareil de prises de vues 58 voire, même, à l’intérieur du capteur 40. La communication entre l’appareil de prises de vues 58 et l’ordinateur 60 peut être un canal câblé comprenant des conducteurs sur un circuit intégré ou en variante peut être tout autre canal optique, sans fil, radio, ou tout autre type de canal capable de transmettre des images et des vidéos entre deux points, y compris des liens utilisant la toile mondiale (« World Wide Web » ou www) ou Internet.

La présente invention décrit l’acquisition et la reconstruction d’images de haute qualité à partir d’une seule exposition en utilisant un seul capteur 40. Les capteurs standard ne généreront pas d’images de qualité aussi haute que le capteur pseudo-aléatoire 40 et les techniques de reconstruction de la présente invention. Un échantillonnage multidimensionnel, en utilisant les techniques de la présente invention, peut être utilisé pour obtenir une image de haute résolution, un bas coût, une grande vitesse, et une grande gamme dynamique.

La reconstruction d’imagerie pseudo-aléatoire dépend d’une propriété mathématique appelée parcimonie. La parcimonie est une propriété grâce à laquelle certaines données, par exemple, une image, peuvent être représentées seulement par quelques nombres non nuis (également appelés coefficients) qui multiplient un jeu approprié de fonctions de base. On sait que l’imagerie naturelle est parcimonieuse car ces images peuvent être compressées (par exemple, en utilisant relativement peu de coefficients et de fonctions à base Fourier ou d’ondelettes) et reconstruites avec précision à partir de ces quelques coefficients.

La présente invention crée un capteur mis en ordre pseudo-aléatoire de plusieurs niveaux distincts de différente sensibilité où chaque pixel d’une puce d’imagerie communique avec un des circuits 225, 235. Une image d’une scène naturelle est capturée par l’intermédiaire du capteur. Les pixels correspondant à un niveau de sensibilité sont appelés image pseudo-aléatoire. Pour chaque exposition, alors, il y a plusieurs images pseudo-aléatoires correspondant chacune aux pixels de chaque niveau de sensibilité. A partir des images pseudo-aléatoires acquises, des procédés de calcul sont utilisés pour reconstruire l’image à grande gamme dynamique (HDR) souhaitée.

Un capteur avec N niveaux distincts de différente sensibilité est créé. Il y a, donc, N images pseudo-aléatoires pour une quelconque scène correspondant aux N niveaux. L’image pseudo-aléatoire la plus sombre comprend les pixels sensibles à l’éclairement lumineux le plus faible (ceux avec la plus haute sensibilité). De façon similaire, l’image pseudo-aléatoire la plus sombre suivante comprend les pixels du niveau suivant de la sensibilité la plus basse, etc. Pour chaque exposition, alors, il y a N images pseudo-aléatoires correspondant chacune aux pixels d’un niveau de sensibilité. Pour chaque image pseudo-aléatoire (correspondant à chaque niveau de sensibilité), il y a un nombre limité de pixels observés (l/N), à partir desquels il faut reconstruire l’image entière.

Dans le mode de réalisation illustratif, chaque pixel d’un capteur comprenant n-par-m pixels communique avec un circuit 25, 235 d’un niveau de sensibilité.

Le procédé de production d’un capteur avec une distribution spatiale pseudoaléatoire de sensibilités peut varier. Dans un exemple, différents niveaux de sensibilité sont assignés indépendamment, à chaque emplacement de pixel, et uniformément dans la totalité du capteur. Dans des cas plus généraux, des niveaux peuvent être corrélés et uniformément distribués en moyenne. L’amplitude de la variation spatiale de niveaux dans un sous-jeu d’emplacements adjacents est le paramètre clef d’une distribution qui peut commander les propriétés statistiques du capteur. Cette distribution illustrative dépend du nombre d’emplacements dans le sous-jeu et d’une fonction de corrélation. Spécifiquement, dans le premier cas des niveaux indépendamment distribués, l’amplitude au carré de variation spatiale peut être directement proportionnelle au nombre de niveaux dans le sous-jeu. Dans le second cas de distributions corrélées, cette dépendance peut être modifiée. Un des exemples les plus courants est une dépendance de loi de puissance où l’écart type est proportionnel à N 7, où N est le nombre de niveaux dans un sous-jeu et y est un paramètre choisi. Pour des applications d’acquisition d’image et de traitement d’image, la corrélation, et donc le paramètre y, peuvent être optimisés pour réduire la non-uniformité locale du capteur et ainsi augmenter la qualité de reconstruction d’image.

Dans une application, figure 3 A, le circuit 21 prévoit un composant de gain 122 qui peut être fixe ou peut être varié de façon programmable. La figure 3A représente un circuit intégré de lecture (« Read-Out Integrated Circuit » ou ROIC) au silicium qui présente la capacité de changer en continu le gain analogique en pixel. En modifiant des polarisations internes, le ROIC d’architecture de pixel à modulation de grille (« Gate-MODulated » ou GMOD) peut changer la sensibilité de chaque pixel du capteur (réseau de plan focal), ayant pour résultat un changement de capacitance effective. Chaque pixel contient un circuit d’entrée à modulation de grille pour convertir le courant en tension avec un gain réglable en continu. Le courant de photodiode passe par MO avec une quantité proportionnelle de courant reflétée dans Ml alors que le rapport des courants par Ml et MO est commandé par l’intermédiaire des tensions réglées extérieurement de gain (« GAIN ») et de polarisation (« BIAS »). À nouveau, l’homme ordinaire du métier reconnaîtra la manière dont ces variations sont obtenues, à l’aide de la présente invention.

La figure 3B est un mode de réalisation d’art antérieur d’un circuit HDR à condensateur de dépassement latéral de la figure 2.16 de Yang Liu, « The Design of a High Dynamic Range CMOS Image Sensor inllOnm Technology», Master of Science Thesis, Delft University of Technology, 2012 qui est incorporé dans les présentes par renvoi. La figure 3B représente une paire de commutateurs à transistor T2 et T3 (17).

Un second mode de réalisation, figure 3C, représente un circuit dans lequel un commutateur à transistor 17 est éliminé de la figure 3B et le condensateur de dépassement CS (16) est modifié sous la forme CS’ (16’). L’homme ordinaire du métier, à l’aide de la présente invention, reconnaîtra que, en changeant la capacitance du condensateur de dépassement 16’, les sensibilités de chaque pixel peuvent être variées. Par exemple, en configurant le condensateur de dépassement CS’ (16’) avec différents niveaux de capacitance, différents niveaux de sensibilité pour chaque pixel peuvent être obtenus. Pour des pixels à haute sensibilité, le condensateur de dépassement CS’ peut être éliminé complètement. Ainsi, des circuits uniques pourraient être prévus de manière pseudo-aléatoire sur la totalité des pixels du capteur 40. En outre, avec les modifications de la présente invention, les conceptions du pixel de capteur d’image et du circuit de lecture sont simplifiées.

En outre, le stockage de charge effective d’un pixel peut être changé en ajustant la capacitance à diffusion flottante (« Floating Diffusion» ou FD) (18) de sorte que les pixels à haute sensibilité possèdent une capacitance plus basse et les pixels à basse sensibilité possèdent une capacitance plus élevée. En changeant la capacitance correspondant à chaque pixel, son niveau de sensibilité peut être changé. À titre d’exemple, la capacitance peut être changée en augmentant la superficie, en augmentant l’épaisseur de la couche de dépôt, etc. Un éventuel exemple est décrit dans le brevet US 5 621 230, dont la divulgation pertinente est incorporée dans les présentes par renvoi.

Bien que deux niveaux différents de sensibilité soient représentés sur la figure 1, il faut entendre que trois, ou plus, niveaux de sensibilité peuvent également être inclus.

En résumé, les divers circuits, comme cela est représenté sur les figures 3A à 3C, ont pour résultat un circuit intégré de lecture (ROIC), dans lequel les circuits prévus pour chacun des pixels possèdent une pluralité de niveaux distincts de sensibilité à un éclairement lumineux.

Un algorithme de reconstruction est alors utilisé. Un mode de réalisation peut utiliser un algorithme bien connu de complétion de matrice à faible rang. Un autre est l’application d’un algorithme d’apprentissage de dictionnaire pour peinture d’image. Le mode de réalisation préféré utilise des algorithmes à base de minimisation li/variation totale (« Total Variation » ou TV). Les concepts de base de minimisation li et TV sont bien connus dans l’art et sont expliqués davantage ci-dessous. Les différents composants de scènes peuvent être reconstruits indépendamment (ceci est appelé reconstruction indépendante) ou, de préférence, par optimisation conjointe (ceci est appelé reconstruction conjointe). L’approche de reconstruction indépendante reconstruit chaque composant de la scène indépendamment, en utilisant seulement des réponses des pixels correspondant à un niveau de sensibilité. L’approche de reconstruction conjointe reconstruit tous les composants de la scène en même temps, en supposant implicitement ou explicitement que la structure des composants de scène est liée et en utilisant les réponses de pixels correspondant à une pluralité de niveaux de sensibilité. Les algorithmes de reconstruction indépendante sont bien connus dans l’art. Le nouvel algorithme de reconstruction conjointe ci-dessous présente une meilleure précision de reconstruction que la reconstruction indépendante.

La présente invention comprend les trois étapes suivantes : 1) Acquisition d’image pseudo-aléatoire : un capteur d’image classique avec un circuit pseudo-aléatoire prend une seule exposition acquérant une pluralité d’images pseudo-aléatoires. 2) Reconstruction d’image, par exemple, avec apprentissage de dictionnaire ou des approches à base li/TV, comme cela est expliqué ci-dessous : des composants de scène sont reconstruits indépendamment ou conjointement. À partir des images pseudo-aléatoires acquises, il y a deux procédés qui peuvent être utilisés pour reconstruire l’image à grande gamme dynamique (HDR) souhaitée. L’un est un procédé à base de parcelles locales, à savoir, la reconstruction d’image basée sur l’apprentissage du dictionnaire. L’autre est un procédé à base d’image globale, à savoir une reconstruction d’image à base li/TV. Ceux-ci sont décrits en détail ci-dessous. 3) Compression à grande gamme dynamique : pour finir, les images reconstruites sont combinées pour produire une seule image à grande gamme dynamique. La grande gamme dynamique peut facultativement être compressée pour l’affichage.

Les développements mathématiques théoriques, ces dix dernières années, dans l’échantillonnage parcimonieux et l’optimisation parcimonieuse (également appelés « Détection compressive » et « problèmes inverses à régularisation fi ») ont présenté de nouvelles manières de récupérer des informations manquantes à partir de données échantillonnées de façon appropriée. L’échantillonnage approprié nécessite un certain caractère pseudo-aléatoire des échantillons afin de fonctionner correctement.

La régularité de l’échantillonnage (distribution spatiale de niveaux de sensibilité) limite l’utilisation réussie de ces nouveaux développements mathématiques. L’échantillonnage spatialement pseudo-aléatoire d’une scène à un niveau de sensibilité particulier nous permet de reconstruire avec précision l’image entière comme si l’image entière était acquise à ce niveau.

Des scènes naturelles contiennent de nombreuses structures spatialement régulières, par exemple, des fenêtres sur un immeuble de bureaux, les piquets d’une clôture, etc. Si une scène est échantillonnée en un mode régulier, la régularité des échantillons peut entraîner des problèmes dans la reconstruction de l’image. Les moirages, qui peuvent être vus sur les vêtements d’un acteur à la télévision, en sont un exemple bien connu. Dans ce cas, l’échantillonnage spatial régulier d’un diagramme spatial régulier sur des vêtements peut entraîner des artéfacts de reconstruction en raison de l’effet bien connu appelé repliement (« aliasing »). Un autre exemple connu connexe est l’échantillonnage temporellement régulier d’une roue en rotation qui peut lui donner l’apparence de se déplacer en alternance vers l’avant et vers l’arrière lorsqu’elle accélère ou ralentit. A titre d’exemple extrême, l’échantillonnage régulier d’une scène avec une clôture pourrait comporter seulement des échantillons des piquets (dont la reconstruction créerait l’image d’un mur plein) ou seulement des échantillons d’entre les piquets (dont la reconstruction créerait une image sans aucune clôture). La raison pour laquelle l’échantillonnage pseudoaléatoire est efficace et que l’obtention d’informations, en ce qui concerne une quelconque structure régulière, suffisantes pour permettre une reconstruction précise est bien plus vraisemblable. L’idée d’apprentissage de dictionnaire est d’apprendre un dictionnaire compact à partir de l’image échantillonnée pseudo-aléatoire pour reconstruire l’image à haute résolution. Un dictionnaire (indiqué par Φ, également appelé matrice d’échantillonnage ou matrice de détection) pour une image, x, permet une reconstruction précise à condition que les deux conditions suivantes soient satisfaites : (1) Parcimonie : la représentation mathématique de l’image, Φχ, est parcimonieuse, étant donné un dictionnaire Φ trop complet et redondant (la redondance signifie ici que le nombre d’atomes de dictionnaire est bien plus grand que la dimension de parcelles d’image de x, ce qui implique que Φχ contient de nombreux zéros). Comme cela est mentionné ci-dessus, la parcimonie est une propriété grâce à laquelle une image peut être représentée par seulement quelques numéros non-zéros (également appelés coefficients) qui multiplient un jeu approprié de fonctions de base (chaque fonction de base est un vecteur appelé un atome, la collection d’atomes forme un dictionnaire sous forme de colonnes du dictionnaire). (2) Incohérence : la matrice de détection/matrice de mesure ΦT possède une étoile (« spark ») complète. L’étoile d’un dictionnaire {matrice) est le nombre le plus bas de colonnes qui sont linéairement dépendantes. L’étoile complète signifie qu’aucune sous-matrice carrée de la matrice n’est singulière. Si des colonnes sont linéairement dépendantes, alors elles n’ajouteront aucune nouvelle information au traitement d’échantillonnage. L’étoile est utile dans la théorie de détection compressive, où les nécessités sur l’étoile de la matrice de mesure 0^sont utilisées pour garantir la stabilité et la constance des techniques mathématiques. Une mesure connexe de l’incohérence entre des atomes de dictionnaire est la propriété d’isométrie restreinte (« Restricted Isometry Property » ou RIP) bien connue.

Le caractère pseudo-aléatoire de la distribution spatiale des sensibilités est important pour garantir l’incohérence de la matrice de détection Φ^\ Une distribution spatiale en grille régulière de sensibilités présentera des dépendances linéaires entre des atomes de dictionnaire et donc ΦT possède une étoile non complète et possède une RIP plus mauvaise que pour une distribution spatiale pseudo-aléatoire de sensibilités. Les résultats de reconstruction par apprentissage de dictionnaire en utilisant une distribution spatiale en grille spatialement régulière de sensibilités sont bien plus mauvais que lorsqu’une distribution spatiale pseudo-aléatoire de sensibilités est utilisée. De façon similaire, pour des approches à base lj/TV, la matrice d’échantillonnage pseudo-aléatoire (indiquée par P, ci-dessous) est la matrice de détection, qui possède une bonne RIP.

La reconstruction d’image à base d’apprentissage de dictionnaire utilise des parcelles d’image, voir figure 4. D’abord, une image pseudo-aléatoire est divisée en un jeu de parcelles se chevauchant, x,, chacune d’une taille axa (par exemple, a = 8). (Ci-après, la parcelle x, est considérée être un vecteur de colonne comme avec la commande Matlab bien connue vect(x;).) Une parcelle illustrative 100 est représentée sur la figure 4. La contrainte de parcimonie est exploitée en ce que chaque parcelle de l’image est représentée sous forme de combinaison parcimonieuse d’un jeu d’atomes de dictionnaire. Des images peuvent être reconstruites à partir d’un dictionnaire individuel appris à partir de chaque image pseudo-aléatoire, ou à partir d’un seul dictionnaire appris à partir de toutes les images pseudo-aléatoires. L’apprentissage du dictionnaire est décrit comme suit.

de sorte que

où Xi sont des parcelles d’image, Φ est le dictionnaire, «, sont les coefficients parcimonieux, et τ0 est une faible constante. H faut noter que la contrainte 10 de parcimonie

a en réalité été exprimée par la contrainte ^ équivalente

, comme cela est bien connu à partir de la documentation de détection compressive. L’interprétation intuitive de ce problème d’optimisation est qu’un dictionnaire Φ et des coefficients a sont calculés de sorte que la somme des différences entre les parcelles d’images x, et leur approximation à partir d’un dictionnaire, Φα, soit petite (chaque différence de parcelle individuelle est le terme

qui mesure la différence selon laquelle la parcelle diffère de sa représentation parcimonieuse de dictionnaire). La notation

est une mesure de différence, à savoir, une distance euclidienne (au carré) entre deux vecteurs. La sommation

additionne toutes les différences de parcelle individuelles.

En même temps que les différences de parcelle sont minimisées, la garantie de la parcimonie de la représentation (ceci est le terme

), qui impose que la parcimonie de a est inférieure à un bas nombre τ0 que l’on spécifie, est également souhaitée. La notation

est la mesure de parcimonie (également appelée 10), un compte du nombre d’éléments non-zéros d’un vecteur, qui a été remplacé par son équivalent (dans ce cas)

(également appelé li).

Ainsi, la solution de ce problème d’optimisation engendre un dictionnaire qui peut représenter toutes les parcelles d’image où chaque représentation de parcelle nécessite seulement quelques éléments de dictionnaire. La théorie mathématique garantit que si ce dictionnaire est calculé, l’image entière peut être reconstruite même si l’on a seulement l/N des valeurs de pixel réelles. Le dictionnaire d’apprentissage continue comme suit.

Le dictionnaire, Φ, peut initialement être réglé à de quelconques valeurs ou à la décomposition en valeurs singulières (« Singular Value Décomposition » ou SVD) bien connue de toutes les parcelles. L’apprentissage d’un dictionnaire possède deux étapes principales : étape de codage parcimonieux : pour chaque parcelle xh une représentation parcimonieuse, ai, est calculée en utilisant un quelconque algorithme de poursuite (par exemple, l’algorithme de poursuite de base bien connu) de sorte que chaque x, soit une combinaison d’un jeu parcimonieux des atomes de dictionnaire ; étape d’actualisation de dictionnaire : chaque atome du dictionnaire Φ est actualisé en tant que premier vecteur propre de la matrice d’erreur à partir de l’ajustement de parcimonie pour le groupe de parcelles en utilisant cet atome.

Les deux étapes sont répétées jusqu’à la convergence. Cette procédure est bien connue dans la documentation.

La technique de reconstruction indépendante décrite ensuite est la reconstruction d’image à base 1/TV. Cette technique impose une parcimonie sur une image entière (plutôt que des parcelles) dans la mesure où une quelconque image naturelle peut être représentée sous forme de nombre parcimonieux de coefficients en fonction d’une certaine base (par exemple, Fourier, ou ondelettes), à savoir, une contrainte lb ou elle peut être représentée sous forme de champ gradient à constante par morceau parcimonieux, à savoir, une contrainte TV. Des images sont reconstruites à partir des images pseudo-aléatoires acquises indépendamment ou conjointement.

La reconstruction indépendante possède les formulations l! et TV suivantes : formulation 1, :

de sorte que

où x est l’image pour reconstruire, F est la transformation à base inverse (par exemple, Fourier, ondelettes), P est l’opérateur de sous-échantillonnage correspondant au sous-échantillonnage pseudo-aléatoire en image pseudo-aléatoire b, et δ est un bas nombre que l’on choisit. formulation TV :

de sorte que

où

est la variation totale, et P est l’opérateur de sous-échantillonnage correspondant au sous-échantillonnage pseudo-aléatoire en image pseudo-aléatoire b, et δ est un bas nombre que l’on choisit.

Ceci est une approche de reconstruction indépendante qui n’utilise pas de relations connues dans des images pseudo-aléatoires à différents niveaux de sensibilité. Dans une reconstruction indépendante, chaque image pseudo-aléatoire est reconstruite séparément et puis combinée ultérieurement en une seule image HDR. On sait, cependant, que des images pseudo-aléatoires successives, correspondant en réalité à la même scène imagée à différents instants d’exposition, doivent être fortement liées les unes aux autres. Une approche de reconstruction conjointe innovante qui utilise simultanément des informations à partir de toutes les images pseudo-aléatoires peut utiliser plus de relations et, ainsi, obtenir une meilleure précision de reconstruction que la reconstruction indépendante.

Pour utiliser les relations entre des images pseudo-aléatoires, les images pseudo-aléatoires sont modélisées avec une certaine contrainte d’imagerie physique, par exemple, la fonction de réponse bien connue d’appareil de prises de vues. Pour l’application d’imagerie à grande gamme dynamique (HDR), par exemple, des images sont acquises en réalité avec différentes durées d’exposition pour différents pixels, de sorte que la fonction de réponse de l’appareil de prises de vues (« Camera Response Function » ou CRF) soit utilisée pour modéliser la valeur d’éclairement lumineux en ce qui concerne la durée d’exposition. Le modèle d’imagerie peut être représenté sous la forme xt =/(log(<5f.)), où <5 lt est la durée d’exposition, et ƒ est la fonction de réponse de l’appareil de prises de vues estimée à partir des images pseudo-aléatoires acquises ou calculée à priori.

En utilisant la même notation que celle-ci-dessus, la reconstruction conjointe est formulée comme suit : formulation lj :

de sorte que

où n est le nombre d’images à reconstruire, formulation TV :

de sorte que

Pour la formulation TV, l’approche bien connue à itération de Split-Bregman est utilisée pour reconstruire efficacement les images par les trois étapes suivantes : (1) Application de la formulation de Bregman en introduisant des variables auxiliaires. (2) Découplage des portions lj et 12 de la nouvelle fonction de coût. (3) Résolution de la minimisation de chaque fonction de coût tour à tour jusqu’à la convergence, en résolvant une équation de Sylvester classique et un problème de retrait.

La présente invention utilise avantageusement la distribution pseudo-aléatoire de la distribution spatiale de sensibilités. En particulier, la reconstruction d’image décrite est fondée sur la résolution d’un problème d’optimisation (typiquement optimisation 12/1/ de norme mixte). Une nécessité clef de ce type de problème d’optimisation est que l’échantillonnage spatial (spatiotemporel) est pseudo-aléatoire - spécifiquement, il possède l’étoile complète ou une bonne RIP. Le caractère pseudo-aléatoire peut provenir d’une quelconque parmi un nombre de distributions en nombre pseudo-aléatoires sous-jacentes. La distribution spatiale pseudo-aléatoire de sensibilités peut également être conçue de façon optimale pour posséder une meilleure étoile ou propriété RIP.

La figure 5 représente trois images de niveaux distincts de sensibilité 110, 112 et 114 qui peuvent être capturées à partir d’une scène. Comme cela est représenté, un capteur associé 140 possède trois groupes distincts de pixels, 139 étant le moins sensible. Les pixels 141 sont un niveau intermédiaire. Les pixels 142 sont les plus sensibles.

Ainsi, les pixels 139 et les circuits 143 captureront des zones plus sombres telles que l’intérieur du bâtiment, image 114. Les pixels 141 et les circuits 144 captureront les niveaux plus intermédiaires, comme cela est représenté sur 112. Les pixels 142 et les circuits 145 sont les mieux capables de capturer des zones lumineuses, telles que l’extérieur du bâtiment, image 110. Lorsque ces multiples images sont reconstruites, comme cela est décrit, une image à très haute résolution 116 est obtenue.

En somme, l’utilisation des circuits pseudo-aléatoires fournit une plus haute résolution dans l’image recombinée finale.

Il n’est pas nécessaire que le terme « pseudo-aléatoire », tel qu’il est utilisé dans les présentes, soit réellement produit de façon pseudo-aléatoire. Spécifiquement, la distribution pseudo-aléatoire peut être réellement aléatoire ou peut être approximativement aléatoire, telle qu’elle est produite par un nombre quelconque de techniques, par exemple des méthodes optimisées de corrélation spatiale. Il est essentiel que la distribution spatiale de sensibilités ne soit pas mise en ordre régulier.

La présente invention pour l’imagerie HDR estime d’abord la CRF à partir des images acquises. La CRF est alors utilisée dans le cadre de l’optimisation à norme mixte. La reconstruction d’une seule image à grande gamme dynamique (HDR) à partir de multiples images à différents niveaux d’exposition en utilisant une CRF est connue dans l’art.

Bien que des modes de réalisation de la présente invention aient été décrits, l’homme ordinaire du métier reconnaîtra que certaines modifications seront au sein de la portée de la présente invention. Pour cette raison, les revendications suivantes doivent être étudiées pour déterminer la vraie portée et le vrai contenu de la présente invention.

Claims (15)

1. REVENDICATIONS

   1. Système d’imagerie à grande gamme dynamique, comprenant : un réseau de capteurs avec une pluralité de pixels ; et une pluralité de circuits, avec un circuit associé à chaque pixel dans ledit réseau de capteurs, ladite pluralité de circuits étant conçue de sorte que, sur ladite pluralité de circuits, il y ait une pluralité de sensibilités distinctes à un éclairement lumineux d’une scène destinée à être capturée, où lesdites sensibilités sont mises en ordre spatial pseudo-aléatoire les unes par rapport aux autres ; et un algorithme de reconstruction d’image.
2. 2. Système selon la revendication 1, dans lequel ledit réseau de capteurs communique avec un ordinateur pourvu dudit algorithme de reconstruction pour reconstruire une ou plusieurs images distinctes à partir d’une ou de plusieurs parmi lesdites qualités distinctes de la scène.
3. 3. Système selon la revendication 2, dans lequel ledit ordinateur est un processeur incorporé.
4. 4. Système selon la revendication 2, dans lequel lesdites images distinctes sont combinées en une seule image combinée.
5. 5. Système selon la revendication 1, dans lequel ledit algorithme de reconstruction utilise un ou plusieurs parmi un apprentissage de dictionnaire, une optimisation à base 1 i/variation totale, et une complétion de matrice.
6. 6. Système selon la revendication 1, dans lequel ladite pluralité de circuits comprend certains circuits possédant une photodiode avec une première capacitance de dépassement et d’autres circuits possédant une photodiode avec une seconde capacitance de dépassement plus basse pour fournir lesdites sensibilités distinctes à l’éclairement lumineux.
7. 7. Système selon la revendication 1, dans lequel un gain dans chacun parmi ladite pluralité de circuits est varié pour fournir lesdites sensibilités distinctes à l’éclairement lumineux.
8. 8. Système selon la revendication 1, dans lequel la mise en ordre pseudoaléatoire est une parmi vraiment aléatoire, approximativement aléatoire produite par programme d’ordinateur, ou approximativement aléatoire optimisée par corrélation spatiale.
9. 9. Procédé d’imagerie à grande gamme dynamique, comprenant l’étape de : l’inclusion d’une pluralité de circuits associés à chaque pixel dans un réseau de capteurs, ladite pluralité de circuits étant telle que, sur ladite pluralité de circuits, il y ait une pluralité de sensibilités distinctes à un éclairement lumineux d’une scène destinée à être capturée, où lesdites sensibilités sont mises en ordre spatial pseudoaléatoire les unes par rapport aux autres pour former une pluralité d’images distinctes, et la reconstruction de la pluralité d’images distinctes pour former une image.
10. 10. Procédé selon la revendication 9, dans lequel ledit réseau de capteurs communique avec un ordinateur qui reconstruit une ou plusieurs images distinctes à partir d’une ou de plusieurs parmi lesdites qualités distinctes de ladite scène.
11. 11. Procédé selon la revendication 10, dans lequel ledit ordinateur est un processeur incorporé.
12. 12. Procédé selon la revendication 9, dans lequel ladite reconstruction utilise un ou plusieurs parmi un apprentissage de dictionnaire, une optimisation à base 1 i/variation totale, et une complétion de matrice.
13. 13. Procédé selon la revendication 9, dans lequel la mise en ordre pseudoaléatoire utilisée est une parmi vraiment aléatoire, approximativement aléatoire produite par programme d’ordinateur, ou approximativement aléatoire optimisée par corrélation spatiale.
14. 14. Procédé selon la revendication 9, dans lequel un gain dans ladite pluralité de circuits est varié pour fournir lesdites sensibilités distinctes à l’éclairement lumineux.
15. 15. Procédé selon la revendication 9, dans lequel ladite pluralité de circuits comprennent certains circuits possédant une photodiode avec une première capacitance de dépassement et d’autres circuits possédant une photodiode avec une seconde capacitance de dépassement plus basse pour fournir lesdites sensibilités distinctes à l’éclairement lumineux.