CA2600185A1 - Procede pour commander une action, notamment une modification de nettete, a partir d'une image numerique en couleurs - Google Patents
Procede pour commander une action, notamment une modification de nettete, a partir d'une image numerique en couleurs Download PDFInfo
- Publication number
- CA2600185A1 CA2600185A1 CA002600185A CA2600185A CA2600185A1 CA 2600185 A1 CA2600185 A1 CA 2600185A1 CA 002600185 A CA002600185 A CA 002600185A CA 2600185 A CA2600185 A CA 2600185A CA 2600185 A1 CA2600185 A1 CA 2600185A1
- Authority
- CA
- Canada
- Prior art keywords
- image
- sharpness
- color
- capture
- digital
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 183
- 230000009471 action Effects 0.000 title claims abstract description 82
- 230000004048 modification Effects 0.000 title claims description 20
- 238000012986 modification Methods 0.000 title claims description 20
- 239000003086 colorant Substances 0.000 claims abstract description 117
- 238000005259 measurement Methods 0.000 claims abstract description 56
- 230000003287 optical effect Effects 0.000 claims description 95
- 238000012545 processing Methods 0.000 claims description 57
- 238000011282 treatment Methods 0.000 claims description 48
- 230000006870 function Effects 0.000 claims description 40
- 230000008569 process Effects 0.000 claims description 39
- 230000003595 spectral effect Effects 0.000 claims description 38
- 230000008859 change Effects 0.000 claims description 23
- 230000004044 response Effects 0.000 claims description 21
- 230000006835 compression Effects 0.000 claims description 17
- 238000007906 compression Methods 0.000 claims description 17
- 230000004075 alteration Effects 0.000 claims description 16
- 230000006872 improvement Effects 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 12
- 238000004519 manufacturing process Methods 0.000 claims description 11
- 238000009432 framing Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000009877 rendering Methods 0.000 claims description 9
- 238000001228 spectrum Methods 0.000 claims description 9
- 230000033001 locomotion Effects 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 6
- 230000003247 decreasing effect Effects 0.000 claims description 6
- 238000012546 transfer Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 4
- 230000001419 dependent effect Effects 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 3
- 238000002156 mixing Methods 0.000 claims description 3
- 230000006641 stabilisation Effects 0.000 claims description 3
- 238000011105 stabilization Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 2
- 230000003292 diminished effect Effects 0.000 claims 1
- 230000000875 corresponding effect Effects 0.000 description 45
- 238000010586 diagram Methods 0.000 description 42
- 230000008901 benefit Effects 0.000 description 11
- 238000012937 correction Methods 0.000 description 11
- 238000013461 design Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 10
- 230000035945 sensitivity Effects 0.000 description 10
- 230000007547 defect Effects 0.000 description 8
- 238000011161 development Methods 0.000 description 8
- 230000018109 developmental process Effects 0.000 description 8
- 230000006978 adaptation Effects 0.000 description 7
- 238000001914 filtration Methods 0.000 description 6
- 238000006073 displacement reaction Methods 0.000 description 5
- 230000007704 transition Effects 0.000 description 5
- 238000007792 addition Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000003416 augmentation Effects 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000011143 downstream manufacturing Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000579895 Chlorostilbon Species 0.000 description 1
- 230000001594 aberrant effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000005672 electromagnetic field Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 229910052876 emerald Inorganic materials 0.000 description 1
- 239000010976 emerald Substances 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 238000011328 necessary treatment Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000004381 surface treatment Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000032258 transport Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
- H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
- H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
- H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
- H04N25/6153—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF] for colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
Abstract
L ' invention concerne un procédé pour commander une action à partir d'une mesure effectuée sur au moins une image numérique (10) , ayant au moins deux couleurs (195, 196) , provenant d'un appareil de capture d'images. Selon ce procédé : - on mesure (190) la netteté relative entre au moins deux couleurs sur au moins une région (R) de l'image, et - on commande (191) au moins une action en fonction de la netteté relative mesurée.
Description
PROCEDE POUR CONMNDER UNE ACTION, NOTAMHENT UNE MODIFICATION DE
NETTETE, A PARTIR D'UNE INIAGE NUMERIQUE EN COULEURS.
Domaine de 1'invention :
L'invention est relative à un procédé pour commander une action, notamment une modification de netteté, à partir d'une image numérique en couleurs. Elle concerne plus particulièrement, mais non exclusivement, une amélioration de la netteté d'au moins une couleur d'une image numérique.
L'invention concerne également un système mettant en oeuvre un tel procédé ainsi qu'une image générée par un tel procédé.
L'invention concerne aussi un procédé de réalisation d'un appareil de capture et/ou de restitution d'images qui comprend un système optique de capture et/ou de restitution d'images, un capteur et/ou générateur d'images, et/ou un système d'asservissement, l'image étant traitée, en vue de son amélioration, par des moyens numériques de traitement d'images.
L'invention concerne aussi un appareil obtenu par un tel procédé de réalisation.
Problème traité
La visualisation satisfaisante d'une image requiert une netteté d'autant plus importante que cette image présente des détails de dimensions réduites.
NETTETE, A PARTIR D'UNE INIAGE NUMERIQUE EN COULEURS.
Domaine de 1'invention :
L'invention est relative à un procédé pour commander une action, notamment une modification de netteté, à partir d'une image numérique en couleurs. Elle concerne plus particulièrement, mais non exclusivement, une amélioration de la netteté d'au moins une couleur d'une image numérique.
L'invention concerne également un système mettant en oeuvre un tel procédé ainsi qu'une image générée par un tel procédé.
L'invention concerne aussi un procédé de réalisation d'un appareil de capture et/ou de restitution d'images qui comprend un système optique de capture et/ou de restitution d'images, un capteur et/ou générateur d'images, et/ou un système d'asservissement, l'image étant traitée, en vue de son amélioration, par des moyens numériques de traitement d'images.
L'invention concerne aussi un appareil obtenu par un tel procédé de réalisation.
Problème traité
La visualisation satisfaisante d'une image requiert une netteté d'autant plus importante que cette image présente des détails de dimensions réduites.
2 De ce fait, il est connu de chercher à améliorer la netteté d'au moins une couleur dans une image numérique selon des procédés tels que ceux décrits ci-dessous :
i) Dans le cas spécifique des appareils photographiques :
- on peut faire appel à un dispositif de mise au point optique (focus) qui déplace des éléments optiques permettant de faire varier la plage de distances pour laquelle l'image est nette. Un tel dispositif, manuel ou motorisé, comprend souvent un système d'asservissement permettant de choisir le déplacement en fonction des distances des objets dans la scène.
Les applications d'un tel procédé sont les appareils photo, les caméras. Il présente l'inconvénient d'avoir une profondeur de champ limitée, surtout à grande ouverture, et un coût et un encombrement difficilement adaptés aux dispositifs de faible encombrement, tels que les téléphones.
- On peut faire appel à une solution du type codage du front d'onde, qui ajoute un élément optique spécifique dans le système optique pour permettre la reconstruction par calcul de la netteté avec une grande profondeur de champ.
Les applications d'un tel procédé sont limitées (la microscopie) et présente les inconvénients de nécessiter un élément optique spécifique ainsi qu'une modification du matériel, dont le système optique.
- On peut mettre en oeuvre une solution qui ajoute un élément optique spécifique constitué d'une lentille liquide déformable fixe par rapport à l'optique. Un tel procédé présente un système d'asservissement permettant de choisir la forme de ladite lentille en fonction des distances des objets dans la scène.
Les applications de cette solution (pour les caméraphones ou appareils photo) présentent l'inconvénient d'être un procédé industriel spécifique, d'avoir un coût et un encombrement de l'élément optique, de nécessiter une modification hardware.
i) Dans le cas spécifique des appareils photographiques :
- on peut faire appel à un dispositif de mise au point optique (focus) qui déplace des éléments optiques permettant de faire varier la plage de distances pour laquelle l'image est nette. Un tel dispositif, manuel ou motorisé, comprend souvent un système d'asservissement permettant de choisir le déplacement en fonction des distances des objets dans la scène.
Les applications d'un tel procédé sont les appareils photo, les caméras. Il présente l'inconvénient d'avoir une profondeur de champ limitée, surtout à grande ouverture, et un coût et un encombrement difficilement adaptés aux dispositifs de faible encombrement, tels que les téléphones.
- On peut faire appel à une solution du type codage du front d'onde, qui ajoute un élément optique spécifique dans le système optique pour permettre la reconstruction par calcul de la netteté avec une grande profondeur de champ.
Les applications d'un tel procédé sont limitées (la microscopie) et présente les inconvénients de nécessiter un élément optique spécifique ainsi qu'une modification du matériel, dont le système optique.
- On peut mettre en oeuvre une solution qui ajoute un élément optique spécifique constitué d'une lentille liquide déformable fixe par rapport à l'optique. Un tel procédé présente un système d'asservissement permettant de choisir la forme de ladite lentille en fonction des distances des objets dans la scène.
Les applications de cette solution (pour les caméraphones ou appareils photo) présentent l'inconvénient d'être un procédé industriel spécifique, d'avoir un coût et un encombrement de l'élément optique, de nécessiter une modification hardware.
3 ii) Dans un cadre plus général, les solutions sont - les algorithmes de déflouage sur la luminance ou une couleur, en augmentant la netteté par sharpen ou par une autre méthode de calcul.
Les applications d'un tel procédé (tous les appareils de prise de vue) présentent les inconvénients d'une augmentation limitée de la netteté et donc d'une augmentation très faible de la profondeur de champ.
Par ailleurs, les techniques connues de conception ou de réalisation de tels appareils de capture et/ou de restitution d'images, tels que des appareils de photos numériques ou argentiques, consistent à sélectionner en premier lieu les propriétés des éléments matériels de l'appareil, notamment le système optique, le capteur et le système d'asservissement.
Ensuite, le cas échéant, on prévoit des moyens numériques de traitement d'images pour corriger les défauts d'au moins l'un des éléments matériels de l'appareil.
En particulier, pour concevoir un système optique d'appareil, on établit tout d'abord un cahier des charges, c'est-à-dire qu'on spécifie l'encombrement, les plages de focales, les plages d'ouverture, le champ couvert, les performances exprimées, soit en taille de tache image, soit en valeur de FTM (fonction de transfert de modulation), et le coût.
A partir de ce cahier des charges, on sélectionne un type de système optique et, à l'aide d'un outil logiciel de calcul optique, tel que l'outil Zemax , on sélectionne les paramètres de ce système permettant de respecter au mieux les spécifications du cahier des charges. Cette mise au point du système optique s'effectue de façon interactive. De façon générale, un système optique est conçu pour qu'il présente la meilleure qualité au centre de l'image et, habituellement, la qualité aux bords de l'image est de niveau inférieur.
En outre, les techniques habituelles sont telles que le système optique est conçu de façon à obtenir un niveau déterminé de distorsion, de vignetage, de flou et de profondeur
Les applications d'un tel procédé (tous les appareils de prise de vue) présentent les inconvénients d'une augmentation limitée de la netteté et donc d'une augmentation très faible de la profondeur de champ.
Par ailleurs, les techniques connues de conception ou de réalisation de tels appareils de capture et/ou de restitution d'images, tels que des appareils de photos numériques ou argentiques, consistent à sélectionner en premier lieu les propriétés des éléments matériels de l'appareil, notamment le système optique, le capteur et le système d'asservissement.
Ensuite, le cas échéant, on prévoit des moyens numériques de traitement d'images pour corriger les défauts d'au moins l'un des éléments matériels de l'appareil.
En particulier, pour concevoir un système optique d'appareil, on établit tout d'abord un cahier des charges, c'est-à-dire qu'on spécifie l'encombrement, les plages de focales, les plages d'ouverture, le champ couvert, les performances exprimées, soit en taille de tache image, soit en valeur de FTM (fonction de transfert de modulation), et le coût.
A partir de ce cahier des charges, on sélectionne un type de système optique et, à l'aide d'un outil logiciel de calcul optique, tel que l'outil Zemax , on sélectionne les paramètres de ce système permettant de respecter au mieux les spécifications du cahier des charges. Cette mise au point du système optique s'effectue de façon interactive. De façon générale, un système optique est conçu pour qu'il présente la meilleure qualité au centre de l'image et, habituellement, la qualité aux bords de l'image est de niveau inférieur.
En outre, les techniques habituelles sont telles que le système optique est conçu de façon à obtenir un niveau déterminé de distorsion, de vignetage, de flou et de profondeur
4 de champ, afin que le système optique puisse être comparé à
d'autres systèmes optiques.
Par ailleurs, pour les appareils photographiques numériques, on spécifie aussi les caractéristiques du capteur, à
savoir : la qualité des pixels, la superficie des pixels, le nombre de pixels, la matrice de microlentilles, les filtres anti-alias, la géométrie des pixels, et la disposition des pixels.
La technique habituelle consiste à sélectionner le capteur d'un appareil de capture d'images indépendamment des autres éléments de l'appareil et, notamment, du système de traitement d'image.
Les appareils de capture et/ou générateurs d'images comportent aussi habituellement un ou plusieurs systèmes d'asservissement tels qu'un système d'exposition et/ou un système de mise de point (focus automatique ou autofocus ) et/ou un système de contrôle du flash.
Ainsi, pour spécifier un système d'exposition qui commande l'ouverture et le temps de pose, éventuellement le gain du capteur, on détermine les modes de mesure, en particulier on détermine les zones de l'image sur lesquelles l'exposition sera mesurée ainsi que le poids affecté à chaque zone.
Pour un système de mise au point, on détermine le nombre et la position des zones de l'image qui seront utilisées pour effectuer la mise au point. On spécifie aussi, par exemple, une consigne de déplacement du moteur.
Dans tous les cas, ces spécifications s'effectuent indépendamment de la présence ou non de moyens numériques de traitement d'image.
L'invention Constatations propres à 1'invention L'invention est issue de la combinaison des constatations suivantes, qui lui sont propres :
i) Les appareils de capture et/ou traitant des images génèrent sur ces images une netteté variable qui est fonction de la couleur considérée comme décrit ci-dessous à l'aide des figures la et lb.
d'autres systèmes optiques.
Par ailleurs, pour les appareils photographiques numériques, on spécifie aussi les caractéristiques du capteur, à
savoir : la qualité des pixels, la superficie des pixels, le nombre de pixels, la matrice de microlentilles, les filtres anti-alias, la géométrie des pixels, et la disposition des pixels.
La technique habituelle consiste à sélectionner le capteur d'un appareil de capture d'images indépendamment des autres éléments de l'appareil et, notamment, du système de traitement d'image.
Les appareils de capture et/ou générateurs d'images comportent aussi habituellement un ou plusieurs systèmes d'asservissement tels qu'un système d'exposition et/ou un système de mise de point (focus automatique ou autofocus ) et/ou un système de contrôle du flash.
Ainsi, pour spécifier un système d'exposition qui commande l'ouverture et le temps de pose, éventuellement le gain du capteur, on détermine les modes de mesure, en particulier on détermine les zones de l'image sur lesquelles l'exposition sera mesurée ainsi que le poids affecté à chaque zone.
Pour un système de mise au point, on détermine le nombre et la position des zones de l'image qui seront utilisées pour effectuer la mise au point. On spécifie aussi, par exemple, une consigne de déplacement du moteur.
Dans tous les cas, ces spécifications s'effectuent indépendamment de la présence ou non de moyens numériques de traitement d'image.
L'invention Constatations propres à 1'invention L'invention est issue de la combinaison des constatations suivantes, qui lui sont propres :
i) Les appareils de capture et/ou traitant des images génèrent sur ces images une netteté variable qui est fonction de la couleur considérée comme décrit ci-dessous à l'aide des figures la et lb.
5 Sur la figure la est représentée la lentille convergente 1 d'un dispositif optique (non représenté) muni d'un capteur 2 situé sur un point 3.2 de focalisation associé à une longueur d'onde U. Ainsi, la couleur définie par cette longueur A2 est nette sur une image formée par cette lentille lorsque l'image représente un objet à très grande distance.
Toutefois, un tel réglage présente trois problèmes - Premièrement, le point 3.2 de focalisation de la lentille est propre à la couleur définie par cette longueur d'onde A2, de telle sorte qu'un point de focalisation 3.1 propre à une autre couleur définie par une longueur d'onde A1 se situe en amont du capteur.
Par conséquent, l'image formée par cette seconde couleur (A1) au niveau du capteur est moins nette que l'image formée par la première couleur (A2), ce qui réduit la netteté de l'image globale formée par le capteur.
- Deuxièmement, le point de focalisation de la lentille pour une longueur d'onde est variable en fonction de la distance à laquelle se situe l'objet 4 représenté sur l'image.
Ainsi, la figure lb montre les nouvelles localisations 4.1 et 4.2 des points de focalisation associés, respectivement, aux longueurs d'ondes A1 et A2 lorsque l'objet représenté est passé d'une très grande distance (figure la) à une distance plus proche (figure lb).
Dans ce dernier cas, il apparaît que le capteur se situe sur le point de focalisation de la couleur (A1) qui, précédemment, ne formait pas une image nette.
- Troisièmement, le point de focalisation de la lentille pour une longueur d'onde et une distance objet est variable en fonction de la position dans l'image de l'objet représenté.
Toutefois, un tel réglage présente trois problèmes - Premièrement, le point 3.2 de focalisation de la lentille est propre à la couleur définie par cette longueur d'onde A2, de telle sorte qu'un point de focalisation 3.1 propre à une autre couleur définie par une longueur d'onde A1 se situe en amont du capteur.
Par conséquent, l'image formée par cette seconde couleur (A1) au niveau du capteur est moins nette que l'image formée par la première couleur (A2), ce qui réduit la netteté de l'image globale formée par le capteur.
- Deuxièmement, le point de focalisation de la lentille pour une longueur d'onde est variable en fonction de la distance à laquelle se situe l'objet 4 représenté sur l'image.
Ainsi, la figure lb montre les nouvelles localisations 4.1 et 4.2 des points de focalisation associés, respectivement, aux longueurs d'ondes A1 et A2 lorsque l'objet représenté est passé d'une très grande distance (figure la) à une distance plus proche (figure lb).
Dans ce dernier cas, il apparaît que le capteur se situe sur le point de focalisation de la couleur (A1) qui, précédemment, ne formait pas une image nette.
- Troisièmement, le point de focalisation de la lentille pour une longueur d'onde et une distance objet est variable en fonction de la position dans l'image de l'objet représenté.
6 ii) Comme montré sur la figure 2 qui est un exemple de la répartition spectrale d'une image selon l'axe 6.1, les images sont généralement composées de plusieurs couleurs dont les intensités (axe des ordonnées 6.2) peuvent être proches. Sur cet exemple sont représentées des composantes 5.1 bleues (longueur d'onde autour de 450 nm), 5.2 vertes (longueur d'onde autour de 550 nm) et rouge (longueur d'onde autour de 600 nm) proches, mais il est clair que l'invention s'applique à une image indépendamment de sa répartition des couleurs et des longueurs d'ondes considérées (par exemple infrarouge ou ultraviolet).
iii) Les techniques classiques de l'amélioration de la netteté ne tirent pas partie du fait que l'une des couleurs peut être plus nette que les autres en fonction de la distance de l'objet représenté sur l'image.
iv) Par ailleurs, l'invention part de la constatation que les techniques classiques de conception ou de réalisation d'appareils ne permettent pas de profiter pleinement des possibilités offertes par les moyens numériques de traitement d'images.
L'invention C'est pourquoi, l'invention concerne, de façon générale, un procédé d'amélioration de la netteté d'au moins une couleur d'une image numérique comprenant les étapes de - choisir parmi les couleurs de l'image au moins une couleur dénommée couleur nette, - répercuter la netteté de la couleur nette sur au moins une autre couleur améliorée, pour que la couleur améliorée présente une netteté accrue.
Grâce à l'invention on peut ainsi - augmenter la netteté perçue de l'image, - augmenter la profondeur de champ d'un appareil de capture, - créer un dispositif macro,
iii) Les techniques classiques de l'amélioration de la netteté ne tirent pas partie du fait que l'une des couleurs peut être plus nette que les autres en fonction de la distance de l'objet représenté sur l'image.
iv) Par ailleurs, l'invention part de la constatation que les techniques classiques de conception ou de réalisation d'appareils ne permettent pas de profiter pleinement des possibilités offertes par les moyens numériques de traitement d'images.
L'invention C'est pourquoi, l'invention concerne, de façon générale, un procédé d'amélioration de la netteté d'au moins une couleur d'une image numérique comprenant les étapes de - choisir parmi les couleurs de l'image au moins une couleur dénommée couleur nette, - répercuter la netteté de la couleur nette sur au moins une autre couleur améliorée, pour que la couleur améliorée présente une netteté accrue.
Grâce à l'invention on peut ainsi - augmenter la netteté perçue de l'image, - augmenter la profondeur de champ d'un appareil de capture, - créer un dispositif macro,
7 - contrôler la profondeur de champ indépendamment de l'exposition, - mesurer la distance des objets d'une scène imagée à
partir d'une image, - améliorer les dispositifs d'asservissement de l'exposition et/ou de mise au point et/ou de flash, - réduire les coûts de l'appareil de capture - réduire, à performances égales, la taille de l'appareil de capture, - lire des codes barres et/ou cartes de visites et/ou du texte et/ou faire des portraits et/ou faire des paysages à l'aide d'une même optique, ayant un focus fixe, telle par exemple celle d'un caméraphone, - concevoir et/ou choisir une optique donnant à l'appareil des caractéristiques accrues en terme notamment d'ouverture et de profondeur de champ, - faire des effets sur l'image fonction de la netteté
relative entre au moins deux couleurs et/ou de la distance des objets de la scène imagée, - permettre à l'utilisateur de changer numériquement la mise au point de l'image de la netteté relative entre au moins deux couleurs et/ou de la distance des objets de la scène imagée, - réduire le temps entre la demande de capture et la capture effective de l'image, par suppression ou simplification du système optique de mise au point.
L'invention concerne également un procédé de réalisation d'un appareil de capture qui comprend un système optique de capture, et un capteur, et/ou un système d'asservissement, l'image étant traitée, en vue de son amélioration, par des moyens numériques de traitement d'images ;
procédé dans lequel on détermine ou sélectionne les paramètres du système optique et/ou du capteur et/ou du système d'asservissement, à partir des capacités des moyens numériques
partir d'une image, - améliorer les dispositifs d'asservissement de l'exposition et/ou de mise au point et/ou de flash, - réduire les coûts de l'appareil de capture - réduire, à performances égales, la taille de l'appareil de capture, - lire des codes barres et/ou cartes de visites et/ou du texte et/ou faire des portraits et/ou faire des paysages à l'aide d'une même optique, ayant un focus fixe, telle par exemple celle d'un caméraphone, - concevoir et/ou choisir une optique donnant à l'appareil des caractéristiques accrues en terme notamment d'ouverture et de profondeur de champ, - faire des effets sur l'image fonction de la netteté
relative entre au moins deux couleurs et/ou de la distance des objets de la scène imagée, - permettre à l'utilisateur de changer numériquement la mise au point de l'image de la netteté relative entre au moins deux couleurs et/ou de la distance des objets de la scène imagée, - réduire le temps entre la demande de capture et la capture effective de l'image, par suppression ou simplification du système optique de mise au point.
L'invention concerne également un procédé de réalisation d'un appareil de capture qui comprend un système optique de capture, et un capteur, et/ou un système d'asservissement, l'image étant traitée, en vue de son amélioration, par des moyens numériques de traitement d'images ;
procédé dans lequel on détermine ou sélectionne les paramètres du système optique et/ou du capteur et/ou du système d'asservissement, à partir des capacités des moyens numériques
8 de traitement d'images, de sorte à minimiser les coûts de réalisation et/ou à optimiser les performances de l'appareil de capture.
Dans une réalisation, le procédé comprend en outre l'étape de décomposer l'image numérique en régions ; ledit choix de la couleur nette étant effectué pour chaque région.
Dans une réalisation, ledit choix de la couleur nette consiste à choisir la couleur la plus nette selon une règle prédéterminée.
Dans une réalisation, ledit choix de la couleur nette est prédéterminé.
Dans une réalisation, ladite image numérique est issue d'un appareil de capture et ledit choix de la couleur nette est fonction de la distance entre l'appareil de capture et au moins un objet de la scène capturée pour obtenir ladite image numérique.
Dans une réalisation, ledit appareil de capture d'image comportant un mode macro, ledit choix de la couleur nette est fonction de l'activation du mode macro.
Dans une réalisation, ladite image numérique étant issue d'un appareil de capture, ledit procédé comprend en outre l'étape de déterminer la distance entre l'appareil de capture et au moins un objet de la scène capturée à partir de la netteté
d'au moins deux couleurs dans une région image dudit objet.
Dans une réalisation, le procédé comprend en outre l'étape de réduire la netteté d'au moins une couleur dans au moins une région image.
Dans une réalisation, le procédé comprend en outre l'étape de déterminer une consigne d'asservissement dudit appareil de capture à partir de la netteté d'au moins deux couleurs ; de sorte que la mise au point se fait en moins d'étapes et est accélérée.
Dans une réalisation, ladite image numérique étant issue d'un appareil de capture comprenant une optique, ledit procédé comprend en outre l'étape de choisir une optique parmi
Dans une réalisation, le procédé comprend en outre l'étape de décomposer l'image numérique en régions ; ledit choix de la couleur nette étant effectué pour chaque région.
Dans une réalisation, ledit choix de la couleur nette consiste à choisir la couleur la plus nette selon une règle prédéterminée.
Dans une réalisation, ledit choix de la couleur nette est prédéterminé.
Dans une réalisation, ladite image numérique est issue d'un appareil de capture et ledit choix de la couleur nette est fonction de la distance entre l'appareil de capture et au moins un objet de la scène capturée pour obtenir ladite image numérique.
Dans une réalisation, ledit appareil de capture d'image comportant un mode macro, ledit choix de la couleur nette est fonction de l'activation du mode macro.
Dans une réalisation, ladite image numérique étant issue d'un appareil de capture, ledit procédé comprend en outre l'étape de déterminer la distance entre l'appareil de capture et au moins un objet de la scène capturée à partir de la netteté
d'au moins deux couleurs dans une région image dudit objet.
Dans une réalisation, le procédé comprend en outre l'étape de réduire la netteté d'au moins une couleur dans au moins une région image.
Dans une réalisation, le procédé comprend en outre l'étape de déterminer une consigne d'asservissement dudit appareil de capture à partir de la netteté d'au moins deux couleurs ; de sorte que la mise au point se fait en moins d'étapes et est accélérée.
Dans une réalisation, ladite image numérique étant issue d'un appareil de capture comprenant une optique, ledit procédé comprend en outre l'étape de choisir une optique parmi
9 un ensemble d'optiques prédéterminées ; ladite optique présentant des caractéristiques telles que les images d'un objet à au moins deux distances prédéterminées présentent des couleurs nettes distinctes ; de sorte que la profondeur de champ est améliorée et/ou le coût de l'optique est diminué.
Dans une réalisation, ladite image numérique étant issue d'un appareil de capture comprenant une optique, ledit procédé comprend en outre l'étape de concevoir une optique en tenant compte du procédé selon l'invention ; ladite optique présentant des caractéristiques telles que les images d'un objet à au moins deux distances prédéterminées présentent des couleurs nettes distinctes, - de sorte que la profondeur de champ et/ou l'ouverture et/ou tout autre caractéristique optique est améliorée et/ou le coût de l'optique est diminué, - de sorte que la mise au point mécanique peut se faire avec moins de positions.
Dans une réalisation, la répercussion de la netteté de la couleur nette sur au moins une autre couleur améliorée est réalisée à l'aide d'un calcul du type CA = CN + F(CO - CN) où CA
est représentatif de la couleur améliorée, C0 est représentatif de la couleur améliorée avant traitement, CN est représentatif de la couleur nette et F un filtre, notamment un filtre passe bas.
L'invention concerne également un procédé de réalisation d'un appareil (20) de capture et/ou de restitution d'images qui comprend un système optique (22, 22') de capture et/ou de restitution d'images, un capteur (24) et/ou générateur (24') d'images, et/ou un système d'asservissement (26), l'image étant traitée, en vue de son amélioration, par des moyens numériques (28, 28') de traitement d'images, - le procédé étant tel qu'on détermine ou sélectionne les paramètres du système optique et/ou du capteur et/ou du générateur d'images et/ou du système d'asservissement, à partir des capacités des moyens numériques de traitement d'images, et
Dans une réalisation, ladite image numérique étant issue d'un appareil de capture comprenant une optique, ledit procédé comprend en outre l'étape de concevoir une optique en tenant compte du procédé selon l'invention ; ladite optique présentant des caractéristiques telles que les images d'un objet à au moins deux distances prédéterminées présentent des couleurs nettes distinctes, - de sorte que la profondeur de champ et/ou l'ouverture et/ou tout autre caractéristique optique est améliorée et/ou le coût de l'optique est diminué, - de sorte que la mise au point mécanique peut se faire avec moins de positions.
Dans une réalisation, la répercussion de la netteté de la couleur nette sur au moins une autre couleur améliorée est réalisée à l'aide d'un calcul du type CA = CN + F(CO - CN) où CA
est représentatif de la couleur améliorée, C0 est représentatif de la couleur améliorée avant traitement, CN est représentatif de la couleur nette et F un filtre, notamment un filtre passe bas.
L'invention concerne également un procédé de réalisation d'un appareil (20) de capture et/ou de restitution d'images qui comprend un système optique (22, 22') de capture et/ou de restitution d'images, un capteur (24) et/ou générateur (24') d'images, et/ou un système d'asservissement (26), l'image étant traitée, en vue de son amélioration, par des moyens numériques (28, 28') de traitement d'images, - le procédé étant tel qu'on détermine ou sélectionne les paramètres du système optique et/ou du capteur et/ou du générateur d'images et/ou du système d'asservissement, à partir des capacités des moyens numériques de traitement d'images, et
10 PCT/FR2006/050197 notamment de l'amélioration de la netteté d'une couleur en fonction de la netteté d'une autre couleur selon un procédé
conforme à l'une des revendications précédentes, - de sorte à minimiser les coûts de réalisation et/ou 5 à optimiser les performances de l'appareil de capture et/ou de restitution d'images.
L'invention concerne également un appareil de capture et/ou de restitution d'images utilisant un procédé
d'amélioration de couleur selon une des réalisations précédentes 10 et/ou obtenu par un procédé de réalisation selon la réalisation précédente.
L'invention concerne également une image numérique obtenue selon un procédé conforme à l'une des réalisations précédentes ou à partir d'un appareil conforme à la réalisation précédente.
Finalement, l'invention concerne aussi un dispositif de traitement d'image numérique mettant en oeuvre un procédé
selon l'une des réalisations précédentes.
Définitions :
On précise ici la signification des divers termes utilisés :
- Par image numérique, on entend une image sous forme numérique. L'image peut être issue d'un appareil de capture d' image .
L'image numérique peut être représentée par un ensemble de valeurs numériques, ci-après appelées niveau de gris, chaque valeur numérique étant associée à une sensibilité
en couleur et une position géométrique relative sur une surface ou un volume. On appelle couleur au sens de l'invention, l'ensemble des valeurs numériques associées à la même sensibilité en couleur.
L'image numérique est de préférence l'image brute du capteur (format raw en anglais) avant opération de dématriçage ( demosaicing en anglais). L'image numérique peut
conforme à l'une des revendications précédentes, - de sorte à minimiser les coûts de réalisation et/ou 5 à optimiser les performances de l'appareil de capture et/ou de restitution d'images.
L'invention concerne également un appareil de capture et/ou de restitution d'images utilisant un procédé
d'amélioration de couleur selon une des réalisations précédentes 10 et/ou obtenu par un procédé de réalisation selon la réalisation précédente.
L'invention concerne également une image numérique obtenue selon un procédé conforme à l'une des réalisations précédentes ou à partir d'un appareil conforme à la réalisation précédente.
Finalement, l'invention concerne aussi un dispositif de traitement d'image numérique mettant en oeuvre un procédé
selon l'une des réalisations précédentes.
Définitions :
On précise ici la signification des divers termes utilisés :
- Par image numérique, on entend une image sous forme numérique. L'image peut être issue d'un appareil de capture d' image .
L'image numérique peut être représentée par un ensemble de valeurs numériques, ci-après appelées niveau de gris, chaque valeur numérique étant associée à une sensibilité
en couleur et une position géométrique relative sur une surface ou un volume. On appelle couleur au sens de l'invention, l'ensemble des valeurs numériques associées à la même sensibilité en couleur.
L'image numérique est de préférence l'image brute du capteur (format raw en anglais) avant opération de dématriçage ( demosaicing en anglais). L'image numérique peut
11 également avoir subi un traitement, par exemple un dématriçage, une balance des blancs. De préférence selon l'invention, l'image numérique n'a pas subi de sous-échantillonnage.
- Lorsque l'image numérique est issue d'un appareil de capture d'image, l'appareil de capture d'image comprend un capteur doté d'éléments sensibles. Par élément sensible, on entend un élément du capteur permettant de convertir un flux d'énergie en signal électrique. Le flux d'énergie peut prendre la forme notamment d'un flux lumineux, de rayons X, d'un champ magnétique, d'un champ électromagnétique ou d'ondes sonores. Les éléments sensibles peuvent être selon les cas juxtaposés sur un surface et/ou superposés dans un volume. Les éléments sensibles peuvent être disposés selon une matrice rectangulaire, une matrice hexagonale ou autre géométrie.
- L'invention s'applique à des capteurs comportant des éléments sensibles d'au moins deux types différents, chaque type ayant une sensibilité en couleur, chaque sensibilité en couleur correspondant à la partie du flux d'énergie converti en signal électrique par l'élément sensible du capteur. Dans le cas d'un capteur d'image visible, les capteurs ont généralement une sensibilité en 3 couleurs et l'image numérique a 3 couleurs :
rouge 5.1, vert 5.2 et bleu 5.3 représentées sur la figure 2 qui montre sur l'axe vertical 6.2 la quantité d'énergie convertie et sur l'axe horizontal 6.1 la longueur d'onde. Certains capteurs ont une sensibilité en 4 couleurs rouge, vert, émeraude, bleu.
- Par couleur on entend également une combinaison, notamment linéaire des signaux délivrés par le capteur.
- L'invention s'applique avec les diverses définitions connues de la netteté connues. Par exemple, la netteté d'une couleur peut correspondre à la mesure d'une valeur dénommée BXU
qui est une mesure de la surface de tache de flou, telle que décrite dans l'article publié dans les Proceedings of IEEE, International Conference of Image Processing, Singapore 2004 , et intitulé Uniqueness of Blur Measure de Jérôme BUZZI et Frédéric GUICHARD.
- Lorsque l'image numérique est issue d'un appareil de capture d'image, l'appareil de capture d'image comprend un capteur doté d'éléments sensibles. Par élément sensible, on entend un élément du capteur permettant de convertir un flux d'énergie en signal électrique. Le flux d'énergie peut prendre la forme notamment d'un flux lumineux, de rayons X, d'un champ magnétique, d'un champ électromagnétique ou d'ondes sonores. Les éléments sensibles peuvent être selon les cas juxtaposés sur un surface et/ou superposés dans un volume. Les éléments sensibles peuvent être disposés selon une matrice rectangulaire, une matrice hexagonale ou autre géométrie.
- L'invention s'applique à des capteurs comportant des éléments sensibles d'au moins deux types différents, chaque type ayant une sensibilité en couleur, chaque sensibilité en couleur correspondant à la partie du flux d'énergie converti en signal électrique par l'élément sensible du capteur. Dans le cas d'un capteur d'image visible, les capteurs ont généralement une sensibilité en 3 couleurs et l'image numérique a 3 couleurs :
rouge 5.1, vert 5.2 et bleu 5.3 représentées sur la figure 2 qui montre sur l'axe vertical 6.2 la quantité d'énergie convertie et sur l'axe horizontal 6.1 la longueur d'onde. Certains capteurs ont une sensibilité en 4 couleurs rouge, vert, émeraude, bleu.
- Par couleur on entend également une combinaison, notamment linéaire des signaux délivrés par le capteur.
- L'invention s'applique avec les diverses définitions connues de la netteté connues. Par exemple, la netteté d'une couleur peut correspondre à la mesure d'une valeur dénommée BXU
qui est une mesure de la surface de tache de flou, telle que décrite dans l'article publié dans les Proceedings of IEEE, International Conference of Image Processing, Singapore 2004 , et intitulé Uniqueness of Blur Measure de Jérôme BUZZI et Frédéric GUICHARD.
12 De façon simplifiée, le flou d'un système optique se mesure à partir de l'image, appelée réponse impulsionelle , d'un point infiniment petit situé dans le plan de netteté. Le paramètre BXU est la variance de la réponse impulsionelle (c'est-à-dire sa surface moyenne). Les capacités du traitement peuvent être limitées à une valeur maximale de BXU.
Diverses méthodes de mesures d'une telle netteté sont décrites dans des manuels et publications tels que, par exemple, le Handbook of Image&Video processing édité par Al Bovik et publié par Academic press, pages 415 à 430.
On entend un paramètre relatif à la qualité d'une image telle que généralement acceptée. Dans une réalisation, la netteté d'une couleur est obtenue par calcul d'un gradient. Par exemple la netteté d'une couleur peut être obtenue par un calcul de gradient de 9 niveaux de gris pris en des positions géométriques voisines dans la couleur considérée.
L'invention fait mention de la netteté d'au moins deux couleurs. Selon une réalisation, la netteté d'au moins deux couleurs n'est considérée que de façon relative l'une par rapport à l'autre. Pour cette réalisation, un gradient permet de calculer simplement une netteté relative entre deux couleurs de façon indépendante du contenu de l'image.
L'invention fait mention de choisir parmi les couleurs au moins une couleur dénommée couleur nette . Selon une réalisation, ce choix peut être effectué en déterminant laquelle parmi au moins deux couleurs est la plus nette. Pour cette réalisation, un gradient permet de déterminer simplement la couleur la plus nette parmi au moins deux couleurs.
Dans une implémentation, - Un appareil de capture d'images est, par exemple, un appareil photo jetable, un appareil photo numérique, un appareil reflex (numérique ou pas), un scanner, un fax, un endoscope, une caméra, un caméscope, une caméra de surveillance, un jouet, une caméra ou un appareil photo intégré ou relié à un téléphone, à
Diverses méthodes de mesures d'une telle netteté sont décrites dans des manuels et publications tels que, par exemple, le Handbook of Image&Video processing édité par Al Bovik et publié par Academic press, pages 415 à 430.
On entend un paramètre relatif à la qualité d'une image telle que généralement acceptée. Dans une réalisation, la netteté d'une couleur est obtenue par calcul d'un gradient. Par exemple la netteté d'une couleur peut être obtenue par un calcul de gradient de 9 niveaux de gris pris en des positions géométriques voisines dans la couleur considérée.
L'invention fait mention de la netteté d'au moins deux couleurs. Selon une réalisation, la netteté d'au moins deux couleurs n'est considérée que de façon relative l'une par rapport à l'autre. Pour cette réalisation, un gradient permet de calculer simplement une netteté relative entre deux couleurs de façon indépendante du contenu de l'image.
L'invention fait mention de choisir parmi les couleurs au moins une couleur dénommée couleur nette . Selon une réalisation, ce choix peut être effectué en déterminant laquelle parmi au moins deux couleurs est la plus nette. Pour cette réalisation, un gradient permet de déterminer simplement la couleur la plus nette parmi au moins deux couleurs.
Dans une implémentation, - Un appareil de capture d'images est, par exemple, un appareil photo jetable, un appareil photo numérique, un appareil reflex (numérique ou pas), un scanner, un fax, un endoscope, une caméra, un caméscope, une caméra de surveillance, un jouet, une caméra ou un appareil photo intégré ou relié à un téléphone, à
13 un assistant personnel ou à un ordinateur, une caméra thermique, un appareil d'échographie , un appareil d'imagerie IRM
(résonance magnétique), un appareil de radiographie à rayons X.
Il convient de noter que l'invention concerne de tels appareils lorsqu'ils traitent des images comportant au moins deux couleurs.
- Par système optique de capture d'images, on entend les moyens optiques permettant de restituer des images sur un capteur.
- Par capteur d'images, on entend des moyens mécaniques, chimiques, ou électroniques permettant la capture et/ou l'enregistrement d'une image.
- Par système d'asservissement on entend des moyens de type mécanique, chimique, électronique, ou informatique permettant que des éléments ou paramètres de l'appareil respectent une consigne. Il s'agit notamment du système de mise au point automatique (autofocus), du contrôle automatique de la balance des blancs, du contrôle automatique de l'exposition, du contrôle d'éléments optiques, afin, par exemple, de conserver une qualité uniforme d'images, d'un système de stabilisation d'image, d'un système de contrôle de facteur de zoom optique et/ou numérique, ou d'un système de contrôle de saturation, ou d'un système de contrôle de contraste.
- Les moyens numériques de traitement d'images peuvent prendre diverses formes selon l'application.
Les moyens numériques de traitement d'images peuvent être intégrés, en tout ou partie, à l'appareil, comme dans les exemples suivants :
- Un appareil de capture d'images qui produit des images modifiées, par exemple un appareil photo numérique qui intègre des moyens de traitement d'images.
- Un appareil de restitution d'images qui affiche ou imprime des images modifiées, par exemple un projecteur vidéo ou une imprimante incluant des moyens de traitement d'images.
(résonance magnétique), un appareil de radiographie à rayons X.
Il convient de noter que l'invention concerne de tels appareils lorsqu'ils traitent des images comportant au moins deux couleurs.
- Par système optique de capture d'images, on entend les moyens optiques permettant de restituer des images sur un capteur.
- Par capteur d'images, on entend des moyens mécaniques, chimiques, ou électroniques permettant la capture et/ou l'enregistrement d'une image.
- Par système d'asservissement on entend des moyens de type mécanique, chimique, électronique, ou informatique permettant que des éléments ou paramètres de l'appareil respectent une consigne. Il s'agit notamment du système de mise au point automatique (autofocus), du contrôle automatique de la balance des blancs, du contrôle automatique de l'exposition, du contrôle d'éléments optiques, afin, par exemple, de conserver une qualité uniforme d'images, d'un système de stabilisation d'image, d'un système de contrôle de facteur de zoom optique et/ou numérique, ou d'un système de contrôle de saturation, ou d'un système de contrôle de contraste.
- Les moyens numériques de traitement d'images peuvent prendre diverses formes selon l'application.
Les moyens numériques de traitement d'images peuvent être intégrés, en tout ou partie, à l'appareil, comme dans les exemples suivants :
- Un appareil de capture d'images qui produit des images modifiées, par exemple un appareil photo numérique qui intègre des moyens de traitement d'images.
- Un appareil de restitution d'images qui affiche ou imprime des images modifiées, par exemple un projecteur vidéo ou une imprimante incluant des moyens de traitement d'images.
14 - Un appareil mixte qui corrige les défauts de ses éléments, par exemple un scanner/imprimante/télécopieur incluant des moyens de traitement d'images.
- Un appareil de capture d'image professionnel qui produit des images modifiées, par exemple un endoscope incluant des moyens de traitement d'images.
Selon une réalisation - les moyens numériques de traitement d'images comportent un moyen pour améliorer la qualité d'image en agissant sur au moins l'un des paramètres du groupe comprenant :
les distorsions géométriques du système optique, les aberrations chromatiques du système optique, la compensation de parallaxe, la profondeur de champ, le vignetage du système optique et/ou du capteur et/ou du générateur d'images, le manque de netteté du système optique et/ou du capteur et/ou du générateur d'images, le bruit, les phénomènes de moiré, et/ou le contraste, - et/ou les paramètres déterminés ou sélectionnés du système optique sont choisis dans le groupe comportant : le nombre d'éléments optiques du système, la nature des matériaux composant les éléments optiques du système optique, le coût des matériaux du système optique, le traitement des surfaces optiques, les tolérances d'assemblage, la valeur de la parallaxe en fonction de la focale, les caractéristiques d'ouverture, les mécanismes d'ouverture, la plage de focales possibles, les caractéristiques de mise au point, les mécanismes de mise au point, les filtres anti-alias, l'encombrement, la profondeur de champ, les caractéristiques liant la focale et la mise au point, les distorsions géométriques, les aberrations chromatiques, le décentrement, le vignetage, les caractéristiques de netteté, - et/ou les paramètres déterminés ou sélectionnés du capteur et/ou générateur d'images sont choisis dans le groupe comportant : la qualité des pixels, la superficie des pixels, le nombre de pixels, la matrice de microlentilles, les filtres anti-alias, la géométrie des pixels, la disposition des pixels, - et/ou les paramètres déterminés ou sélectionnés du système d'asservissement sont choisis dans le groupe comportant : la mesure de mise au point, la mesure d'exposition, la mesure de balance des blancs, la consigne de mise au point, 5 la consigne d'ouverture, la consigne de temps de pose, la consigne de gain du capteur, la consigne du flash.
Pour le système d'asservissement permettant la mise au point automatique, on rappelle que la mise au point peut être effectuée de diverses manières notamment par le contrôle de la 10 position d'éléments mobiles du système optique ou par le contrôle de la géométrie d'éléments optiques déformables.
- Les performances d'un appareil de capture sont notamment, son coût, son encombrement, la quantité de lumière minimale qu'il peut recevoir ou émettre, la qualité de l'image,
- Un appareil de capture d'image professionnel qui produit des images modifiées, par exemple un endoscope incluant des moyens de traitement d'images.
Selon une réalisation - les moyens numériques de traitement d'images comportent un moyen pour améliorer la qualité d'image en agissant sur au moins l'un des paramètres du groupe comprenant :
les distorsions géométriques du système optique, les aberrations chromatiques du système optique, la compensation de parallaxe, la profondeur de champ, le vignetage du système optique et/ou du capteur et/ou du générateur d'images, le manque de netteté du système optique et/ou du capteur et/ou du générateur d'images, le bruit, les phénomènes de moiré, et/ou le contraste, - et/ou les paramètres déterminés ou sélectionnés du système optique sont choisis dans le groupe comportant : le nombre d'éléments optiques du système, la nature des matériaux composant les éléments optiques du système optique, le coût des matériaux du système optique, le traitement des surfaces optiques, les tolérances d'assemblage, la valeur de la parallaxe en fonction de la focale, les caractéristiques d'ouverture, les mécanismes d'ouverture, la plage de focales possibles, les caractéristiques de mise au point, les mécanismes de mise au point, les filtres anti-alias, l'encombrement, la profondeur de champ, les caractéristiques liant la focale et la mise au point, les distorsions géométriques, les aberrations chromatiques, le décentrement, le vignetage, les caractéristiques de netteté, - et/ou les paramètres déterminés ou sélectionnés du capteur et/ou générateur d'images sont choisis dans le groupe comportant : la qualité des pixels, la superficie des pixels, le nombre de pixels, la matrice de microlentilles, les filtres anti-alias, la géométrie des pixels, la disposition des pixels, - et/ou les paramètres déterminés ou sélectionnés du système d'asservissement sont choisis dans le groupe comportant : la mesure de mise au point, la mesure d'exposition, la mesure de balance des blancs, la consigne de mise au point, 5 la consigne d'ouverture, la consigne de temps de pose, la consigne de gain du capteur, la consigne du flash.
Pour le système d'asservissement permettant la mise au point automatique, on rappelle que la mise au point peut être effectuée de diverses manières notamment par le contrôle de la 10 position d'éléments mobiles du système optique ou par le contrôle de la géométrie d'éléments optiques déformables.
- Les performances d'un appareil de capture sont notamment, son coût, son encombrement, la quantité de lumière minimale qu'il peut recevoir ou émettre, la qualité de l'image,
15 notamment sa netteté, les caractéristiques techniques de l'optique, du capteur et de l'asservissement ainsi que sa profondeur de champ.
A cet effet, il convient de noter que la profondeur de champ peut être définie comme la plage de distances dans laquelle l'objet génère une image nette, c'est-à-dire dont la netteté est supérieure à un seuil donné pour une couleur, généralement le vert, ou encore, ou comme la distance entre le plan objet le plus proche et le plan objet le plus éloigné pour lesquels la tache de flou ne dépasse pas des dimensions prédéterminées.
Etant donné que la couleur verte prédomine pour définir la netteté d'une image, comme expliqué ultérieurement, il est commun d'utiliser la couleur verte pour définir la profondeur de champ.
L'invention concerne aussi un appareil obtenu par le procédé de réalisation tel que défini ci-dessus.
Selon d'autres caractéristiques de l'invention qui peuvent s'utiliser indépendamment de, ou en combinaison avec, celles décrites ci-dessus :
A cet effet, il convient de noter que la profondeur de champ peut être définie comme la plage de distances dans laquelle l'objet génère une image nette, c'est-à-dire dont la netteté est supérieure à un seuil donné pour une couleur, généralement le vert, ou encore, ou comme la distance entre le plan objet le plus proche et le plan objet le plus éloigné pour lesquels la tache de flou ne dépasse pas des dimensions prédéterminées.
Etant donné que la couleur verte prédomine pour définir la netteté d'une image, comme expliqué ultérieurement, il est commun d'utiliser la couleur verte pour définir la profondeur de champ.
L'invention concerne aussi un appareil obtenu par le procédé de réalisation tel que défini ci-dessus.
Selon d'autres caractéristiques de l'invention qui peuvent s'utiliser indépendamment de, ou en combinaison avec, celles décrites ci-dessus :
16 L'invention concerne un procédé pour commander une action à partir d'une mesure effectuée sur au moins une image numérique, ayant au moins deux couleurs, provenant d'un appareil de capture d'images, dans lequel :
- on mesure la netteté relative entre au moins deux couleurs sur au moins une région R de l'image, et - on commande au moins une action en fonction de la netteté relative mesurée.
Par région en entend une partie ou l'intégralité de l'image. Une région comporte un ou plusieurs pixels, contigus ou non.
Ainsi l'action est notamment adaptée à la distance entre l'objet imagé et l'appareil de capture ou est adaptée à la profondeur relative entre deux objets imagés.
On peut mesurer la netteté relative de différentes façons, par exemple (sans que la liste soit limitative) :
- on peut déterminer la couleur la plus nette, et/ou - on peut choisir parmi les couleurs au moins une couleur dénommée "couleur nette", et/ou - on peut comparer la netteté entre les couleurs, et/ou - on peut calculer un écart de netteté, et/ou - on peut calculer directement la netteté relative.
Divers exemples de mesures de netteté relative seront présentés ci-après, illustrés notamment par les figures 3a, 3b, 4, 5, 6, 7, 8, 9 et 10.
La netteté relative et/ou la mesure de netteté relative dans une région peut s'exprimer par une seule valeur numérique, par exemple rendant compte de la netteté relative moyenne dans la région, ou par plusieurs valeurs numériques rendant compte de la netteté relative en différentes parties de la région.
Selon l'invention, on commande au moins une action fonction de la netteté relative mesurée. Cette action est notamment (sans que la liste soit limitative) :
- un traitement direct ou indirect (via notamment la fourniture de paramètres de traitement ou d'information
- on mesure la netteté relative entre au moins deux couleurs sur au moins une région R de l'image, et - on commande au moins une action en fonction de la netteté relative mesurée.
Par région en entend une partie ou l'intégralité de l'image. Une région comporte un ou plusieurs pixels, contigus ou non.
Ainsi l'action est notamment adaptée à la distance entre l'objet imagé et l'appareil de capture ou est adaptée à la profondeur relative entre deux objets imagés.
On peut mesurer la netteté relative de différentes façons, par exemple (sans que la liste soit limitative) :
- on peut déterminer la couleur la plus nette, et/ou - on peut choisir parmi les couleurs au moins une couleur dénommée "couleur nette", et/ou - on peut comparer la netteté entre les couleurs, et/ou - on peut calculer un écart de netteté, et/ou - on peut calculer directement la netteté relative.
Divers exemples de mesures de netteté relative seront présentés ci-après, illustrés notamment par les figures 3a, 3b, 4, 5, 6, 7, 8, 9 et 10.
La netteté relative et/ou la mesure de netteté relative dans une région peut s'exprimer par une seule valeur numérique, par exemple rendant compte de la netteté relative moyenne dans la région, ou par plusieurs valeurs numériques rendant compte de la netteté relative en différentes parties de la région.
Selon l'invention, on commande au moins une action fonction de la netteté relative mesurée. Cette action est notamment (sans que la liste soit limitative) :
- un traitement direct ou indirect (via notamment la fourniture de paramètres de traitement ou d'information
17 de distance et/ou position et/ou direction) de l'image numérique et/ou d'une autre image numérique, et/ou - une mesure de distance et/ou de direction et/ou de position et/ou de taille et/ou orientation et/ou forme géométrique d'au moins une partie d'au moins un objet ou sujet de la scène, et/ou - une information liée directement ou indirectement à la géométrie de la scène imagée en trois dimensions, et/ou - une détection d'objet notamment un visage et/ou le (ou les) sujet(s) principal(aux) et/ou - une reconnaissance et/ou authentification d'objet, par exemple un visage, et/ou - une mesure de position et/ou mouvement de l'appareil, et/ou - une commande d'asservissement de l'appareil ou d'un autre dispositif tel un robot, et/ou - un cadrage automatique du sujet principal, et/ou - une modification de réglage de l'appareil, et/ou - la production ou le déclenchement d'un signal, et/ou - un ajout, une suppression ou modification d'objet dans l'image numérique ou une autre image numérique, et/ou - toute autre action utilisant directement ou indirectement la mesure de netteté relative.
Selon une réalisation l'action met en oeuvre - l'image numérique, et/ou - une autre image numérique, et/ou - un choix de l'utilisateur de l'appareil, et/ou - au moins une caractéristique de l'appareil de capture lors de la prise de vue et/ou - une autre donnée.
Dans le cas où l'action est relative à un traitement direct ou indirect, le traitement peut consister (sans que la liste soit limitative) en l'une des actions suivantes :
- changer numériquement la mise au point, et/ou
Selon une réalisation l'action met en oeuvre - l'image numérique, et/ou - une autre image numérique, et/ou - un choix de l'utilisateur de l'appareil, et/ou - au moins une caractéristique de l'appareil de capture lors de la prise de vue et/ou - une autre donnée.
Dans le cas où l'action est relative à un traitement direct ou indirect, le traitement peut consister (sans que la liste soit limitative) en l'une des actions suivantes :
- changer numériquement la mise au point, et/ou
18 - faire des effets sur l'image fonction de la netteté
relative entre au moins deux couleurs et/ou de la distance des objets de la scène imagée, et/ou - réduire la netteté d'au moins une couleur dans au moins une région d'une image, et/ou - augmenter la netteté d'au moins une couleur dans au moins une région d'une image, et/ou - effectuer une compression, et/ou - réaliser tout autre traitement décrit dans la présente description.
L'utilisation de la netteté relative mesurée pour commander l'action permet ainsi, notamment, d'adapter l'action à la distance entre au moins une partie d'un objet imagé et l'appareil de mesure, et/ou à la géométrie d'au moins une partie d'un objet et/ou à la position et/ou la taille d'au moins une partie de l'objet, et/ou à la direction d'au moins une partie de 1 ' obj et .
Les procédés connus ne permettent pas de commander ce type d'action à partir d'une mesure de netteté relative d'au moins une région de l'image, mais nécessitent l'emploi d'un dispositif particulier en plus du capteur d'image pour estimer une distance. De plus, les procédés connus ne permettent une mesure de distance qu'en un point ou un nombre limité de points alors que l'invention permet de mesurer la distance en un grand nombre de points simultanément.
Selon une réalisation, l'action commandée est comprise dans le groupe comprenant :
- une détermination de distance entre l'appareil de capture et au moins un objet imagé par l'image numérique, et/ou la détermination de la distance relative entre deux objets imagés,
relative entre au moins deux couleurs et/ou de la distance des objets de la scène imagée, et/ou - réduire la netteté d'au moins une couleur dans au moins une région d'une image, et/ou - augmenter la netteté d'au moins une couleur dans au moins une région d'une image, et/ou - effectuer une compression, et/ou - réaliser tout autre traitement décrit dans la présente description.
L'utilisation de la netteté relative mesurée pour commander l'action permet ainsi, notamment, d'adapter l'action à la distance entre au moins une partie d'un objet imagé et l'appareil de mesure, et/ou à la géométrie d'au moins une partie d'un objet et/ou à la position et/ou la taille d'au moins une partie de l'objet, et/ou à la direction d'au moins une partie de 1 ' obj et .
Les procédés connus ne permettent pas de commander ce type d'action à partir d'une mesure de netteté relative d'au moins une région de l'image, mais nécessitent l'emploi d'un dispositif particulier en plus du capteur d'image pour estimer une distance. De plus, les procédés connus ne permettent une mesure de distance qu'en un point ou un nombre limité de points alors que l'invention permet de mesurer la distance en un grand nombre de points simultanément.
Selon une réalisation, l'action commandée est comprise dans le groupe comprenant :
- une détermination de distance entre l'appareil de capture et au moins un objet imagé par l'image numérique, et/ou la détermination de la distance relative entre deux objets imagés,
19 - une action dépendant de ladite distance et/ou de ladite distance relative, - un traitement sur au moins une zone Z' de l'image numérique et/ou d'une autre image numérique, - un asservissement de l'appareil de capture et/ou un asservissement d'un autre appareil, - la fourniture d'un signal d'indication et/ou d'alarme et/ou d'alerte à un utilisateur, - la détection d'une partie de l'image, - une modification de la netteté d'une couleur, - une détermination de la position et/ou du mouvement de l'appareil de capture, - la détermination de la position dans l'image d'un sujet, - une modification d'au moins une caractéristique de l'image, - une modification de tout ou partie de l'image, - la détermination d'une zone d'intérêt dans l'image, notamment afin de fournir un signal de commande d'asservissement, - la modification de de la résolution tout ou partie de l'image, - la fourniture d'informations relatives à l'image, - la fourniture d'informations à un dispositif de capture de son(s), - le paramétrage d'une compression, - une modification de tout ou partie de l'image, - au moins un réglage de l'appareil de capture.
Selon une réalisation l'action commandée comprend un traitement sur au moins une zone Z' de l'image numérique et/ou d'une autre image numérique.
La zone Z' fait ou non partie de l'image numérique sur 5 laquelle a été effectuée la mesure de netteté relative.
A titre d'exemple de traitement effectué sur une image numérique distincte de celle sur laquelle on mesure la netteté
relative entre au moins deux couleurs, on cite en premier lieu la prise d'une séquence vidéo pour laquelle on peut traiter 10 l'image suivante, ou une autre image, ce traitement consistant à
augmenter (également à titre d'exemple) la netteté.
En effet, on peut augmenter la netteté d'une image suivante étant entendu qu'elle est basée sur la mesure d'une image précédente qui se distingue peu de cette image suivante.
15 Ainsi il n'est pas nécessaire de conserver en mémoire l'image numérique en cours.
Dans un autre exemple : la mesure de netteté est, dans un appareil photo numérique, effectuée sur l'image affichée avant la prise de vue et on traite l'image prise ultérieurement
Selon une réalisation l'action commandée comprend un traitement sur au moins une zone Z' de l'image numérique et/ou d'une autre image numérique.
La zone Z' fait ou non partie de l'image numérique sur 5 laquelle a été effectuée la mesure de netteté relative.
A titre d'exemple de traitement effectué sur une image numérique distincte de celle sur laquelle on mesure la netteté
relative entre au moins deux couleurs, on cite en premier lieu la prise d'une séquence vidéo pour laquelle on peut traiter 10 l'image suivante, ou une autre image, ce traitement consistant à
augmenter (également à titre d'exemple) la netteté.
En effet, on peut augmenter la netteté d'une image suivante étant entendu qu'elle est basée sur la mesure d'une image précédente qui se distingue peu de cette image suivante.
15 Ainsi il n'est pas nécessaire de conserver en mémoire l'image numérique en cours.
Dans un autre exemple : la mesure de netteté est, dans un appareil photo numérique, effectuée sur l'image affichée avant la prise de vue et on traite l'image prise ultérieurement
20 à pleine résolution (alors que la mesure effectuée sur l'image affichée avant prise de vue, est en général à plus basse résolution) à partir de la dernière mesure ou d'une combinaison des dernières mesures.
Dans une réalisation la zone Z' constitue tout ou partie de la région (sur laquelle on a effectué la mesure de netteté relative) de l'image numérique, et/ou l'image numérique entière, et/ou une zone distincte de la région de l'image numérique, et/ou une zone d'une autre image numérique, et/ou une autre image numérique entière.
Quand la zone Z' constitue tout ou partie de la région de l'image numérique, par exemple quand on veut augmenter la profondeur de champ, la zone Z' est un pixel et l'on définit une région de N pixels sur laquelle on mesure la netteté relative et, en fonction de cette netteté relative, on applique un filtre qui transporte la netteté de la couleur la plus nette à l'autre
Dans une réalisation la zone Z' constitue tout ou partie de la région (sur laquelle on a effectué la mesure de netteté relative) de l'image numérique, et/ou l'image numérique entière, et/ou une zone distincte de la région de l'image numérique, et/ou une zone d'une autre image numérique, et/ou une autre image numérique entière.
Quand la zone Z' constitue tout ou partie de la région de l'image numérique, par exemple quand on veut augmenter la profondeur de champ, la zone Z' est un pixel et l'on définit une région de N pixels sur laquelle on mesure la netteté relative et, en fonction de cette netteté relative, on applique un filtre qui transporte la netteté de la couleur la plus nette à l'autre
21 couleur de sorte que la netteté du pixel soit augmentée. Ainsi en répétant cette opération pour chaque pixel, on augmente la profondeur de champ.
La zone Z' sur laquelle est effectuée le traitement peut constituer une image numérique entière, notamment quand on augmente la netteté sur l'image entière.
A titre d'exemple de traitement sur une zone distincte de la région de l'image numérique on citera le cas où l'on effectue la mesure de netteté relative sur une région et on applique le traitement sur une partie d'image centrée correspondant à un zoom numérique.
A titre d'exemple de traitement appliqué à une zone d'une autre image numérique et/ou à une autre image numérique entière, on rappelle l'exemple ci-dessus d'une séquence vidéo, l'autre image numérique étant, par exemple, une image suivant une image vidéo ; l'autre image est aussi, par exemple, l'image numérique prise à pleine résolution pour un appareil photo, alors que l'image sur laquelle est effectuée la mesure est à
basse résolution.
Dans une réalisation, la zone Z' pour laquelle un traitement est commandé comprend au moins un pixel d'une image et la région comprend un voisinage prédéterminé du pixel correspondant dans l'image numérique. L'image traitée peut être l'image numérique. L'image traitée peut être également une autre image, par exemple une image issue du même capteur et capturée après l'image numérique. Dans ce cas, la correspondance entre les pixels des deux images peut se faire en associant les pixels des deux images situés au même endroit. Ce cas présente l'avantage d'éviter le stockage de l'image numérique entre la mesure et le traitement sans artefact gênant si les images sont capturées avec un intervalle de temps faible, par exemple 1/15s.
Dans une réalisation on applique ce traitement à
l'ensemble des pixels d'une image. L'image traitée peut être l'image numérique. L'image traitée peut être également une autre
La zone Z' sur laquelle est effectuée le traitement peut constituer une image numérique entière, notamment quand on augmente la netteté sur l'image entière.
A titre d'exemple de traitement sur une zone distincte de la région de l'image numérique on citera le cas où l'on effectue la mesure de netteté relative sur une région et on applique le traitement sur une partie d'image centrée correspondant à un zoom numérique.
A titre d'exemple de traitement appliqué à une zone d'une autre image numérique et/ou à une autre image numérique entière, on rappelle l'exemple ci-dessus d'une séquence vidéo, l'autre image numérique étant, par exemple, une image suivant une image vidéo ; l'autre image est aussi, par exemple, l'image numérique prise à pleine résolution pour un appareil photo, alors que l'image sur laquelle est effectuée la mesure est à
basse résolution.
Dans une réalisation, la zone Z' pour laquelle un traitement est commandé comprend au moins un pixel d'une image et la région comprend un voisinage prédéterminé du pixel correspondant dans l'image numérique. L'image traitée peut être l'image numérique. L'image traitée peut être également une autre image, par exemple une image issue du même capteur et capturée après l'image numérique. Dans ce cas, la correspondance entre les pixels des deux images peut se faire en associant les pixels des deux images situés au même endroit. Ce cas présente l'avantage d'éviter le stockage de l'image numérique entre la mesure et le traitement sans artefact gênant si les images sont capturées avec un intervalle de temps faible, par exemple 1/15s.
Dans une réalisation on applique ce traitement à
l'ensemble des pixels d'une image. L'image traitée peut être l'image numérique. L'image traitée peut être également une autre
22 image, par exemple une image issue du même capteur et capturée après l'image numérique.
Dans une réalisation le traitement sur au moins la zone Z' comprend la modification d'au moins une caractéristique de l'image faisant partie du groupe comportant : la netteté, le contraste, la luminosité, les détails, la couleur, le type de compression, le taux de compression, le contenu de l'image, la résolution.
Exemple de modification de contraste On augmente le contraste des objets proches et on réduit le contraste des objets du fond, par exemple dans le cas d'une vidéo-conférence. Inversement, on peut réduire le contraste des objets proches et augmenter le contraste des objets de fond pour atténuer l'effet d'un brouillard.
Exemple de modification de luminosité :
Le traitement peut consister à éclairer les objets proches et à sombrir le fond, par exemple pour une vidéo-conférence. Inversement pour une image prise au flash, le traitement de la luminosité va consister à éclairer le fond et assombrir les objets les plus proches pour compenser l'effet du flash.
Exemple de modification des détails Pour une vidéo-conférence on peut réduire les détails des objets du fond, afin de permettre une compression plus élevée pour ces objets de fond, tout en gardant une qualité
maximum pour le sujet principal.
Exemple de modification de couleurs On réduit la saturation en couleurs des régions où la netteté relative est supérieure à un seuil pour éliminer les aberrations chromatiques longitudinales excessives, quelques fois appelées "purple fringing".
Exemple de modification du type de compression Par exemple pour une vidéo-conférence, on fournit à un codec MPEG4 une segmentation objet proche/objet distant, afin de
Dans une réalisation le traitement sur au moins la zone Z' comprend la modification d'au moins une caractéristique de l'image faisant partie du groupe comportant : la netteté, le contraste, la luminosité, les détails, la couleur, le type de compression, le taux de compression, le contenu de l'image, la résolution.
Exemple de modification de contraste On augmente le contraste des objets proches et on réduit le contraste des objets du fond, par exemple dans le cas d'une vidéo-conférence. Inversement, on peut réduire le contraste des objets proches et augmenter le contraste des objets de fond pour atténuer l'effet d'un brouillard.
Exemple de modification de luminosité :
Le traitement peut consister à éclairer les objets proches et à sombrir le fond, par exemple pour une vidéo-conférence. Inversement pour une image prise au flash, le traitement de la luminosité va consister à éclairer le fond et assombrir les objets les plus proches pour compenser l'effet du flash.
Exemple de modification des détails Pour une vidéo-conférence on peut réduire les détails des objets du fond, afin de permettre une compression plus élevée pour ces objets de fond, tout en gardant une qualité
maximum pour le sujet principal.
Exemple de modification de couleurs On réduit la saturation en couleurs des régions où la netteté relative est supérieure à un seuil pour éliminer les aberrations chromatiques longitudinales excessives, quelques fois appelées "purple fringing".
Exemple de modification du type de compression Par exemple pour une vidéo-conférence, on fournit à un codec MPEG4 une segmentation objet proche/objet distant, afin de
23 permettre de compresser fortement l'objet distant pour garder une qualité maximum du sujet principal qui est proche.
Exemple de modification du taux de compression Comme ci-dessus dans le cas d'une vidéo-conférence, le taux de compression peut être plus élevé pour le fond que pour le sujet principal.
Exemple de modification de contenu Le traitement consiste à remplacer un fond par un paysage ou un décor.
Dans une réalisation le traitement comprend une modification de netteté pour chaque pixel de la zone Z' au moyen d'un filtre mélangeant les valeurs attachées au pixel sur un voisinage prédéterminé à chaque pixel, les paramètres du filtre étant fonction de la netteté relative mesurée.
Dans une réalisation la zone Z' est déterminée à
partir de la netteté relative mesurée.
Par exemple, la zone Z' correspond à des parties d'images où la netteté relative est comprise dans une plage donnée correspondant à des parties de l'image contenant des objets se trouvant dans une plage donnée de distances, ce qui permet, par exemple, de traiter différemment un premier plan et l'arrière-plan.
Au sens de l'invention arrière-plan et fond correspondent à la même notion.
Dans une réalisation, la zone Z' constitue un arrière-plan d'une image, notamment destinée à être transmise à
distance, en particulier par un système de visio ou vidéo-conférence. L'image traitée peut être l'image numérique. L'image traitée peut être également une autre image, par exemple une image issue du même capteur et capturée après l'image numérique.
Selon une réalisation le traitement comprend la fourniture d'une information fonction de la distance entre l'objet imagé et l'appareil de capture pour tout ou partie des pixels de la zone Z' et on commande un stockage et/ou une transmission et/ou une utilisation de cette information fonction
Exemple de modification du taux de compression Comme ci-dessus dans le cas d'une vidéo-conférence, le taux de compression peut être plus élevé pour le fond que pour le sujet principal.
Exemple de modification de contenu Le traitement consiste à remplacer un fond par un paysage ou un décor.
Dans une réalisation le traitement comprend une modification de netteté pour chaque pixel de la zone Z' au moyen d'un filtre mélangeant les valeurs attachées au pixel sur un voisinage prédéterminé à chaque pixel, les paramètres du filtre étant fonction de la netteté relative mesurée.
Dans une réalisation la zone Z' est déterminée à
partir de la netteté relative mesurée.
Par exemple, la zone Z' correspond à des parties d'images où la netteté relative est comprise dans une plage donnée correspondant à des parties de l'image contenant des objets se trouvant dans une plage donnée de distances, ce qui permet, par exemple, de traiter différemment un premier plan et l'arrière-plan.
Au sens de l'invention arrière-plan et fond correspondent à la même notion.
Dans une réalisation, la zone Z' constitue un arrière-plan d'une image, notamment destinée à être transmise à
distance, en particulier par un système de visio ou vidéo-conférence. L'image traitée peut être l'image numérique. L'image traitée peut être également une autre image, par exemple une image issue du même capteur et capturée après l'image numérique.
Selon une réalisation le traitement comprend la fourniture d'une information fonction de la distance entre l'objet imagé et l'appareil de capture pour tout ou partie des pixels de la zone Z' et on commande un stockage et/ou une transmission et/ou une utilisation de cette information fonction
24 de la distance, le stockage étant effectué notamment dans un fichier informatique, en particulier dans un fichier image.
On rappelle que la zone Z' peut constituer un point et/ou une région et/ou plusieurs régions et/ou une image complète et/ou un sujet principal et/ou un arrière-plan.
L'information fonction de la distance peut être une distance, par exemple avec une indication de précision, ou une gamme de valeurs de distances telle que, par exemple, une distance inférieure au centimètre, une distance comprise entre 1 et 10 centimètres puis entre 10 centimètres et 1 mètre, et au-delà d'un mètre. L'information fonction de la distance peut aussi être représentée par un critère de type "trop près", "près", "proche", "loin", ou "macro". L'information fonction de la distance peut aussi être traduite en information de nature d'objets ou sujets tels que "portrait" ou "paysage".
On peut ainsi fournir une carte des distances des diverses parties de l'image. On peut aussi fournir la position de la zone par rapport à l'appareil de capture.
L'information fonction de la distance peut comprendre aussi les valeurs des distances des divers éléments de l'image tels que la distance minimum, la distance maximum, la moyenne et l'écart-type.
Il est important de noter que l'invention permet de mesurer plusieurs distances dans une scène à partir d'une seule image alors que l'art antérieur nécessite des moyens complexes tels que l'utilisation de plusieurs caméras disposées à
plusieurs endroits pour effectuer de la stéréoscopie, ou une caméra qui se déplace, ou un télémètre laser ou encore un sonar d'échographie qui ne permet pas d'obtenir une image visible.
Dans une réalisation, l'action commandée comprend une commande d'asservissement de l'appareil de capture comprise dans le groupe constitué par : un asservissement de la mise au point, un asservissement d'exposition, un asservissement de flash, un asservissement de cadrage de l'image, un asservissement de balance des blancs, un asservissement de stabilisation d'image, un asservissement d'un autre appareil ou dispositif lié à
l'appareil de capture tel que le guidage d'un robot.
Exemple de commande d'asservissement de mise au point:
Le sujet principal ou les zones d'intérêt peuvent être 5 détectées par les mesures de distances, à partir de la netteté, le sujet principal ou la zone d'intérêt étant alors la zone la plus proche.
Un asservissement de mise au point réalisé à partir de mesures effectuées directement sur une seule image numérique est 10 particulièrement avantageux par rapport aux asservissements connus de mise au point, ou "autofocus", pour lesquels il est nécessaire d'effectuer des mesures sur des images successives.
De plus un asservissement connu de mise au point consiste à appuyer sur un organe de déclenchement jusqu'à la mi-15 course puis à déplacer le cadrage avant d'appuyer à fond, alors qu'avec l'invention la mise au point peut s'effectuer de façon entièrement automatique ; l'invention permet donc un gain de temps et une meilleure image.
Exemple de commande d'asservissement d'exposition 20 Comme pour l'asservissement de mise au point, le réglage d'exposition est effectué sur le sujet principal qui est détecté automatiquement ; ainsi l'exposition peut être correcte quelle que soit la position du sujet principal dans le cadre de l'image. Autrement dit, comme pour la mise au point,
On rappelle que la zone Z' peut constituer un point et/ou une région et/ou plusieurs régions et/ou une image complète et/ou un sujet principal et/ou un arrière-plan.
L'information fonction de la distance peut être une distance, par exemple avec une indication de précision, ou une gamme de valeurs de distances telle que, par exemple, une distance inférieure au centimètre, une distance comprise entre 1 et 10 centimètres puis entre 10 centimètres et 1 mètre, et au-delà d'un mètre. L'information fonction de la distance peut aussi être représentée par un critère de type "trop près", "près", "proche", "loin", ou "macro". L'information fonction de la distance peut aussi être traduite en information de nature d'objets ou sujets tels que "portrait" ou "paysage".
On peut ainsi fournir une carte des distances des diverses parties de l'image. On peut aussi fournir la position de la zone par rapport à l'appareil de capture.
L'information fonction de la distance peut comprendre aussi les valeurs des distances des divers éléments de l'image tels que la distance minimum, la distance maximum, la moyenne et l'écart-type.
Il est important de noter que l'invention permet de mesurer plusieurs distances dans une scène à partir d'une seule image alors que l'art antérieur nécessite des moyens complexes tels que l'utilisation de plusieurs caméras disposées à
plusieurs endroits pour effectuer de la stéréoscopie, ou une caméra qui se déplace, ou un télémètre laser ou encore un sonar d'échographie qui ne permet pas d'obtenir une image visible.
Dans une réalisation, l'action commandée comprend une commande d'asservissement de l'appareil de capture comprise dans le groupe constitué par : un asservissement de la mise au point, un asservissement d'exposition, un asservissement de flash, un asservissement de cadrage de l'image, un asservissement de balance des blancs, un asservissement de stabilisation d'image, un asservissement d'un autre appareil ou dispositif lié à
l'appareil de capture tel que le guidage d'un robot.
Exemple de commande d'asservissement de mise au point:
Le sujet principal ou les zones d'intérêt peuvent être 5 détectées par les mesures de distances, à partir de la netteté, le sujet principal ou la zone d'intérêt étant alors la zone la plus proche.
Un asservissement de mise au point réalisé à partir de mesures effectuées directement sur une seule image numérique est 10 particulièrement avantageux par rapport aux asservissements connus de mise au point, ou "autofocus", pour lesquels il est nécessaire d'effectuer des mesures sur des images successives.
De plus un asservissement connu de mise au point consiste à appuyer sur un organe de déclenchement jusqu'à la mi-15 course puis à déplacer le cadrage avant d'appuyer à fond, alors qu'avec l'invention la mise au point peut s'effectuer de façon entièrement automatique ; l'invention permet donc un gain de temps et une meilleure image.
Exemple de commande d'asservissement d'exposition 20 Comme pour l'asservissement de mise au point, le réglage d'exposition est effectué sur le sujet principal qui est détecté automatiquement ; ainsi l'exposition peut être correcte quelle que soit la position du sujet principal dans le cadre de l'image. Autrement dit, comme pour la mise au point,
25 l'utilisateur n'a pas besoin de viser le sujet puis d'appuyer à
mi-course puis déplacer le cadrage.
Exemple d'asservissement d'un flash Etant donné que l'invention permet de déterminer le sujet principal, la commande d'éclairement peut être effectuée en fonction de ce sujet principal alors qu'avec l'état de la technique la puissance du flash est réglée en fonction de la mise au point sans détermination du sujet principal, c'est-à-dire, notamment, du sujet le plus proche. Comme indiqué ci-dessus, les sujets moins éclairés peuvent être traités numériquement par éclaircissement.
mi-course puis déplacer le cadrage.
Exemple d'asservissement d'un flash Etant donné que l'invention permet de déterminer le sujet principal, la commande d'éclairement peut être effectuée en fonction de ce sujet principal alors qu'avec l'état de la technique la puissance du flash est réglée en fonction de la mise au point sans détermination du sujet principal, c'est-à-dire, notamment, du sujet le plus proche. Comme indiqué ci-dessus, les sujets moins éclairés peuvent être traités numériquement par éclaircissement.
26 Exemple de commande d'un autre dispositif Quand un robot mobile doit se déplacer, on détermine les régions les plus proches du robot mobile et on détermine à
partir des objets les plus proches du robot mobile une trajectoire libre de tout obstacle.
Dans une réalisation, l'action commandée comprend une fourniture de signal tel qu'un signal d'indication de l'objet d'intérêt principal de l'image numérique, et/ou d'une zone de mise au point, et/ou un signal d'alarme indiquant une modification de la scène surveillée et imagée numériquement, et/ou de distance d'au moins une partie de la scène imagée à
l'appareil de capture.
Par exemple dans un appareil photo numérique on peut disposer un cadre, notamment d'une forme prédéterminée, autour du sujet principal afin d'indiquer au photographe quel est le sujet principal détecté par l'appareil lors de la prise de vue.
Ce signal d'indication du sujet principal est utilisable notamment avant la prise de vue proprement dite pour indiquer au photographe quel sera le sujet ou l'objet le plus net.
Ce signal peut également être une indication que l'objet ou le sujet le plus proche est à une trop faible distance de l'appareil de prise de vue pour pouvoir être net.
Dans ce cas, le signal est constitué, par exemple, par le message en clair "Premier plan trop rapproché", ou par une exagération du flou du premier plan, ou encore par une modification visible de la couleur du premier plan.
Le signal indiquant que la scène ou l'objet de premier plan est à distance trop faible peut tenir compte de l'usage final de l'image qui sera prise, notamment de la résolution choisie pour cet usage. Par exemple un sujet qui serait flou sur un écran de récepteur de télévision ou d'ordinateur peut être net sur un écran de petite taille du type de celui d'un appareil de prise de vue. De même un sujet flou pour une impression sur papier de 24cm x 30cm ne l'est pas forcément pour une impression de 10cm X 15cm.
partir des objets les plus proches du robot mobile une trajectoire libre de tout obstacle.
Dans une réalisation, l'action commandée comprend une fourniture de signal tel qu'un signal d'indication de l'objet d'intérêt principal de l'image numérique, et/ou d'une zone de mise au point, et/ou un signal d'alarme indiquant une modification de la scène surveillée et imagée numériquement, et/ou de distance d'au moins une partie de la scène imagée à
l'appareil de capture.
Par exemple dans un appareil photo numérique on peut disposer un cadre, notamment d'une forme prédéterminée, autour du sujet principal afin d'indiquer au photographe quel est le sujet principal détecté par l'appareil lors de la prise de vue.
Ce signal d'indication du sujet principal est utilisable notamment avant la prise de vue proprement dite pour indiquer au photographe quel sera le sujet ou l'objet le plus net.
Ce signal peut également être une indication que l'objet ou le sujet le plus proche est à une trop faible distance de l'appareil de prise de vue pour pouvoir être net.
Dans ce cas, le signal est constitué, par exemple, par le message en clair "Premier plan trop rapproché", ou par une exagération du flou du premier plan, ou encore par une modification visible de la couleur du premier plan.
Le signal indiquant que la scène ou l'objet de premier plan est à distance trop faible peut tenir compte de l'usage final de l'image qui sera prise, notamment de la résolution choisie pour cet usage. Par exemple un sujet qui serait flou sur un écran de récepteur de télévision ou d'ordinateur peut être net sur un écran de petite taille du type de celui d'un appareil de prise de vue. De même un sujet flou pour une impression sur papier de 24cm x 30cm ne l'est pas forcément pour une impression de 10cm X 15cm.
27 Le signal d'indication de flou peut aussi tenir compte du sujet. Par exemple la détection d'un code barre est plus tolérante au flou qu'une image naturelle.
Exemple de signal d'alarme fourni par un appareil de prise de vue :
Dans un système de vidéo-surveillance d'un objet, l'appareil de prise de vue est réglé pour surveiller deux régions. La première de ces régions est celle où se trouve l'objet et la seconde région est l'ensemble du champ de l'appareil de prise de vue. Si un objet dans le champ de prise de vue se rapproche de l'objet à surveiller, alors une alarme est déclenchée.
Dans une réalisation on fait dépendre l'action commandée d'au moins une caractéristique de l'appareil de capture lors de la prise de vue, notamment la focale, l'ouverture, la distance de mise au point, les paramètres d'exposition, les paramètres de balance des blancs, la résolution, la compression, ou un réglage effectué par l'utilisateur.
En effet, l'action commandée est fonction de la netteté relative mesurée et cette netteté relative entre au moins deux couleurs dépend du réglage de l'appareil de prise de vue notamment de la focale, de l'ouverture et de la distance de mise au point.
Dans une réalisation, l'image numérique constitue une image brute issue du capteur de l'appareil de capture.
Cette disposition facilite la mesure de netteté
relative car si on utilise une image brute ou "raw", la mesure n'est pas affectée par les traitements tels que le dématriçage, le filtrage d'amélioration de netteté, le changement d'espace couleur ou la courbe des tons.
L'image brute issue du capteur peut cependant avoir subi un traitement tel qu'un débruitage, un gain numérique, une compensation de niveau de noir.
Exemple de signal d'alarme fourni par un appareil de prise de vue :
Dans un système de vidéo-surveillance d'un objet, l'appareil de prise de vue est réglé pour surveiller deux régions. La première de ces régions est celle où se trouve l'objet et la seconde région est l'ensemble du champ de l'appareil de prise de vue. Si un objet dans le champ de prise de vue se rapproche de l'objet à surveiller, alors une alarme est déclenchée.
Dans une réalisation on fait dépendre l'action commandée d'au moins une caractéristique de l'appareil de capture lors de la prise de vue, notamment la focale, l'ouverture, la distance de mise au point, les paramètres d'exposition, les paramètres de balance des blancs, la résolution, la compression, ou un réglage effectué par l'utilisateur.
En effet, l'action commandée est fonction de la netteté relative mesurée et cette netteté relative entre au moins deux couleurs dépend du réglage de l'appareil de prise de vue notamment de la focale, de l'ouverture et de la distance de mise au point.
Dans une réalisation, l'image numérique constitue une image brute issue du capteur de l'appareil de capture.
Cette disposition facilite la mesure de netteté
relative car si on utilise une image brute ou "raw", la mesure n'est pas affectée par les traitements tels que le dématriçage, le filtrage d'amélioration de netteté, le changement d'espace couleur ou la courbe des tons.
L'image brute issue du capteur peut cependant avoir subi un traitement tel qu'un débruitage, un gain numérique, une compensation de niveau de noir.
28 La mesure de netteté relative et/ou l'action commandée peut (peuvent) être effectuée(s) dans l'appareil de capture.
La mesure de netteté relative peut être effectuée hors de l'appareil de capture, par exemple sur un ordinateur après transfert de l'image numérique et/ou on commande une action qui est effectuée en dehors de l'appareil de capture.
On peut en effet effectuer une mesure de netteté
relative en dehors de l'appareil de capture ; de même l'action peut être effectuée en dehors de l'appareil de capture, comme déjà mentionné. Par exemple un programme de traitement effectué
sur un ordinateur détermine, à partir des mesures de netteté, la distance de mise au point et/ou la profondeur de champ afin d'effectuer des traitements dépendant de cette distance et/ou de la profondeur de champ.
Dans une réalisation, la commande comprend une commande de détection et/ou reconnaissance d'une partie de l'image, telle qu'une détection et/ou reconnaissance de visage.
Par exemple on sait qu'un visage présente une taille déterminée. Le procédé selon l'invention permet de déterminer la distance entre des objets ou sujets et à l'appareil de capture ;
par ailleurs, à partir de cette information de distance, de la focale et de la taille de l'objet dans l'image, on peut en déduire la présence du visage (qui présente une taille comprise dans une gamme déterminée). Le critère de taille de l'objet peut être complété par d'autres critères tels que, par exemple, les couleurs. La détection d'objet, telle que la détection de visages, peut être utilisée notamment pour, lors d'une téléconférence, effectuer de façon automatique une compression forte du fond. Ce procédé peut aussi être utilisé pour la détection du défaut, afin de le corriger, des yeux rouges, ou pour les reconnaissances de visages (applications biométriques).
Dans une réalisation, l'action commandée comprend une mesure de la position et/ou du mouvement de l'appareil de capture.
La mesure de netteté relative peut être effectuée hors de l'appareil de capture, par exemple sur un ordinateur après transfert de l'image numérique et/ou on commande une action qui est effectuée en dehors de l'appareil de capture.
On peut en effet effectuer une mesure de netteté
relative en dehors de l'appareil de capture ; de même l'action peut être effectuée en dehors de l'appareil de capture, comme déjà mentionné. Par exemple un programme de traitement effectué
sur un ordinateur détermine, à partir des mesures de netteté, la distance de mise au point et/ou la profondeur de champ afin d'effectuer des traitements dépendant de cette distance et/ou de la profondeur de champ.
Dans une réalisation, la commande comprend une commande de détection et/ou reconnaissance d'une partie de l'image, telle qu'une détection et/ou reconnaissance de visage.
Par exemple on sait qu'un visage présente une taille déterminée. Le procédé selon l'invention permet de déterminer la distance entre des objets ou sujets et à l'appareil de capture ;
par ailleurs, à partir de cette information de distance, de la focale et de la taille de l'objet dans l'image, on peut en déduire la présence du visage (qui présente une taille comprise dans une gamme déterminée). Le critère de taille de l'objet peut être complété par d'autres critères tels que, par exemple, les couleurs. La détection d'objet, telle que la détection de visages, peut être utilisée notamment pour, lors d'une téléconférence, effectuer de façon automatique une compression forte du fond. Ce procédé peut aussi être utilisé pour la détection du défaut, afin de le corriger, des yeux rouges, ou pour les reconnaissances de visages (applications biométriques).
Dans une réalisation, l'action commandée comprend une mesure de la position et/ou du mouvement de l'appareil de capture.
29 Dans une réalisation, on garde en mémoire un ou plusieurs objets destinés à rester fixe(s) dans une scène d'une image capturée et la détection de mouvement ou de position est effectuée en déterminant la variation de la netteté relative au cours du temps. Cette disposition peut, par exemple, être utilisée pour réaliser une interface d'ordinateur de type "souris" visuelle en trois dimensions.
Dans une réalisation, l'action commandée comprend la détermination de la position dans l'image du(des) sujet(s) principal(aux).
Le critère de détermination du sujet principal dans une image numérique sera la plus faible distance par rapport à
l'appareil de capture. Toutefois on peut combiner ce critère avec d'autres facteurs. Par exemple, on peut éliminer, par un traitement automatique, des objets en bord de l'image qui seraient proches de l'appareil de capture. Comme précédemment décrit, on peut également tenir compte d'un critère de taille de l'objet, cette taille étant fonction de la focale et de la distance entre l'appareil de capture et l'objet.
Dans une réalisation l'action commandée comprend en outre le cadrage automatique, notamment le centrage, ou le recadrage de l'image numérique et/ou d'une autre image sur le sujet principal de l'image numérique. L'image recadrée peut être l'image numérique. L'image recadrée peut être également une autre image, par exemple une image issue du même capteur et capturée après l'image numérique.
Par exemple, on peut prévoir une mode "gros plan" qui assure automatiquement un cadrage sur un objet de premier plan.
On peut aussi prévoir un mode "buste" qui assure automatiquement le cadrage d'un visage selon la règle dite des trois tiers, par exemple positionné à un tiers de la hauteur et de la largeur de l'image.
Dans une réalisation, l'action commandée comprend l'application d'un traitement qui est fonction, d'une part, de la netteté relative et, d'autre part, d'un critère sélectionné
par l'utilisateur.
Par exemple, le critère sélectionné est le suivant privilégier les parties de l'image qui sont les plus proches de 5 l'appareil de capture. Ainsi la commande peut consister à
augmenter la netteté de ces parties de l'image et réduire la netteté du reste de l'image afin de créer une profondeur de champ inférieure à celle obtenue en réalité. Dans ces conditions on peut simuler le comportement d'un objectif à mise au point et 10 ouverture variables dans une image obtenue avec un objectif sans commande ni de mise au point, ni d'ouverture, comme dans un "caméraphone".
Dans une réalisation, l'action commandée comprend la modification du contraste et/ou de la luminosité et/ou de la 15 couleur et/ou de la netteté d'une image en fonction de la variation de netteté relative dans l'image.
Ainsi on peut simuler un éclairage localisé tel que celui d'un flash ; on peut aussi réduire l'effet d'un flash, par exemple pour réduire les effets de contre-jour ou d'à-plats.
20 Une scène est éclairée par une ou plusieurs sources naturelles ou artificielles ainsi qu'éventuellement par un (ou plusieurs) flash(s) contrôlé(s) par l'appareil.
Il est connu qu'un appareil de capture d'images effectue un contrôle de l'exposition (temps de pose, gain du 25 capteur et, le cas échéant, ouverture), un contrôle de balance des blancs (gain de chaque couleur dans l'ensemble de l'image) et éventuellement du flash (durée et puissance de l'éclair) en fonction de mesures dans une image numérique de la scène (par exemple analyse des zones saturées, analyse d'histogramme,
Dans une réalisation, l'action commandée comprend la détermination de la position dans l'image du(des) sujet(s) principal(aux).
Le critère de détermination du sujet principal dans une image numérique sera la plus faible distance par rapport à
l'appareil de capture. Toutefois on peut combiner ce critère avec d'autres facteurs. Par exemple, on peut éliminer, par un traitement automatique, des objets en bord de l'image qui seraient proches de l'appareil de capture. Comme précédemment décrit, on peut également tenir compte d'un critère de taille de l'objet, cette taille étant fonction de la focale et de la distance entre l'appareil de capture et l'objet.
Dans une réalisation l'action commandée comprend en outre le cadrage automatique, notamment le centrage, ou le recadrage de l'image numérique et/ou d'une autre image sur le sujet principal de l'image numérique. L'image recadrée peut être l'image numérique. L'image recadrée peut être également une autre image, par exemple une image issue du même capteur et capturée après l'image numérique.
Par exemple, on peut prévoir une mode "gros plan" qui assure automatiquement un cadrage sur un objet de premier plan.
On peut aussi prévoir un mode "buste" qui assure automatiquement le cadrage d'un visage selon la règle dite des trois tiers, par exemple positionné à un tiers de la hauteur et de la largeur de l'image.
Dans une réalisation, l'action commandée comprend l'application d'un traitement qui est fonction, d'une part, de la netteté relative et, d'autre part, d'un critère sélectionné
par l'utilisateur.
Par exemple, le critère sélectionné est le suivant privilégier les parties de l'image qui sont les plus proches de 5 l'appareil de capture. Ainsi la commande peut consister à
augmenter la netteté de ces parties de l'image et réduire la netteté du reste de l'image afin de créer une profondeur de champ inférieure à celle obtenue en réalité. Dans ces conditions on peut simuler le comportement d'un objectif à mise au point et 10 ouverture variables dans une image obtenue avec un objectif sans commande ni de mise au point, ni d'ouverture, comme dans un "caméraphone".
Dans une réalisation, l'action commandée comprend la modification du contraste et/ou de la luminosité et/ou de la 15 couleur et/ou de la netteté d'une image en fonction de la variation de netteté relative dans l'image.
Ainsi on peut simuler un éclairage localisé tel que celui d'un flash ; on peut aussi réduire l'effet d'un flash, par exemple pour réduire les effets de contre-jour ou d'à-plats.
20 Une scène est éclairée par une ou plusieurs sources naturelles ou artificielles ainsi qu'éventuellement par un (ou plusieurs) flash(s) contrôlé(s) par l'appareil.
Il est connu qu'un appareil de capture d'images effectue un contrôle de l'exposition (temps de pose, gain du 25 capteur et, le cas échéant, ouverture), un contrôle de balance des blancs (gain de chaque couleur dans l'ensemble de l'image) et éventuellement du flash (durée et puissance de l'éclair) en fonction de mesures dans une image numérique de la scène (par exemple analyse des zones saturées, analyse d'histogramme,
30 analyse de la couleur moyenne) et/ou de mesures faites avec un dispositif complémentaire : télémètre infrarouge, pré-éclair du flash..., asservissement de mise au point permettant de trouver la mise au point produisant l'image la plus nette en comparant la netteté de plusieurs images prises avec des mises au point différentes. Ces contrôles modifient le contraste et/ou la
31 luminosité et/ou la couleur de l'image mais n'utilisent pas une mesure de la netteté relative entre au moins deux couleurs sur au moins une région R de l'image.
D'autre part des traitements connus tels que la courbe des tons et le rendu couleur modifient le contraste et/ou la luminosité et/ou la couleur de l'image mais n'utilisent pas une mesure de la netteté relative entre au moins deux couleurs sur au moins une région R de l'image.
Ces méthodes connues sont limitées par l'absence d'information sur la géométrie de la scène. Par exemple, il est difficile de distinguer un objet naturellement sombre d'un objet peu éclairé. Par exemple encore, un flash ne peut pas éclairer correctement plusieurs sujets, si ceux-ci sont à des distances différentes.
Dans une réalisation, l'action commandée comprend la fourniture, à un système d'asservissement d'exposition et/ou de balance des blancs et/ou de mise au point, de la position d'au moins une zone d'intérêt à prendre en compte, cette zone d'intérêt étant déterminée en comparant au moins deux mesures de nettetés relatives.
Par exemple, la commande d'exposition peut être effectuée sur la partie la plus proche de l'appareil de capture, éventuellement en combinant à un autre critère tel que l'élimination d'objet(s) proche(s), en limite d'image (bord de champ).
L'asservissement de la balance des blancs pourra s'effectuer par exemple sur un sujet de dimension importante au centre de l'image, éventuellement au détriment d'un arrière-plan éclairé différemment. En variante, le procédé consiste à
déterminer une partie proche dans l'image et une partie éloignée et la commande de balance des blancs effectue des mesures séparées sur ces deux régions afin de déterminer la présence ou non de plusieurs éclairages, et effectuer des compensations distinctes pour chacune de ces régions.
D'autre part des traitements connus tels que la courbe des tons et le rendu couleur modifient le contraste et/ou la luminosité et/ou la couleur de l'image mais n'utilisent pas une mesure de la netteté relative entre au moins deux couleurs sur au moins une région R de l'image.
Ces méthodes connues sont limitées par l'absence d'information sur la géométrie de la scène. Par exemple, il est difficile de distinguer un objet naturellement sombre d'un objet peu éclairé. Par exemple encore, un flash ne peut pas éclairer correctement plusieurs sujets, si ceux-ci sont à des distances différentes.
Dans une réalisation, l'action commandée comprend la fourniture, à un système d'asservissement d'exposition et/ou de balance des blancs et/ou de mise au point, de la position d'au moins une zone d'intérêt à prendre en compte, cette zone d'intérêt étant déterminée en comparant au moins deux mesures de nettetés relatives.
Par exemple, la commande d'exposition peut être effectuée sur la partie la plus proche de l'appareil de capture, éventuellement en combinant à un autre critère tel que l'élimination d'objet(s) proche(s), en limite d'image (bord de champ).
L'asservissement de la balance des blancs pourra s'effectuer par exemple sur un sujet de dimension importante au centre de l'image, éventuellement au détriment d'un arrière-plan éclairé différemment. En variante, le procédé consiste à
déterminer une partie proche dans l'image et une partie éloignée et la commande de balance des blancs effectue des mesures séparées sur ces deux régions afin de déterminer la présence ou non de plusieurs éclairages, et effectuer des compensations distinctes pour chacune de ces régions.
32 Si on fournit à l'asservissement de mise au point la position de la zone d'intérêt, l'action de mise au point sera plus rapide et le sujet principal (zone d'intérêt) pourra être suivi, même s'il est en mouvement.
Dans une réalisation, l'action commandée comprend la fourniture d'un signal, destiné à l'utilisateur, indiquant que l'image est trop proche pour être nette.
Dans une réalisation, l'action commandée comprend la modification de résolution d'une image en fonction de la netteté
relative mesurée. L'image peut être l'image numérique. L'image peut être également une autre image, par exemple une image issue du même capteur et capturée après l'image numérique.
Par exemple la résolution est réduite lorsque l'image est prise à une distance de l'appareil de capture qui est trop faible pour obtenir une image nette à pleine résolution, la résolution finale étant choisie pour obtenir une image nette.
Dans une réalisation, l'action commandée comprend la fourniture d'une information, ou signal, utilisée pour une indexation automatique de l'image numérique.
Par exemple, si l'image comporte des sujets ou objets à une distance inférieure à une limite et d'une taille supérieure à un seuil, alors l'indexation pourra consister en la fourniture d'un signal indiquant qu'il s'agit d'un portrait ou d'un groupe de personnes. La distinction entre ces deux situations s'effectue selon que la scène imagée comporte un ou plusieurs objets ou sujets proches. Si la distance des objets ou sujets est supérieure à une limite prédéterminée, alors on peut considérer que l'image représente un paysage.
Selon une réalisation, l'action commandée comprend la fourniture à un dispositif de capture de son(s), d'une information de distance et/ou de direction par rapport à
l'appareil de capture, d'un sujet ou objet dans l'image numérique.
Dans une réalisation, l'action commandée comprend la fourniture d'un signal, destiné à l'utilisateur, indiquant que l'image est trop proche pour être nette.
Dans une réalisation, l'action commandée comprend la modification de résolution d'une image en fonction de la netteté
relative mesurée. L'image peut être l'image numérique. L'image peut être également une autre image, par exemple une image issue du même capteur et capturée après l'image numérique.
Par exemple la résolution est réduite lorsque l'image est prise à une distance de l'appareil de capture qui est trop faible pour obtenir une image nette à pleine résolution, la résolution finale étant choisie pour obtenir une image nette.
Dans une réalisation, l'action commandée comprend la fourniture d'une information, ou signal, utilisée pour une indexation automatique de l'image numérique.
Par exemple, si l'image comporte des sujets ou objets à une distance inférieure à une limite et d'une taille supérieure à un seuil, alors l'indexation pourra consister en la fourniture d'un signal indiquant qu'il s'agit d'un portrait ou d'un groupe de personnes. La distinction entre ces deux situations s'effectue selon que la scène imagée comporte un ou plusieurs objets ou sujets proches. Si la distance des objets ou sujets est supérieure à une limite prédéterminée, alors on peut considérer que l'image représente un paysage.
Selon une réalisation, l'action commandée comprend la fourniture à un dispositif de capture de son(s), d'une information de distance et/ou de direction par rapport à
l'appareil de capture, d'un sujet ou objet dans l'image numérique.
33 Ainsi, dans un caméscope ou un caméraphone, on peut déterminer le (ou les) sujet(s) principal(aux), déterminer les distances et/ou les directions de ces sujets principaux et focaliser la capture du son sur le sujet principal ou les sujets principaux et ainsi éliminer le bruit de fond. La commande de directivité de la capture du son peut être effectuée à l'aide de deux microphones et d'un déphasage entre les signaux de ces microphones.
Une application particulière de cette dernière disposition est, dans une vidéo-conférence, l'utilisation d'un appareil de capture d'image à grand angle et un suivi automatique du sujet qui s'exprime oralement.
Dans une réalisation, l'action commandée comprend le paramétrage d'une compression élevée pour l'arrière-plan et une compres s ion pour le ( s) suj et ( s) principal ( aux) , ce ( s) suj et ( s) principal(aux) étant déterminé(s) comme constituant une zone de l'image satisfaisant à des critères basés sur la netteté
relative mesurée.
Ainsi, par exemple lors d'une visio-conférence, on peut minimiser le débit tout en gardant une visibilité
satisfaisante du sujet principal. Ce dernier est déterminé comme constituant la partie de l'image la plus proche de l'appareil de prise de vue et déterminé différemment comme décrit dans la présente demande.
Dans une réalisation, l'appareil de capture comporte un capteur ayant des pixels munis de filtres colorés d'au moins deux sortes, ces filtres étant choisis de manière que leurs réponses spectrales présentent peu de recouvrement.
Dans ces conditions, on peut maximiser la différence de netteté entre deux couleurs et donc optimiser la précision de la mesure de netteté relative.
Dans une réalisation, l'appareil de capture comporte un capteur présentant des pixels servant principalement à
produire l'image et d'autres pixels servant principalement à la mesure de la netteté relative.
Une application particulière de cette dernière disposition est, dans une vidéo-conférence, l'utilisation d'un appareil de capture d'image à grand angle et un suivi automatique du sujet qui s'exprime oralement.
Dans une réalisation, l'action commandée comprend le paramétrage d'une compression élevée pour l'arrière-plan et une compres s ion pour le ( s) suj et ( s) principal ( aux) , ce ( s) suj et ( s) principal(aux) étant déterminé(s) comme constituant une zone de l'image satisfaisant à des critères basés sur la netteté
relative mesurée.
Ainsi, par exemple lors d'une visio-conférence, on peut minimiser le débit tout en gardant une visibilité
satisfaisante du sujet principal. Ce dernier est déterminé comme constituant la partie de l'image la plus proche de l'appareil de prise de vue et déterminé différemment comme décrit dans la présente demande.
Dans une réalisation, l'appareil de capture comporte un capteur ayant des pixels munis de filtres colorés d'au moins deux sortes, ces filtres étant choisis de manière que leurs réponses spectrales présentent peu de recouvrement.
Dans ces conditions, on peut maximiser la différence de netteté entre deux couleurs et donc optimiser la précision de la mesure de netteté relative.
Dans une réalisation, l'appareil de capture comporte un capteur présentant des pixels servant principalement à
produire l'image et d'autres pixels servant principalement à la mesure de la netteté relative.
34 Dans une réalisation, les pixels servant principalement à mesurer la netteté relative ont une réponse spectrale dans une bande spectrale qui présente peu de recouvrement avec la bande spectrale, des pixels servant principalement à produire l'image.
Dans une réalisation, les pixels servant principalement à produire l'image ont une réponse spectrale principalement dans le domaine visible à l'oeil humain et les autres pixels ont une réponse spectrale principalement en dehors du domaine visible à l'oeil humain.
L'invention concerne aussi un capteur ainsi défini, indépendamment d'un appareil de capture et du procédé, selon l'invention, défini ci-dessus.
L'invention concerne aussi un appareil de capture comportant un tel capteur, cet appareil de capture pouvant aussi s'utiliser indépendamment du procédé défini ci-dessus.
L'invention concerne également, selon une disposition qui peut s'utiliser en combinaison avec les (ou indépendamment des) dispositions définies ci-dessus, un appareil de capture d'images numériques qui comporte un capteur présentant, d'une part, des pixels dont la réponse spectrale est principalement dans le domaine visible à l'oeil humain et, d'autre part, des pixels supplémentaires ayant une réponse spectrale, principalement en dehors du spectre visible à l'oeil humain, ce capteur était tel que la partie d'image issue des pixels supplémentaires présente une netteté, dans au moins une plage de distances entre l'appareil de capture et la scène imagée, supérieure à la netteté de la partie de l'image issue des pixels de réponse spectrale principalement dans le domaine visible.
Les pixels supplémentaires peuvent êtres sensibles au rayonnement infrarouge et/ou ultraviolet. Les pixels sensibles au rayonnement ultraviolet peuvent servir à améliorer la netteté
pour les courtes distances, tandis que les pixels sensibles au rayonnement infrarouge peuvent servir à améliorer à la netteté
aux grandes distances. Par infrarouge et/ou ultraviolet, on peut entendre toute partie du spectre au delà ou en deça du spectre visible, notamment le proche infra-rouge tel que 700 à 800 ou 700 à 900nm., ou le proche ultra violet proche de 400nm.
Dans une réalisation, l'appareil de capture est muni 5 d'une optique fixe, c'est-à-dire dépourvu d'éléments mécaniques pour la mise au point.
Dans ces conditions, on peut effectuer une mise au point par traitement numérique.
Dans une réalisation, l'appareil de capture est muni 10 d'une optique à focale variable sans élément mobile ou déformable de mise au point, la netteté relative entre au moins deux couleurs sur au moins une région R de l'image étant variable selon la focale et/ou la position de l'objet imagé par rapport à l'appareil.
15 On obtient ainsi un dispositif muni d'un zoom plus simple, ce qui permet de réduire la taille et le coût, et d'augmenter la fiabilité.
L'optique à focale variable comporte par exemple un seul groupe optique mobile ou déformable.
20 On sait qu'un zoom est réalisé avec au moins deux groupes mobiles, par exemple un ou deux pour la focale et l'autre pour la mise au point. En général, la mise au point et la focale sont indépendantes, c'est-à-dire que lorsque la focale varie, il n'est pas nécessaire de modifier la mise au point.
25 Ceci élimine le temps nécessaire à la mise au point. Il existe également des optiques à focale variable, dites varifocales, moins onéreuses, dans lesquelles la mise au point doit être modifiée lorsque la focale varie. Enfin, il existe des zooms afocaux dans lesquels, deux groupes optiques mobiles liés de 30 manière complexe sont utilisés pour faire varier la focale, la mise au point étant réalisée par un troisième groupe.
Dans une réalisation, l'image numérique est issue d'au moins deux capteurs.
Par exemple, chaque capteur est dédié à une couleur déterminée. On peut par exemple faire appel à un capteur du type tri-CCD avec une optique commune d'imagerie sur ces capteurs.
Dans une réalisation, l'action commandée comprend l'ajout d'un objet dans une image et/ou le remplacement d'une partie d'une image en fonction de la netteté relative mesurée sur l'image numérique.
Par exemple, le procédé permet d'ajouter un personnage à côté du sujet principal. On peut aussi, à titre d'exemple, ajouter un objet dans une position donnée dans l'image ; l'objet aura la taille correcte dans l'image si l'on tient compte de la distance de la scène imagée à cette position.
On peut également modifier l'arrière-plan ou éventuellement le masquer.
On peut aussi extraire une partie de l'image, tel que le sujet principal, et l'insérer dans une autre image, de type naturel ou de synthèse, par exemple dans le cadre d'un jeu.
Il est également possible d'ajouter une information publicitaire en un endroit déterminé et une distance fixée de la scène, par exemple derrière le sujet principal.
Dans une réalisation, le procédé comprend la capture d'une séquence d'images, l'image numérique faisant partie de la séquence et l'action commandée étant effectuée sur au moins une autre image de la séquence.
Ainsi, comme déjà décrit, l'estimation de la netteté
relative peut être effectuée sur des images de prévisualisation avant prise de vue, a plus faible résolution, alors que la correction peut être effectuée sur une image définitivement mémorisée, par exemple au moyen d'un choix de filtres résultant d'une mesure effectuée sur les images de prévisualisation.
Dans une réalisation l'action commandée comprend la modification d'un réglage de l'appareil de capture, notamment la focale, l'ouverture, la distance de mise au point.
Ainsi, l'appareil de prise de vue peut comporter un programme de réglage automatique tel que l'ouverture est augmentée si le sujet principal se trouve devant un fond, l'arrière-plan pouvant alors être flou. Le programme de réglage peut aussi adapter automatiquement l'ouverture à la distance des sujets d'un groupe afin que la profondeur de champ soit suffisante pour que tous les sujets du groupe soient nets. On notera que, dans ce dernier cas, on obtient une fonction réalisée automatiquement alors qu'elle est effectuée de façon manuelle dans l'état de la technique.
Dans une réalisation l'action commandée comprend la production d'une image brute modifiée.
L'image numérique est de préférence l'image brute du capteur (format "raw" en anglais) avant opération de dématriçage ("demosaicing" en anglais) . L'image numérique peut également avoir subi un traitement, par exemple, une balance des blancs.
De préférence, l'image numérique n'a pas subi de sous-échantillonnage.
On obtient ainsi un ensemble à système optique, capteur et moyen de traitement d'image qui produit une image brute présentant une meilleure qualité ou des caractéristiques particulières, par exemple une extension de la profondeur de champ, tout en conservant des caractéristiques similaires à une image brute directement issue du capteur et en particulier une comptabilité avec les blocs fonctionnels ou composants connus effectuant la fonction de conversion image brute vers image visible ("image pipe" ou "image signal processor" en anglais).
En variante, l'image brute a subi un dématriçage.
Dans une réalisation, l'optique de l'appareil de capture présente de fortes aberrations chromatiques longitudinales, par exemple telles que, pour une mise au point, une ouverture et une focale déterminées, il existe au moins une couleur pour laquelle la distance objet de meilleure netteté est inférieure à
r2 kJ
O.P
k étant un coefficient inférieur à 0,7, de préférence inférieur à 0,5, f étant la focale, 0 l'ouverture et P le plus petit (parmi toutes les couleurs de l'image) des diamètres de la tache de flou d'un point objet se trouvant à l'infini.
Dans une réalisation la mesure de netteté relative entre deux couleurs est obtenue par la comparaison entre les résultats d'une première mesure M appliquée à la première couleur et le résultat de la seconde mesure appliquée à la seconde couleur, chaque mesure M fournissant une valeur fonction, d'une part, de la netteté de la couleur et, d'autre part, du contenu de l'image numérique, afin que la comparaison puisse s'affranchir du contenu de l'image numérique.
FYpmple de définition et de réalisation de mesure de netteté relative :
La comparaison des nettetés est effectuée en utilisant une mesure M sur des pixels de l'image numérique.
La mesure M en un pixel P donné, pour un canal de couleur C donnée correspond au gradient de la variation de C
dans un voisinage P. Elle est obtenue par le calcul suivant :
Pour une couleur C donnée, on considère V(P) un voisinage du pixel P.
On note GM la moyenne de l'amplitude des gradients sur le voisinage V(P), et SM la moyenne de l'amplitude des différences entre GM et les gradients sur le voisinage V(P).
Un gradient se calcule par l'amplitude de la différence de valeurs de deux pixels d'une même couleur. Les gradients dans le voisinage V(P) correspondent aux gradients mettant en jeu un nombre prédéterminé de couples de pixels dans le voisinage V(P).
La mesure M au pixel P ayant une couleur C peut être définie par le rapport entre SM et GM. On obtient ainsi une valeur M (P, C).
Cette mesure ne permet pas, en elle-même, de caractériser précisément et complètement la netteté de la couleur C. En effet, elle dépend du contenu de l'image (type de scène imagée : textures, dégradés, etc...) dans le voisinage V(P) du pixel P. Une transition franche dans la scène imagée pour une même netteté de couleur, générera une mesure M plus élevée qu'une transition douce dans la scène imagée. Sur des images naturelles, une transition sera présente de la même façon dans chaque couleur, affectant ainsi la mesure M de la même façon entre les couleurs. Autrement dit quand une transition franche apparaît sur une couleur C, le même type de transition apparaît sur les autres couleurs.
Ainsi, la comparaison des mesures M permet d'établir la netteté relative entre une couleur Cl et une couleur C2.
La netteté relative, entre deux couleurs Cl et C2, mesurée en un pixel P peut se définir par exemple comme une comparaison entre les deux mesures M(P,C1) et M(P,C2). Ainsi M(P,C1)>M(P,C2) implique que Cl est plus net que C2.
Par exemple aussi, on pourra utiliser une des formules suivantes :
M(P,C1)-M(P,C2), M(P,C1)/M(P,C2), Ou tout autre fonction F(M ( P, C1) , M(P, C2 ) adaptée à la comparaison entre les deux mesures.
La netteté relative dans une région R de l'image peut être définie en utilisant la mesure M sur tous les pixels P de la région R.
La netteté relative dans une région R de l'image peut être l'ensemble ou un sous-ensemble des nettetés relatives mesurées pour les pixels P de la région R. Elle peut aussi être définie comme une valeur unique telle que la somme S des mesures sur tous les pixels P de la région R pour chacune des couleurs.
Ainsi, pour deux couleurs Cl et C2, on peut par exemple considérer que S(C1)>S (C2) implique que Cl est plus net que C2 en moyenne sur la région R.
On peut aussi utiliser toute autre fonction G(S(C1),S(C2)) permettant la comparaison de ces deux mesures.
Dans une réalisation, lorsque l'action commandée 5 consiste à déterminer la position du sujet principal dans l'image, l'action commandée comprend en outre le cadrage automatique, notamment le centrage de l'image sur le sujet principal.
Le procédé peut être mis en oeuvre dans un appareil ou 10 dispositif de capture d'image ou de traitement d'image. Ces appareils ou dispositifs font partie du groupe comprenant : un composant électronique, intégrant ou non un capteur, un sous-ensemble électronique intégrant une optique, un capteur et éventuellement un module de traitement d'image ("caméra module") 15 ou toute autre forme comme définie ci-dessus.
D'autres caractéristiques et avantages de l'invention apparaîtront avec la description de certains de ses modes de réalisation, celle-ci étant effectuée en se référant aux dessins ci-annexés sur lesquels :
20 - les figures la et lb, déjà décrites, sont des schémas représentatifs de l'aberration chromatique longitudinale d'une lentille convergente, - la figure 2, déjà décrite, est le diagramme spectral en couleur d'une image, 25 - les figures 3a et 3b sont des diagrammes représentant l'amélioration de la netteté d'une couleur au moyen d'une même couleur nette selon l'invention, - la figure 4 est un diagramme représentant l'amélioration de la netteté d'une couleur au moyen de 30 différentes couleurs nettes associées à des régions distinctes d'une image selon l'invention, - les figures 5, 6 et 7 sont des diagrammes représentant l'amélioration de la netteté d'une couleur au moyen de différentes couleurs nettes associées à l'ensemble d'une
Dans une réalisation, les pixels servant principalement à produire l'image ont une réponse spectrale principalement dans le domaine visible à l'oeil humain et les autres pixels ont une réponse spectrale principalement en dehors du domaine visible à l'oeil humain.
L'invention concerne aussi un capteur ainsi défini, indépendamment d'un appareil de capture et du procédé, selon l'invention, défini ci-dessus.
L'invention concerne aussi un appareil de capture comportant un tel capteur, cet appareil de capture pouvant aussi s'utiliser indépendamment du procédé défini ci-dessus.
L'invention concerne également, selon une disposition qui peut s'utiliser en combinaison avec les (ou indépendamment des) dispositions définies ci-dessus, un appareil de capture d'images numériques qui comporte un capteur présentant, d'une part, des pixels dont la réponse spectrale est principalement dans le domaine visible à l'oeil humain et, d'autre part, des pixels supplémentaires ayant une réponse spectrale, principalement en dehors du spectre visible à l'oeil humain, ce capteur était tel que la partie d'image issue des pixels supplémentaires présente une netteté, dans au moins une plage de distances entre l'appareil de capture et la scène imagée, supérieure à la netteté de la partie de l'image issue des pixels de réponse spectrale principalement dans le domaine visible.
Les pixels supplémentaires peuvent êtres sensibles au rayonnement infrarouge et/ou ultraviolet. Les pixels sensibles au rayonnement ultraviolet peuvent servir à améliorer la netteté
pour les courtes distances, tandis que les pixels sensibles au rayonnement infrarouge peuvent servir à améliorer à la netteté
aux grandes distances. Par infrarouge et/ou ultraviolet, on peut entendre toute partie du spectre au delà ou en deça du spectre visible, notamment le proche infra-rouge tel que 700 à 800 ou 700 à 900nm., ou le proche ultra violet proche de 400nm.
Dans une réalisation, l'appareil de capture est muni 5 d'une optique fixe, c'est-à-dire dépourvu d'éléments mécaniques pour la mise au point.
Dans ces conditions, on peut effectuer une mise au point par traitement numérique.
Dans une réalisation, l'appareil de capture est muni 10 d'une optique à focale variable sans élément mobile ou déformable de mise au point, la netteté relative entre au moins deux couleurs sur au moins une région R de l'image étant variable selon la focale et/ou la position de l'objet imagé par rapport à l'appareil.
15 On obtient ainsi un dispositif muni d'un zoom plus simple, ce qui permet de réduire la taille et le coût, et d'augmenter la fiabilité.
L'optique à focale variable comporte par exemple un seul groupe optique mobile ou déformable.
20 On sait qu'un zoom est réalisé avec au moins deux groupes mobiles, par exemple un ou deux pour la focale et l'autre pour la mise au point. En général, la mise au point et la focale sont indépendantes, c'est-à-dire que lorsque la focale varie, il n'est pas nécessaire de modifier la mise au point.
25 Ceci élimine le temps nécessaire à la mise au point. Il existe également des optiques à focale variable, dites varifocales, moins onéreuses, dans lesquelles la mise au point doit être modifiée lorsque la focale varie. Enfin, il existe des zooms afocaux dans lesquels, deux groupes optiques mobiles liés de 30 manière complexe sont utilisés pour faire varier la focale, la mise au point étant réalisée par un troisième groupe.
Dans une réalisation, l'image numérique est issue d'au moins deux capteurs.
Par exemple, chaque capteur est dédié à une couleur déterminée. On peut par exemple faire appel à un capteur du type tri-CCD avec une optique commune d'imagerie sur ces capteurs.
Dans une réalisation, l'action commandée comprend l'ajout d'un objet dans une image et/ou le remplacement d'une partie d'une image en fonction de la netteté relative mesurée sur l'image numérique.
Par exemple, le procédé permet d'ajouter un personnage à côté du sujet principal. On peut aussi, à titre d'exemple, ajouter un objet dans une position donnée dans l'image ; l'objet aura la taille correcte dans l'image si l'on tient compte de la distance de la scène imagée à cette position.
On peut également modifier l'arrière-plan ou éventuellement le masquer.
On peut aussi extraire une partie de l'image, tel que le sujet principal, et l'insérer dans une autre image, de type naturel ou de synthèse, par exemple dans le cadre d'un jeu.
Il est également possible d'ajouter une information publicitaire en un endroit déterminé et une distance fixée de la scène, par exemple derrière le sujet principal.
Dans une réalisation, le procédé comprend la capture d'une séquence d'images, l'image numérique faisant partie de la séquence et l'action commandée étant effectuée sur au moins une autre image de la séquence.
Ainsi, comme déjà décrit, l'estimation de la netteté
relative peut être effectuée sur des images de prévisualisation avant prise de vue, a plus faible résolution, alors que la correction peut être effectuée sur une image définitivement mémorisée, par exemple au moyen d'un choix de filtres résultant d'une mesure effectuée sur les images de prévisualisation.
Dans une réalisation l'action commandée comprend la modification d'un réglage de l'appareil de capture, notamment la focale, l'ouverture, la distance de mise au point.
Ainsi, l'appareil de prise de vue peut comporter un programme de réglage automatique tel que l'ouverture est augmentée si le sujet principal se trouve devant un fond, l'arrière-plan pouvant alors être flou. Le programme de réglage peut aussi adapter automatiquement l'ouverture à la distance des sujets d'un groupe afin que la profondeur de champ soit suffisante pour que tous les sujets du groupe soient nets. On notera que, dans ce dernier cas, on obtient une fonction réalisée automatiquement alors qu'elle est effectuée de façon manuelle dans l'état de la technique.
Dans une réalisation l'action commandée comprend la production d'une image brute modifiée.
L'image numérique est de préférence l'image brute du capteur (format "raw" en anglais) avant opération de dématriçage ("demosaicing" en anglais) . L'image numérique peut également avoir subi un traitement, par exemple, une balance des blancs.
De préférence, l'image numérique n'a pas subi de sous-échantillonnage.
On obtient ainsi un ensemble à système optique, capteur et moyen de traitement d'image qui produit une image brute présentant une meilleure qualité ou des caractéristiques particulières, par exemple une extension de la profondeur de champ, tout en conservant des caractéristiques similaires à une image brute directement issue du capteur et en particulier une comptabilité avec les blocs fonctionnels ou composants connus effectuant la fonction de conversion image brute vers image visible ("image pipe" ou "image signal processor" en anglais).
En variante, l'image brute a subi un dématriçage.
Dans une réalisation, l'optique de l'appareil de capture présente de fortes aberrations chromatiques longitudinales, par exemple telles que, pour une mise au point, une ouverture et une focale déterminées, il existe au moins une couleur pour laquelle la distance objet de meilleure netteté est inférieure à
r2 kJ
O.P
k étant un coefficient inférieur à 0,7, de préférence inférieur à 0,5, f étant la focale, 0 l'ouverture et P le plus petit (parmi toutes les couleurs de l'image) des diamètres de la tache de flou d'un point objet se trouvant à l'infini.
Dans une réalisation la mesure de netteté relative entre deux couleurs est obtenue par la comparaison entre les résultats d'une première mesure M appliquée à la première couleur et le résultat de la seconde mesure appliquée à la seconde couleur, chaque mesure M fournissant une valeur fonction, d'une part, de la netteté de la couleur et, d'autre part, du contenu de l'image numérique, afin que la comparaison puisse s'affranchir du contenu de l'image numérique.
FYpmple de définition et de réalisation de mesure de netteté relative :
La comparaison des nettetés est effectuée en utilisant une mesure M sur des pixels de l'image numérique.
La mesure M en un pixel P donné, pour un canal de couleur C donnée correspond au gradient de la variation de C
dans un voisinage P. Elle est obtenue par le calcul suivant :
Pour une couleur C donnée, on considère V(P) un voisinage du pixel P.
On note GM la moyenne de l'amplitude des gradients sur le voisinage V(P), et SM la moyenne de l'amplitude des différences entre GM et les gradients sur le voisinage V(P).
Un gradient se calcule par l'amplitude de la différence de valeurs de deux pixels d'une même couleur. Les gradients dans le voisinage V(P) correspondent aux gradients mettant en jeu un nombre prédéterminé de couples de pixels dans le voisinage V(P).
La mesure M au pixel P ayant une couleur C peut être définie par le rapport entre SM et GM. On obtient ainsi une valeur M (P, C).
Cette mesure ne permet pas, en elle-même, de caractériser précisément et complètement la netteté de la couleur C. En effet, elle dépend du contenu de l'image (type de scène imagée : textures, dégradés, etc...) dans le voisinage V(P) du pixel P. Une transition franche dans la scène imagée pour une même netteté de couleur, générera une mesure M plus élevée qu'une transition douce dans la scène imagée. Sur des images naturelles, une transition sera présente de la même façon dans chaque couleur, affectant ainsi la mesure M de la même façon entre les couleurs. Autrement dit quand une transition franche apparaît sur une couleur C, le même type de transition apparaît sur les autres couleurs.
Ainsi, la comparaison des mesures M permet d'établir la netteté relative entre une couleur Cl et une couleur C2.
La netteté relative, entre deux couleurs Cl et C2, mesurée en un pixel P peut se définir par exemple comme une comparaison entre les deux mesures M(P,C1) et M(P,C2). Ainsi M(P,C1)>M(P,C2) implique que Cl est plus net que C2.
Par exemple aussi, on pourra utiliser une des formules suivantes :
M(P,C1)-M(P,C2), M(P,C1)/M(P,C2), Ou tout autre fonction F(M ( P, C1) , M(P, C2 ) adaptée à la comparaison entre les deux mesures.
La netteté relative dans une région R de l'image peut être définie en utilisant la mesure M sur tous les pixels P de la région R.
La netteté relative dans une région R de l'image peut être l'ensemble ou un sous-ensemble des nettetés relatives mesurées pour les pixels P de la région R. Elle peut aussi être définie comme une valeur unique telle que la somme S des mesures sur tous les pixels P de la région R pour chacune des couleurs.
Ainsi, pour deux couleurs Cl et C2, on peut par exemple considérer que S(C1)>S (C2) implique que Cl est plus net que C2 en moyenne sur la région R.
On peut aussi utiliser toute autre fonction G(S(C1),S(C2)) permettant la comparaison de ces deux mesures.
Dans une réalisation, lorsque l'action commandée 5 consiste à déterminer la position du sujet principal dans l'image, l'action commandée comprend en outre le cadrage automatique, notamment le centrage de l'image sur le sujet principal.
Le procédé peut être mis en oeuvre dans un appareil ou 10 dispositif de capture d'image ou de traitement d'image. Ces appareils ou dispositifs font partie du groupe comprenant : un composant électronique, intégrant ou non un capteur, un sous-ensemble électronique intégrant une optique, un capteur et éventuellement un module de traitement d'image ("caméra module") 15 ou toute autre forme comme définie ci-dessus.
D'autres caractéristiques et avantages de l'invention apparaîtront avec la description de certains de ses modes de réalisation, celle-ci étant effectuée en se référant aux dessins ci-annexés sur lesquels :
20 - les figures la et lb, déjà décrites, sont des schémas représentatifs de l'aberration chromatique longitudinale d'une lentille convergente, - la figure 2, déjà décrite, est le diagramme spectral en couleur d'une image, 25 - les figures 3a et 3b sont des diagrammes représentant l'amélioration de la netteté d'une couleur au moyen d'une même couleur nette selon l'invention, - la figure 4 est un diagramme représentant l'amélioration de la netteté d'une couleur au moyen de 30 différentes couleurs nettes associées à des régions distinctes d'une image selon l'invention, - les figures 5, 6 et 7 sont des diagrammes représentant l'amélioration de la netteté d'une couleur au moyen de différentes couleurs nettes associées à l'ensemble d'une
35 image selon l'invention, - la figure 8 est un diagramme représentant l'asservissement d'un appareil en fonction d'un écart de netteté
entre la couleur nette et la couleur à améliorer selon l'invention, - la figure 9 est un diagramme représentant le choix d'une couleur nette à partir d'une distance mesurée entre un objet et un appareil capturant l'image de cet objet, - la figure 10 est un diagramme représentant la réduction de la netteté d'au moins une couleur dans au moins une région de l'image, - la figure 11 est un schéma d'un appareil obtenu par le procédé selon l'invention, - la figure 12 un diagramme montrant des étapes du procédé selon l'invention, - la figure 13 montre un mode de réglage conforme à
l'invention, - la figure 14a et 14b forment un ensemble de diagrammes montrant des réglages utilisés dans le cadre de l'invention, - les figures 15, 15a, et 15b illustrent une propriété
d'un appareil de capture d'images selon l'invention et d'un appareil conventionnel, - les figures 16a à 16d sont des diagrammes montrant les propriétés d'un système optique d'un appareil selon l'invention et d'un appareil classique, - les figures 17a et 17b sont des schémas montrant un exemple de sélection de système optique pour un appareil selon l'invention, - la figure 18 est un diagramme illustrant des caractéristiques d'un appareil de prise de vue selon l'invention, - les figures 18.1 et 18.2 représentent des moyens de mise en aeuvre du procédé selon l'invention, - les figures 19.1, 19.2 et 19.3 représentent des étapes du procédé selon l'invention selon plusieurs variantes de réalisation, et - les figures 20.1 et 20.2 représentent d'autres réalisations de l'invention.
Conformément à l'invention, le procédé décrit ci-dessous améliore la netteté d'au moins une couleur d'une image numérique en choisissant parmi les couleurs de l'image au moins une couleur dénommée couleur nette et en répercutant la netteté de la couleur nette sur au moins une autre couleur améliorée, comme montré ci-dessous à l'aide des figures 3a et 3b.
Plus précisément, sur la figure 3a est représentée la netteté (axe 7.2 des ordonnées) de deux couleurs 13.1 et 13.2 en fonction de la distance des objets qu'elles représentent sur l'image considérée vis-à-vis de l'appareil ayant capturé l'image (axe 7.1 des abscisses).
Comme précédemment expliqué, la netteté de ces deux couleurs varie différemment en fonction de cette distance mais globalement, dans cet exemple, la première couleur 13.2 présente une meilleure netteté que celle d'une deuxième couleur 13.1 de cette même image.
C'est pourquoi, selon le procédé conforme à
l'invention, on répercute la netteté de la première couleur 13.2 pour effectuer l'amélioration 14 de la netteté de la deuxième couleur 13.1 qui présente, après cette amélioration, une netteté
13.3 accrue.
Dans cet exemple, CA, CO et CN sont respectivement des valeurs représentatives de la couleur améliorée, de la couleur d'origine (ou à améliorer) et de la couleur nette. Dans cet exemple, la couleur nette est la première couleur. La couleur d'origine et la couleur améliorée correspondent à la deuxième couleur avant et après traitement.
On effectue la répercussion de la netteté sur la deuxième couleur en utilisant un filtre F, selon une formule du type .
CA=CN+F (C0-CN) Typiquement, le filtre F présentera la particularité
d'enlever les détails de l'image sur laquelle on l'applique.
Pour cela on pourra utiliser un filtre linéaire passe-bas (ou moyenneur). On peut également utiliser un des nombreux filtres non linéaires connus présentant la particularité d'enlever des détails comme par exemple un filtre médian.
A ce stade, il convient de rappeler que la rétine humaine présente une sensibilité particulièrement élevée, vis-à-vis des détails d'une image, pour la couleur verte de telle sorte que le réglage des systèmes optiques vise généralement à
obtenir une netteté élevée pour cette couleur pour une certaine plage de mise au point (cf, par exemple, les pages 30 à 33 de l'ouvrage Color appearance models , de Mark D. Fairchild édité par Addison Wesley).
Ainsi, selon une constatation propre à l'invention, un dispositif optique délivrant des images dont la netteté n'est pas satisfaisante pour l'oeil humain peut présenter une netteté
satisfaisante pour une de ses couleurs, telles que le bleu ou le rouge, pour lesquelles l'aeil présente une sensibilité moindre lorsqu'il considère des détails.
Typiquement, pour une optique de mise au point à
grandes distances (hyperfocal), en considérant une image présentant un objet proche et un objet lointain, il apparaît que la netteté de l'objet lointain est généralement favorisée avec une couleur verte tandis que la netteté de l'objet proche est améliorée en considérant la couleur bleue.
Il apparaît alors important de pouvoir améliorer des régions d'une image selon différentes couleurs nettes en fonction de la netteté relative entre deux couleurs.
De fait, dans une réalisation de l'invention, on choisit la couleur nette servant à améliorer la netteté d'une couleur en fonction de régions de l'image, un tel procédé étant décrit ci-dessous à l'aide de la figure 4 qui montre une image comprenant deux régions 11.1 et 11.2.
Dans ces deux régions sont présentes deux couleurs 8.2 5 et 8.3. Toutefois, la netteté (axe des ordonnées 7.2) de ces couleurs est telle que, dans la région 11.1, la couleur 8.2 est la plus nette tandis que, dans la région 11.2, la couleur 8.3 est la plus nette.
Dès lors, l'amélioration d'une couleur dans la région 10 11.2 s'effectue en considérant la couleur 8.3 comme couleur nette tandis que l'amélioration d'une couleur dans la région 11.1 s'effectue en considérant la couleur 8.2 comme couleur nette.
A ce niveau, il convient de noter que les régions d'une image peuvent être prédéterminées ou non. Par exemple, dans le cas d'une image numérique faite de pixels, une région peut être une zone spatiale délimitée par un ou plusieurs pixels.
En outre, il est possible de choisir une couleur nette pour améliorer une autre couleur en effectuant une simple comparaison de la netteté d'une couleur par rapport aux autres, au moins une autre, indépendamment de toute notion de distance telle que celle représentée par l'axe 7.1.
Dans ce cas, une telle analyse se présente sous la forme, par exemple, d'un tableau Zone 11.1 11.2 Netteté 8.2>8.3 8.3>8.2 Dans ce cas, on sélectionne la couleur 8.2 comme couleur nette dans la région 11.1 tandis que la couleur 8.3 est la couleur nette dans la zone 11.2.
Indépendamment de l'utilisation de régions dans une image, il peut être avantageux de considérer différentes couleurs nettes pour améliorer une couleur sur une image, comme décrit ci-dessous à l'aide des figures 5, 6 et 7.
Plus précisément, le diagramme de la figure 5 représente la netteté (axe des ordonnées 7.2) de deux couleurs 5 8.2 et 8.3 en fonction de la distance (7.1) entre au moins un objet de la scène capturée pour obtenir ladite image et l'appareil de capture.
Il apparaît que sur la plage 9.1, la couleur 8.3 présente une netteté supérieure à la netteté de la couleur 8.2 10 tandis que la situation est inverse pour de plus grandes distances (plage 9.2).
Dans ce cas, un procédé conforme à l'invention peut considérer la couleur 8.3 comme couleur nette, servant à
corriger la netteté d'une couleur, sur la plage de distances 15 9.1, tandis que la couleur 8.2 est considérée comme la couleur nette pour améliorer une couleur issue d'un objet de la scène capturée pour obtenir l'image située à une distance de l'appareil de capture comprise dans la plage 9.2.
Suite à de telles corrections, la netteté des couleurs 20 sur l'image peut être améliorée vers un profil tel que montré
sur le diagramme 6, à savoir la juxtaposition des couleurs les plus nettes sur l'image.
Il est clair que, de façon analogue à la description de la figure 4, il est possible de choisir une couleur nette 25 pour améliorer une autre couleur en effectuant une simple comparaison de la netteté d'une couleur par rapport aux autres, au moins une autre, indépendamment de toute notion de distance telle que celle représentée par l'axe 7.1.
Les courbes de netteté représentées dans les figures 30 déjà décrites 3a, 3b, 4, 5 et 6 et décrites ultérieurement 7 à
10, peuvent varier selon la position géométrique de la région considérée de l'image et/ou d'autres paramètres de capture d'image tels que la focale, l'ouverture, mise au point, etc...
Pour déterminer la couleur la plus nette au sens de l'invention, il n'est pas besoin de connaître les paramètres indiqués ci-dessus.
Dans d'autres cas, et notamment pour déterminer la distance selon l'invention et/ou pour contrôler la profondeur de champ, il est nécessaire de connaître certains de ces paramètres ainsi que les courbes de netteté, au moins de façon(s) partielle(s) ou approximatives pour certaines valeurs de ces paramètres.
Par ailleurs, le choix de la couleur nette peut aussi être déterminé par l'activation logicielle d'au moins un mode de capture d'image tel qu'un mode macro comme décrit ultérieurement. Dans un tel cadre, on pourra considérer l'image comme une seule région.
Il convient de préciser que sur ces figures 5 et 6 est représenté un seuil 8.1 qui indique le niveau requis de netteté, au delà duquel l'image est considérée comme floue.
Dans un traitement classique, représenté en figure 7, un tel seuil 8.1 définit la profondeur de champ, c'est-à-dire la plage 9.2 de distances entre au moins un objet de la scène capturée pour obtenir ladite image, et l'appareil de capture, telle que l'image de l'objet soit nette.
Une conséquence de l'invention est donc de permettre une extension de la profondeur de champ d'un système optique comme détaillé ci-dessous à l'aide de la figure 9. Sur cette figure, la profondeur de champ d'un appareil de capture, initialement limitée par la netteté de la couleur 8.2 et le seuil de netteté 8.1, est accrue en utilisant une deuxième couleur 8.3 présentant une netteté satisfaisante (en dessous du seuil 8.1) sur une nouvelle plage de distances entre au moins un objet de la scène capturée pour obtenir ladite image et l'appareil de capture.
Concrètement, une telle application est mise en oeuvre dans les appareils photographiques à focus fixe, tels que les caméraphones. En effet, la conception optique de ces appareils prévoit une plage de netteté pour de grandes distances jusqu'à
quelques dizaines de centimètres au mieux sur la base d'une couleur verte, analogue à la couleur 8.2 de la figure 5.
Par ailleurs, la couleur bleue ne focalisant pas de la même façon, elle peut présenter une netteté à des distances plus faibles que la couleur verte, de façon analogue à la couleur 8.3.
Dès lors, l'invention permet d'augmenter la netteté d'une image à faible distance d'un caméraphone en attribuant à la couleur verte, et aux autres couleurs, la netteté de la couleur bleue, augmentant de façon corollaire la profondeur de champ de l'appareil.
Dans un mode de réalisation de l'invention, montré à
l'aide de la figure 8, plus particulièrement adapté à un appareil de capture muni d'un autofocus, le procédé détermine une consigne d'asservissement de l'appareil de capture considéré
à partir de la netteté d'au moins deux couleurs de l'image saisie de sorte que la mise au point se fait en moins d'étapes et donc plus rapidement.
Par exemple, une distance 17.1 entre au moins un objet de la scène imagée et le système optique 1 capturant l'image peut être déterminée à l'aide des différents niveaux de netteté (axe 7.2 des ordonnées) des couleurs 8.2 et 8.3 utilisées dans la région 11.3 relative à l'image de l'objet.
Connaissant une telle distance entre l'objet 4 et le système 1, il est alors possible de déterminer une consigne 5 d'asservissement de l'appareil 6 de capture. Cette figure 8 sera décrite ci-après de façon plus détaillée.
Selon une autre réalisation de l'invention, montrée à
l'aide de la figure 10, on réduit la netteté d'au moins une couleur dans au moins une région de l'image.
Application Macro On va maintenant décrire, en s'appuyant sur les figures 5, 6 et 7, une réalisation du procédé et système selon l'invention, plus particulièrement adaptée à la réalisation d'une fonction Macro sans nécessité d'un dispositif mécanique particulier pour un appareil de capture d'image connu. Une fonction macro est destinée à permettre la réalisation d'image d'objets proches de l'appareil de capture dans une plage prédéterminée de distances, dite plage de distances macro 9.1, à
l'appareil. Habituellement, un appareil de capture permet de déplacer tout ou partie de l'optique pour réaliser la fonction macro. Le procédé ou système objet de l'invention permet de s'affranchir d'un tel déplacement.
Selon l'invention, on prédétermine la couleur la plus nette pour la plage de distances macro 9.1, par exemple par mesure de la netteté 8.2 et 8.3 des couleurs des images numériques obtenues par l'appareil de capture pour chaque couleur en réalisant des images numériques à partir d'objets situés à différentes distances de l'appareil de capture. La couleur la plus nette (figure 5) est celle correspondant à la mesure 8.3. Cette prédétermination peut être réalisée de façon définitive, par exemple au moment de la conception de l'appareil (ou de la série d'appareils).
Par la suite, lors de l'utilisation de l'appareil, lorsque la fonction Macro est activée, on répercute alors la netteté de la couleur nette ainsi prédéterminée sur les autres couleurs, comme décrit précédemment. Lorsque la fonction Macro est désactivée, on peut calculer la netteté de l'image numérique par une méthode classique ou en utilisant le procédé selon l'invention appliqué à la plage de distances 9.2.
On obtient ainsi une fonction macro compatible d'une optique à mise au point fixe sans aucun mécanisme mobile, donc sans changer l'encombrement de l'appareil de capture d'image ni ajouter de surcoût matériel. Le mode macro peut ainsi être activé de façon logicielle au niveau de l'appareil ou de tout autre dispositif traitant l'image. Cette activation logicielle peut se faire ainsi de façon classique avant la capture de l'image mais également après cette capture et sur un dispositif local ou distant de l'appareil de capture. Selon une variante, l'activation du mode macro peut être faite automatiquement par exemple en déterminant l'image la plus nette entre l'image générée en mode normal et l'image générée en mode macro.
La fonction macro réalisée selon l'invention, bénéficie également à un appareil comportant des paramètres variables au moment de la capture de l'image numérique et ayant une influence sur la netteté des couleurs, notamment un appareil de capture avec zoom, et/ou une optique avec mise au point variable et/ou une ouverture variable. On utilise alors les courbes de netteté
8.2 et 8.3 correspondant à la valeur des paramètres variables selon l'image numérique.
L' aj out de fonction macro permet la prise de vue de code barre, de carte de visite, ou de manuscrit contenant texte et/ou schéma par un appareil de capture d'image, notamment un téléphone ou un appareil photo.
Application extension de profondeur de champ On va maintenant décrire en s'appuyant sur les figures 4, 5, 6 et 7 une réalisation du procédé et système selon l'invention, plus particulièrement adaptée à la l'extension de la profondeur de champ sans nécessité d'un dispositif mécanique particulier pour un appareil de capture d'image connu. La profondeur de champ correspond à la plage de distances, entre les objets de la scène et l'appareil de capture d'image, permettant l'obtention d'une image numérique nette.
Habituellement, un appareil de capture a une profondeur de champ limitée et d'autant plus faible que l'ouverture de l'optique est grande.
Selon l'invention et comme représenté sur la figure 4, on 5 décompose l'image numérique en régions 11.1 et 11.2 par exemple en régions carrées correspondant à 9 éléments sensibles voisins du capteur, ou, de manière plus générale, en régions correspondant à X par Y éléments sensibles ou en régions de forme prédéterminée ou calculée selon l'image numérique. On 10 choisit alors pour chaque région la couleur la plus nette, par exemple comme la couleur correspondant à la valeur la plus faible parmi les valeurs obtenues par calcul d'un gradient pour chaque couleur à partir des niveaux de gris correspondant à la couleur et la région considérées. Sur la figure 4, la couleur 15 correspondant à la courbe 8.3 est plus nette pour la région 11.2 alors que la couleur correspondant à la courbe 8.2 est plus nette pour la région 11.1.
On répercute alors pour chaque région la netteté de la couleur nette ainsi choisie sur les autres couleurs.
En s'appuyant sur la figure 5, on peut voir que l'image numérique d'objets proches -de distance 5 à l'appareil de 20 capture comprises dans la plage de distances 9.1- est nette pour la couleur correspondant à la courbe 8.3 (par exemple le bleu) alors qu'elle l'est moins pour la couleur correspondant à la courbe 8.2 (par exemple le vert). On peut voir également que l'image numérique d'objets lointains -de distances à l'appareil 25 de capture comprises dans la plage de distances 9.2- est nette pour la couleur correspondant à la courbe 8.2 alors qu'elle l'est moins pour la couleur correspondant à la courbe 8.3. L'oeil étant beaucoup plus sensible à la netteté dans le vert que le bleu, il va percevoir une netteté correspondant à la courbe 8.5 30 de la figure 7. Si 8.1 correspond au seuil de netteté pour l'oeil, l'image ne sera nette que pour les objets situés à une distance de l'appareil de capture dans la plage 9.2. La figure 6 représente, par la courbe 8.4, la netteté obtenue dans chaque couleur après utilisation du procédé selon l'invention : le bleu a permis d'obtenir une netteté meilleure que le seuil 8.1 pour les objets proches, situés dans la plage de distances 9.1, alors que le vert a permis d'obtenir une netteté meilleure que le seuil 8.1 pour les objets distants, situés dans la plage de distances 9.2. On obtient ainsi une image numérique nette pour toutes les couleurs dans une grande plage de profondeur de champ.
Ceci constitue un exemple où le choix de la couleur nette est effectué selon une règle prédéterminée à savoir le choix de la couleur la plus nette dans chaque région.
Ainsi la profondeur de champ est augmentée sans augmenter le coût, la complexité ou l'encombrement de l'optique et/ou sans avoir besoin de changer l'exposition, donc sans réduire l'ouverture, ni augmenter le niveau de bruit ou augmenter le flou de bougé.
L'augmentation de profondeur de champ réalisée selon l'invention bénéficie notamment aux optiques fixes, notamment aux téléphones. L'augmentation de profondeur de champ permet à
la fois la prise de vue de code barre, de carte de visite, ou de manuscrit contenant texte et/ou schéma ainsi que de portraits ou de paysages par un appareil de capture d'image, notamment un téléphone ou un appareil photo. Ceci est possible sans utiliser de dispositif coûteux d'autofocus ou macro. De plus ce dispositif, comparé à un dispositif macro mécanique manuel est réalisé de manière entièrement automatique sans aucune intervention de l'utilisateur.
L'augmentation de profondeur de champ réalisée selon l'invention, bénéficie également à un appareil comportant des paramètres variables au moment de la capture de l'image numérique et ayant une influence sur la netteté des couleurs, notamment un appareil de capture avec zoom, et/ou une optique avec mise au point variable et/ou une ouverture variable. On utilise alors les courbes de netteté 8.2 et 8.3 correspondant à
la valeur des paramètres variables selon l'image numérique.
Le procédé et dispositif selon l'invention permet alors de choisir ou concevoir, comme décrit ultérieurement à l'aide des figures 11 à 17b, lors de la conception de l'appareil de capture, une optique avec un nombre plus limité de positions de mise au point, ce qui a pour avantage de réduire les contraintes de conception de l'optique et donc d'en diminuer les coûts. Ceci a également pour avantage de permettre une mise au point plus rapide et moins coûteuse en diminuant la précision nécessaire du mécanisme d'asservissement.
Par exemple, pour obtenir une optique de grande profondeur de champ on peut choisir ou concevoir une optique ayant la caractéristique d'avoir l'union des plages de distances nettes pour chacune des couleurs la plus grande possible.
Par exemple, pour obtenir une optique de grande ouverture on peut choisir ou concevoir une optique ayant la caractéristique d'avoir une seule couleur nette dans chacune des plages de distances et telle que l'union des plages de distances nettes pour chacune des couleurs corresponde à la profondeur de champ souhaitée.
Par exemple encore, on peut aussi optimiser à la fois l'ouverture de l'appareil et la profondeur de champ de l'image.
On obtient aussi un procédé et un dispositif qui permettent de réduire les aberrations chromatiques longitudinales d'une image numérique.
On obtient également un procédé et dispositif qui permet d'augmenter la netteté d'une image sans connaître l'appareil de capture utilisé pour la produire.
Application à la mesure de la distance des objets d'une scène à partir d'une seule image On va maintenant décrire en s'appuyant sur la figure 8 une réalisation du procédé et système selon l'invention, plus particulièrement adaptée à la mesure de la distance des objets d'une scène à partir d'une seule image sans nécessité d'un dispositif matériel de mesure de télémétrie. Le procédé permet alors d'obtenir une estimation de distance des objets présents dans chaque région de l'image numérique.
Habituellement, un appareil de capture utilise un dispositif matériel pour mesurer la distance des objets d'une scène basée sur un laser, un dispositif infrarouge, un pré-éclair de flash...
Selon l'invention, et comme représenté sur la figure 8, on décompose l'image numérique en régions 11.3 par exemple en régions carrées correspondant à 9 éléments sensibles voisins du capteur, ou, de manière plus générale, en régions correspondant à X par Y éléments sensibles ou en régions de forme prédéterminée ou calculée selon l'image numérique. On mesure alors pour chaque région 11.3 la netteté d'au moins deux couleurs, on reporte alors les valeurs mesurées, ou les valeurs relatives mesurées 16.1 et 16.2, sur les courbes 8.2 et 8.3 correspondantes de netteté de l'appareil de capture. On obtient alors une distance 17.2 correspondant à une estimation de la distance 17.1 entre la partie de l'objet 4 représentée sur la région 11.3 et l'appareil de capture.
La mesure de distance réalisée selon l'invention bénéficie notamment aux optiques fixes, notamment aux téléphones.
La mesure de distance réalisée selon l'invention, bénéficie également à un appareil comportant des paramètres variables au moment de la capture de l'image numérique et ayant une influence sur la netteté des couleurs notamment un appareil de capture avec zoom, et/ou une optique avec mise au point variable et/ou une ouverture variable. On utilise alors les courbes de netteté
8.2 et 8.3 correspondant à la valeur des paramètres variables selon l'image numérique.
Le procédé permet alors d'obtenir une estimation de distance des objets présents dans chaque région de l'image numérique. Ceci permet :
- de construire un dispositif télémètre temps réel et bas coût à l'aide d'un capteur et d'une optique standard qui délivre une image et des informations de distance corrélées à l'image ;
habituellement, plusieurs prises de vues sont nécessaires ou un dispositif matériel spécifique est nécessaire et l'association image/information de distance est complexe ;
- par exemple on affiche la distance en temps réel sur l'image, - par exemple l'information de distance permet de guider un robot, - d'accélérer la mise au point d'appareils de capture à
mise au point ou focale variable : on peut en effet déterminer, à partir d'une seule image, la consigne d'asservissement à
appliquer pour obtenir la mise au point désirée, par exemple sur le sujet central ou dans une zone de mise au point sélectionnée par l'utilisateur, - de tenir compte de la distance des divers objets d'une scène pour régler la puissance d'un flash et notamment du sujet principal ou du sujet dans la zone de mise au point, - de tenir compte de la distance des divers objets d'une scène pour le dispositif d'auto-exposition de l'appareil de capture, afin par exemple de privilégier le sujet principal ou le sujet dans la zone de mise au point sélectionnée par 5 l'utilisateur pour un portrait, - de définir automatiquement le sujet principal sans avoir besoin de demander à l'utilisateur de le définir.
10 Application au contrôle de profondeur de champ, indépendamanent de 1'exposition On va maintenant décrire en s'appuyant sur les figures 4, 5, 6 et 7 une réalisation du procédé et système selon 15 l'invention, plus particulièrement adaptée au contrôle de la profondeur de champ, sans nécessité d'un dispositif mécanique particulier pour un appareil de capture d'image connu. Le procédé permet alors d'obtenir une image nette pour des objets situés à une distance de l'appareil de capture correspondant à
20 une plage de netteté et une image floue pour les autres objets.
Habituellement, un appareil de capture a une profondeur de champ limitée et d'autant plus faible que l'ouverture de l'optique est grande et donc la profondeur de champ et l'exposition sont liés de sorte qu'un choix doit être fait en basse lumière entre 25 profondeur de champ, bruit et flou de bougé. Selon la réalisation, il est possible de contrôler séparément exposition et profondeur de champ.
Selon l'invention et comme représenté sur la figure 4, on 30 décompose l'image numérique en régions 11.1 et 11.2 par exemple en régions carrées correspondant à 9 éléments sensibles voisins du capteur, ou, de manière plus générale en régions correspondant à X par Y éléments sensibles ou en régions de forme prédéterminée ou calculée selon l'image numérique. On 35 choisit alors pour chaque région la couleur la plus nette, par exemple comme la couleur correspondant à la valeur la plus faible parmi les valeurs obtenues par calcul d'un gradient pour chaque couleur à partir des niveaux de gris correspondant à la couleur et la région considérées. Sur la figure 4, la couleur correspondant à la courbe 8.2 est plus nette pour la région 11.2 alors que la couleur correspondant à la courbe 8.3 est plus nette pour la région 11.1.
On répercute alors pour chaque région la netteté de la couleur nette ainsi choisie sur les autres couleurs comme décrit précédemment. Comme on l'a vu précédemment, on obtient ainsi une image numérique nette pour toutes les couleurs dans une grande plage de profondeur de champ.
On utilise, pour déterminer la distance entre l'appareil de capture et les objets de la scène capturée dans la région de l'image numérique :
- soit, comme décrit précédemment, la netteté d'au moins deux couleurs pour chaque région, - soit un autre procédé ou dispositif de mesure de distance plus précis.
On peut alors diminuer la netteté, par exemple par un filtre gaussien, ou par un filtre simulant un bokeh, dans les régions et/ou dans des parties du champ contenant des objets situés à des distances hors de la plage de netteté souhaitée.
Par exemple pour un portrait, on peut obtenir un arrière plan flou qui met en valeur le visage sans avoir besoin d'une optique de grande ouverture. Par exemple pour un paysage, on peut obtenir une grande profondeur de champ sauf éventuellement pour des objets isolés dans les coins qui peuvent nuire à la lisibilité de l'image. Par exemple, pour une scène comportant des objets proches dans le coin suite à un mauvais cadrage, on peut rendre flous ces objets proches. Par exemple on peut laisser le choix à l'utilisateur de la profondeur de champ, soit dans l'appareil, soit lors d'un post-traitement sur un ordinateur.
Ainsi la profondeur de champ est contrôlée sans avoir besoin de changer l'exposition donc sans modifier l'ouverture, ni augmenter le niveau de bruit ou augmenter le flou de bougé.
Le contrôle de profondeur de champ réalisé selon l'invention bénéficie notamment aux optiques fixes, notamment aux téléphones. Le contrôle de profondeur de champ permet à la fois la prise de vue de code barre, de carte de visite, ou de manuscrit contenant texte et/ou schéma ainsi que de portraits ou de paysages par un appareil de capture d'image, notamment un téléphone ou un appareil photo. Ceci est possible sans utiliser de dispositif coûteux d'optique de grande ouverture. De plus ce dispositif peut être réalisé de manière entièrement automatique sans aucune intervention de l'utilisateur.
Le contrôle de profondeur de champ réalisé selon l'invention, bénéficie également à un appareil comportant une optique mobile, notamment un zoom. Un amateur averti peut ainsi contrôler directement ou indirectement indépendamment la profondeur de champ et l'exposition.
La figure 11 est un schéma illustrant l'architecture d'un appareil de capture ou de restitution d'images.
Un tel appareil, par exemple de capture d'images, comporte, d'une part, un système optique 122, notamment à un ou plusieurs éléments optiques telles que des lentilles, destiné à
former une image sur un capteur 124.
Bien que les exemples concernent principalement un capteur 124 du type électronique, ce capteur peut être d'un autre type, par exemple une pellicule photographique dans le cas d'un appareil dit argentique .
Un tel appareil comporte aussi un système d'asservissement 126 agissant sur le système optique 122 et/ou sur le capteur 124 pour effectuer une mise au point afin que le plan image se trouve sur le capteur 124, et/ou pour que la quantité de lumière reçue sur le capteur soit optimale par réglage du temps de pose et/ou d'ouverture, et/ou pour que les couleurs obtenues soient correctes, en effectuant un asservissement de la balance des blancs.
Enfin, l'appareil comprend des moyens numériques de traitement d'images 128.
En variante, ces moyens numériques de traitement d'images sont séparés de l'appareil 120. Il est également possible de prévoir une partie des moyens de traitement d'images dans l'appareil 120 et une partie en dehors de l'appareil 120.
Le traitement numérique de l'image est effectué après l'enregistrement d'images par le capteur 124.
Un appareil de restitution d'images présente une structure analogue à un appareil de capture d'images. A la place d'un capteur 124, on prévoit un générateur 124' d'images recevant des images de moyens 128' numériques de traitement d'images et fournissant les images à un système optique 122', tel qu'un système optique de projection.
Dans ce qui suit, pour la clarté de l'exposé, on se réfèrera uniquement aux appareils de capture d'images.
L'invention consiste, selon un de ses aspects, qui peut être utilisé indépendamment des aspects précédemment décrits, à partir des capacités des moyens 128, 128' de traitement numérique d'images pour déterminer ou sélectionner les paramètres du système optique 122, 122', et/ou du capteur ou générateur d'images 124, 124' et/ou du système d'asservissement 126.
On a présenté sur le diagramme de la figure 12 le niveau des performances que l'on peut atteindre avec chacun des composants de l'appareil lorsqu'ils sont associés à des moyens numériques de traitement d'images. Ces niveaux sont représentés par le trait interrompu 130 pour le système optique, le trait interrompu 132 pour le capteur, le trait interrompu 134 pour l'asservissement, et le trait interrompu 136 pour l'appareil.
Partant de ces niveaux de performances que l'on peut obtenir avec les moyens numériques de traitement d'images, on peut choisir des niveaux de performance de chacun des composants de l'appareil qui soient, avant traitement, sensiblement inférieurs aux niveaux des performances obtenues après application des moyens de traitement. On voit ainsi que le niveau des performances du système optique peut être établi au niveau 130', les niveaux des performances du capteur et du système d'asservissement peuvent être établis aux niveaux, respectivement 132' et 134'.
Dans ces conditions, en l'absence de traitement numérique, le niveau des performances de l'appareil serait au niveau le plus bas, par exemple le niveau 136' correspondant au niveau le plus bas 130' pour le système optique.
Les moyens numériques de traitement d'images sont de préférence ceux décrits dans les documents suivants :
- Demande de brevet EP 02751241.7 ayant pour titre Procédé et système pour produire des informations formatées liées aux défauts des appareils d'une chaîne d'appareils et informations formatées destinées à des moyens de traitement d'images .
- Demande de brevet EP 02743349.9 pour : Procédé et système pour modifier les qualités d'au moins une image provenant ou destinée à une chaîne d'appareils .
- Demande de brevet EP 02747504.5 pour : Procédé et système pour réduire la fréquence des mises à jour de moyens de traitement d'images .
- Demande de brevet EP 02748934.3 pour : Procédé et système pour corriger les aberrations chromatiques d'une image couleur réalisée au moyen d'un système optique .
- Demande de brevet EP 02743348.1 pour : "Procédé et système pour produire des informations formatées liées aux distorsions géométriques .
- Demande de brevet EP 02748933.5 pour : "Procédé et 5 système pour fournir, selon un format standard, des informations formatées à des moyens de traitement d'images".
- Demande de brevet EP 02747503.7 pour : Procédé et système pour calculer une image transformée à partir d'une image numérique et d'informations formatées relatives à une 10 transformation géométrique .
- Demande de brevet EP 02747506.0 pour : Procédé et système pour produire des informations formatées liées aux défauts d'au moins un appareil d'une chaîne, notamment au flou .
15 - Demande de brevet EP 02745485.9 pour : Procédé et système pour modifier une image numérique en prenant en compte son bruit .
- Demande de brevet PCT/FR 2004/050455 pour Procédé et système pour modifier une image numérique de 20 manière différenciée et quasi régulière par pixel .
Ces moyens numériques de traitement d'images permettent d'améliorer la qualité des images en agissant sur au moins l'un des paramètres suivants :
- Les distorsions géométriques du système optique. On 25 rappelle qu'un système optique peut distordre les images de façon telle qu'un rectangle peut être déformé en coussin, avec une forme convexe de chacun des côtés ou en barillet avec une forme concave de chacun des côtés.
- Les aberrations chromatiques du système optique : si 30 un point objet est représenté par trois taches colorées ayant des positions précises les unes par rapport aux autres, l'aberration chromatique se traduit par une variation de position de ces taches les unes par rapport aux autres, les aberrations étant, en général, d'autant plus importantes qu'on 35 s'éloigne du centre de l'image.
- La parallaxe : quand on effectue un réglage par déformation ou déplacement d'un élément optique du système optique, l'image obtenue sur le plan image peut se déplacer. Le réglage est, par exemple, un réglage de la focale, ou un réglage de mise au point.
Ce défaut est illustré par la figure 13 sur laquelle on a représenté un système optique 140 à trois lentilles dans lequel le centre de l'image a la position 142 quand la lentille 144 a la position représentée en trait plein. Lorsque la lentille 144 se déplace pour prendre la position 144', représentée en traits interrompus, le centre de l'image prend la position 142'.
- Profondeur de champ : quand le système optique est mis au point sur un plan objet déterminé, les images de ce plan restent nettes ainsi que les images des objets proches de ce plan. On appelle profondeur de champ la distance entre le plan objet le plus proche et le plan objet le plus éloigné pour lesquels les images restent nettes.
- Le vignetage : en général, la luminosité de l'image est maximale au centre et diminue au fur et à mesure qu'on s'éloigne du centre. Le vignetage se mesure par l'écart, en pour cent, entre la luminosité en un point et la luminosité maximale.
- Le manque de netteté du système optique et/ou du capteur et/ou du générateur d'images se mesure par exemple par le paramètre BXU tel que défini ci-dessus.
- Le bruit de l'image est en général défini par son écart type, sa forme, et la dimension de la tache de bruit et sa coloration.
- Le phénomène de moiré est une déformation de l'image qui se produit lorsqu'il existe des hautes fréquences spatiales.
Le moiré se corrige par le paramétrage des filtres anti-alias.
- Le contraste est le rapport entre les plus hautes et les plus basses valeurs de luminosité de l'image pour lesquelles des détails de l'image sont encore visibles.
Comme représenté sur les figures 14a et 14b, on peut améliorer le contraste (figure 14a) d'une image, c'est-à-dire étendre (figure 14b) la plage de luminosités sur laquelle on peut distinguer les détails. Cette extension s'effectue à l'aide notamment d'un algorithme de correction de contraste et de bruit.
On va maintenant décrire en relation avec la figure 15 une réalisation permettant d'uniformiser la netteté dans le champ de l'image.
On rappelle tout d'abord que la surface image d'un plan objet ne constitue pas un plan parfait mais présente une courbure, dite courbure de champ. Cette courbure varie en fonction de divers paramètres dont la focale et la mise au point. Ainsi, la position du plan image 150 dépend de la zone sur laquelle est effectuée la mise au point. Dans l'exemple représenté sur la figure 15, le plan 150 correspond à une mise au point au centre 152 de l'image. Pour une mise au point sur une zone 154 proche du bord de l'image, le plan image 156 se trouve plus proche du système optique 122 que le plan image 150.
Pour simplifier le système d'asservissement pour la mise au point, on dispose le plan image en une position 158, intermédiaire entre les positions 154 (correspondant à une mise au point sur une zone proche du bord de l'image), et 150 (correspondant à une mise au point sur une zone au centre de l'image). La conjugaison des moyens numériques de traitement d'images 128 avec l'asservissement 126 de mise au point, permet de limiter le déplacement du plan 158 pour la mise au point, ce qui diminue la consommation en énergie du système d'asservissement et permet de réduire le volume de ses composants.
On a représenté sur le diagramme de la figure 15a les propriétés de flou avec un système classique d'asservissement de mise au point dans lequel la netteté maximum est obtenue au centre de l'image. Ainsi, sur ce diagramme de la figure 15a, on a porté en abscisses le champ de l'image et en ordonnées la valeur de flou exprimée en BXU. Avec ce système d'asservissement classique, le flou est, au centre, de 1,3 et, au bord de l'image, de 6,6.
La figure 15b est un diagramme analogue à celui de la figure 15a montrant les propriétés d'un asservissement d'un appareil réalisé selon l'invention, partant de l'hypothèse que les moyens numériques de traitement d'images permettent de corriger le flou jusqu'à une valeur de BXU égale à 14. La courbe représentée sur ce diagramme de la figure 15b présente ainsi, au centre de l'image, une valeur BXU = 2,6 et la valeur de BXU
diminue quand on s'éloigne du centre pour remonter ensuite jusqu'à une valeur de 4 vers le bord de l'image. On rappelle que cette valeur est la limite pour que le flou soit corrigeable par les moyens numériques de traitement. Ainsi on peut obtenir une image nette sur la totalité du champ de l'image alors qu'il n'en est pas ainsi avec un appareil doté d'un système classique.
Dans une réalisation, les moyens numériques de traitement d'images comportent des moyens d'amélioration de la netteté tels qu'ils permettent de se passer d'un asservissement de mise au point.
A titre d'exemple comparatif, les diagrammes des figures 16a, 16b, 16c, et 16d montrent les caractéristiques d'un appareil obtenu selon la technique classique et celles d'un appareil obtenu avec le procédé selon l'invention.
L'appareil classique est un appareil de photographie numérique intégré à un téléphone mobile ayant un capteur VGA, c'est-à-dire une résolution 640 x 480 sans système de mise au point.
L'appareil classique a une ouverture de 2,8 alors que l'appareil obtenu avec le procédé selon l'invention a une ouverture de 1,4.
La figure 16a, qui correspond à l'appareil classique, est un diagramme sur lequel on a représenté en abscisses le pourcentage de champ de l'image, l'origine correspondant au centre de l'image. L'ordonnée représente le vignetage V. La figure 16b est un diagramme analogue pour un appareil obtenu selon l'invention.
Dans le schéma de la figure 16a (appareil classique) le vignetage atteint la valeur 0,7 au bord de l'image tandis que dans le diagramme de la figure 16b on voit que le système optique de l'appareil selon l'invention, présente un vignetage sensiblement plus important, de l'ordre de 0,3. La limite de correction de l'algorithme utilisé est de 0,25. En d'autres termes, grâce à l'algorithme de correction on peut faire appel à
une optique de vignetage sensiblement plus important.
La figure 16c est un diagramme représentant en ordonnées le flou, exprimé en BXU, en fonction du champ de l'image (en abscisses) pour un appareil classique. Dans cet appareil classique, la caractéristique de flou est de 1,5 au centre et de 4 au bord de l'image.
Le diagramme de la figure 16d représente aussi le flou pour l'optique de l'appareil obtenu avec le procédé selon l'invention. En abscisses de ce diagramme de la figure 16d, on a aussi représenté le champ de l'image et en ordonnées le flou exprimé en BXU. On voit que sur ce diagramme de la figure 16d, le flou au centre de l'image est de l'ordre de 2,2. Il est donc supérieur au flou du diagramme de la figure 16c. Par contre, sur les bords, on a choisi un flou de l'ordre de 3, compte tenu de la limite de l'algorithme de correction.
Autrement dit, de façon surprenante, on a choisi une optique dégradée en ce qui concerne la netteté au centre, alors qu'on obtient les mêmes résultats qu'avec l'appareil classique, avec, en plus, une ouverture supérieure. Il est aussi à noter que sur les bords, l'optique de l'appareil selon l'invention représente une qualité analogue à celle de l'optique classique, ce résultat pouvant être obtenu en raison de la dégradation du vignetage par rapport à l'optique classique.
Sur les diagrammes des figures 17a et 17b, on a représenté des caractéristiques de systèmes optiques différents entre lesquels le choix doit être effectué afin de réaliser un appareil de capture en utilisant le procédé selon l'invention.
Dans l'exemple représenté sur la figure 17a, le système optique fournit une tache image 1100 de faibles 5 dimensions. Ce système présente une fonction de transfert de modulation (FTM) représentée par un diagramme où les fréquences spatiales sont en abscisses. La valeur de la fréquence de coupure est fc. La fonction FTM comporte un palier 1110 au voisinage des fréquences nulles et une partie décroissant 10 rapidement vers la valeur fc.
L'optique représentée par le schéma de la figure 17b, présente une tache image 1114 de dimensions sensiblement supérieures à la tache image 1100 et sa FTM présente la même fréquence de coupure fc que dans le cas de la figure 17a. Par 15 contre, la variation de cette FTM en fonction de la fréquence spatiale est différente : cette fréquence diminue de façon relativement régulière à partir de l'origine vers la fréquence de coupure.
Pour le choix du système optique, on se base sur le 20 fait que l'algorithme de correction de la fonction de transfert de modulation, est efficace à partir d'une valeur de 0,3. Dans ces conditions, on voit qu'avec l'optique de la figure 17b, on obtient une correction permettant de rehausser la FTM jusqu'à
une valeur f2, par exemple, de l'ordre de 0,8 fc alors qu'avec 25 l'optique de la figure 17a, la correction n'est possible que jusqu'à une fréquence fl de l'ordre de 0,5 fc.
Autrement dit, avec un algorithme de correction, l'optique représentée sur la figure 17b fournira plus de détails que l'optique représentée sur la figure 17a, et cela malgré le 30 fait que la tache image soit de plus grandes dimensions que dans le cas de la figure 17a. On choisira donc l'optique correspondant à la figure 17b.
Application à 1'augmentation de profondeur de champ On va maintenant décrire une variante de réalisation du procédé pour lequel le capteur et/ou le système optique sont plus particulièrement adaptés à l'augmentation de la profondeur de champ.
Les capteurs classiques CMOS ou CCD sont souvent des capteurs formés à partir d'une mosaïque de pixels dite de Bayer.
La mosaïque de Bayer consiste en une succession de 2x2 pixels, formés de 2 pixels vert (c'est-à-dire un photosite sensible à la lumière dans une gamme spectrale autour de 550nm), d'un pixel rouge (gamme spectrale autour de 600nm) et d'un pixel bleu (gamme spectrale autour de 450nm) . Les gammes spectrales sont représentées sur la figure 2.
Selon les capteurs, les bandes spectrales du vert, du rouge et du bleu diffèrent et présentent un recouvrement plus ou moins grand. Un fort recouvrement entre ces trois bandes a pour conséquence de réduire la sensibilité du capteur aux couleurs (il devient "daltonien"), mais augmente sa sensibilité générale à la lumière et inversement.
Un fort recouvrement entre les trois bandes réduit aussi les différences de nettetés entre les couleurs, réduisant ainsi notamment la plage de distances pour lesquelles au moins une des trois couleurs est nette.
Aussi avantageusement, selon l'invention, on pourra adapter les bandes spectrales, par exemple en réduisant leur recouvrement, de telle sorte à augmenter la plage de distances pour lesquelles au moins une des trois couleurs est nette.
Cette adaptation pourra être conjointement menée avec la conception de l'optique et, en fonction des contraintes portant sur les traitements numériques de l'image.
Description d'un capteur optimisant le procédé selon 1'invention Dans une variante de réalisation du procédé, le capteur et/ou le système optique sont plus particulièrement adaptés à
des applications permettant de fournir des indications précises de distances des objets imagés.
Dans cette variante de réalisation on fait appel à une mosaïque de pixels de Bayer.
Il est courant que les capteurs présentent un nombre important de pixels fournissent des valeurs numériques aberrantes. Ces pixels sont appelés communément des "pixels morts" (ou "burned pixels" en anglais) . Aussi les traitements numériques de génération d'image contiennent une étape de filtrage de ces valeurs aberrantes afin que, sur l'image générée, les valeurs aberrantes de ces pixels soient gommées et donc non visibles.
La précision des mesures de distances selon le procédé, dépend notamment de la variation de la netteté relative fonction de la distance. Cette variation dépend de la quantité
d'aberration chromatique qu'il est possible d'obtenir avec le système de capture (capteur et optique). Or, la gamme de fréquences spectrales de la lumière visible, et donc la lumière utile pour une photographie, est relativement restreinte : de l'ordre de 400nm à 700nm. Aussi, la variation de netteté
relative en fonction de la distance se trouve alors limitée avec un capteur Bayer classique.
Plusieurs façons de modifier un capteur pour aller au-delà de cette limitation sont possibles. Une façon simple consiste à utiliser en plus des trois couleurs classiques .
rouge, vert et bleu, une bande spectrale différente, par exemple 800nm-900nm ou toute autre bande au-delà et/ou en deçà du spectre du visible. Les pixels sensibles à cette quatrième bande spectrale ne seront pas forcément utiles à la reconstruction de l'image visible mais serviront principalement à l'estimation de la distance des objets par comparaison de la netteté relative sur cette quatrième bande spectrale avec l'une, ou plusieurs, des trois couleurs classiques.
On pourra alors avantageusement disposer les pixels de la façon suivante : en partant d'une disposition d'un Bayer classique rouge, vert, bleu, on substitue, tous les NxM pixels, quelques pixels par des pixels sensibles dans cette quatrième bande spectrale. En choisissant N et M assez grands (par exemple 64 chacun), et en substituant par exemple 9 pixels on assure ainsi que seulement environ 1 pixel pour 1000 du Bayer classique est affecté. Ainsi, lors de la construction de l'image, ces pixels pourront être considérés comme des "pixels morts" et leurs valeurs filtrées.
On obtient ainsi, un appareil photographique permettant de fournir des indications plus précises de distance des objets imagés tous les NxM pixels de l'image.
Description d'un second capteur optimisant le procédé
selon 1'invention Dans une autre réalisation, montrée sur la figure 20.2, on part d'un Bayer classique dans lequel on prévoit trois pixels R, G, B et un pixel U correspondant à une une partie de bande spectrale UV ou infrarouge. Par infrarouge et/ou ultraviolet, on peut entendre toute partie du spectre au delà ou en deça du spectre visible, notamment le proche infra-rouge tel que 700 à
800 ou 700 à 900nm. , ou le proche ultra violet proche de 400nm.
Ce pixel U est utilisé pour améliorer la netteté des couleurs visibles comme montré avec le diagramme de la figure 20.1.
Sur ce diagramme, on a porté : en abscisses les distances "d" des objets imagés à l'appareil de capture, et en ordonnées le diamètre "D" de la tache de flou. Les courbes, 20.3, 20.4, 20.5, et 20.6 représentent la variation du diamètre "D" en fonction de la distance "d" pour, respectivement, le rouge "R", le vert "G", le bleu "B" et l'ultraviolet "U". La droite 20.7 représente le seuil de netteté définissant la profondeur de champ.
Ainsi la distance "dl" représente la limite de profondeur de champ pour un appareil de capture comportant des pixels "RGB"
et non les pixels U tout en utilisant le procédé d'amélioration de netteté selon l'invention. La distance "d2" représente la limite de profondeur de champ obtenue avec un appareil de capture comportant le capteur représenté sur la figure 20.2 et faisant appel au procédé d'amélioration de netteté selon l'invention. Les pixels "U" servent uniquement à répercuter la netteté de la couleur "U" vers les couleurs "RGB" pour les objets situés entre les distances "dl" et "d2". Ainsi l'image finale ne comportera que les trois couleurs "RGB" (ou toute autre répartition de couleurs visibles connues).
En variante, on ajoute des pixels sensibles au proche infrarouge pour améliorer la netteté aux plus grandes distances.
Augmentation des aberrations chromatiques longitudinales Selon l'invention, on tire parti de l'existence des variations de la netteté relative entre deux couleurs en fonction de la distance des objets. Aussi, on pourra concevoir des optiques présentant des nettetés relatives entre les trois plans couleurs très différentes selon la distance. De telles optiques sont dites présenter de fortes aberrations chromatiques longitudinales.
De façon pratique, on pourra par exemple concevoir l'optique de telle sorte que sur une grande plage de distances :
le plus petit des diamètres de spot diagram (diamètre de la tache de flou) entre les trois couleurs est en dessous d'un premier seuil prédéterminé et que le plus grand des diamètres de spot diagram entre les trois couleurs est en dessous d'un deuxième seuil prédéterminé. Alternativement, on pourra utiliser la valeur du BxU au lieu du diamètre du spot diagram.
Les deux seuils sont déterminés en fonction, par exemple, des capacités et contraintes des traitements numériques de génération de l'image, d'une part (comme par exemple la taille du filtre "F" décrit ci-dessous), et des caractéristiques du capteur, d'autre part.
La figure 18 présente un exemple des mesures BxU (axe des ordonnées) pour les trois plans couleurs RVB en fonction de la distance (axe des abscisses) pour une optique conçue en ce sens.
Les valeurs montrées sont celles au centre du champ image. En chaque point du champ image, on pourra mesurer des courbes différentes mais similaires. S1 et S2 désignent les deux seuils décrits ci-dessus. La plage des distances satisfaisant les deux critères décrits ci-dessus est alors, pour cette optique, environ 12cm-infini (dl->infini sur la figure 18) ce qui signifie que l'on pourra reconstruire une image nette pour des 5 scènes imagées dans cette plage de distances.
Avec une optique classique on aurait abouti à trois courbes proches de la courbe de la couleur rouge R dans la figure 18 et donc à un système optique ne permettant des reconstructions d'images nettes que pour des objets à de plus 10 grandes distances 25cm - infini (d2 --> infini sur la figure 18).
On peut aussi utiliser une optique ayant des aberrations chromatiques longitudinales telles que, pour une mise au point, une ouverture et une focale déterminées, il existe au moins 15 une couleur pour laquelle la distance objet de meilleure netteté
est inférieure a à k f , k étant un coefficient inférieur à 0,7, de préférence O.P
20 inférieur à 0,5, f étant la focale, 0 l'ouverture et P le plus petit (parmi toutes les couleurs de l'image) des diamètres de la tache de flou d'un point objet se trouvant à l'infini.
Application à l'adaptation autoanatique de résolution On va maintenant décrire une variante de réalisation de l'invention permettant d'adapter automatiquement la résolution de l'image au flou éventuel lié à une prise de vue en dehors de la profondeur de champ du dispositif de capture.
Lorsque la scène imagée est trop près (en deçà de la profondeur de champ), l'image est floue, c'est-à-dire que le spot diagram (la tache de flou) occupe une tache de plus de X
pixels de diamètre, X étant un paramètre prédéterminé
définissant la limite de profondeur de champ. Un sous-échantillonnage numérique de l'image (zoom out), réduira la taille de la tache de flou d'un facteur dépendant du type de sous-échantillonnage utilisé, mais, typiquement, de l'ordre de grandeur du facteur de sous-échantillonnage considéré. On pourra alors générer à partir de l'image numérique une image nette, mais de plus faible résolution en choisissant le facteur de sous-échantillonnage de telle sorte que la tache de flou soit inférieure, une fois l'image sous-échantillonnée, à un seuil donné.
En variante, afin de minimiser les calculs, on commence par effectuer le sous-échantillonage décrit ci-dessus avant d'effectuer l'augmentation de netteté selon l'invention.
Application à la modification de la netteté - Filtrage Comme pour la mesure de distance (figure 8), on peut extraire la netteté attendue de chaque couleur de l'image numérique à partir de la mesure de netteté relative entre deux plans couleurs.
Selon une variante de réalisation de l'invention, le traitement comprend une modification de netteté pour chaque pixel de la zone Z' au moyen d'un filtre mélangeant les valeurs de pixels sur un voisinage prédéterminé de chaque pixel, les paramètres du filtre étant fonction de la netteté relative mesurée.
En effet, un dispositif de capture d'images muni d'une optique pourra présenter des nettetés différentes selon les plans couleurs et selon la distance des objets imagés. La dépendance de la netteté (ou du flou) à la distance des objets imagés rend impossible l'augmentation de la netteté au moyen d'un traitement prédéterminé comme un filtrage de netteté
prédéterminé.
Une variante de réalisation de l'invention consiste à
choisir ou à adapter les filtres de netteté aux nettetés relatives mesurées.
Un cas particulier, déjà décrit, de l'adaptation du filtrage ou modification de netteté consiste en la répercussion de la netteté de la couleur nette sur au moins une autre couleur améliorée, cette répercussion étant réalisée à l'aide d'une calcul du type CA = CN + F(CO - CN), où CA est représentatif de cette couleur améliorée, C0 est représentatif de la couleur améliorée avant traitement, CN est représentatif de la couleur nette et F un filtre, notamment un filtre passe bas.
Mais, de façon plus générale, on pourra utiliser un filtre de netteté faisant intervenir toutes (ou un sous-ensemble de toutes) les couleurs. Ainsi, dans le cas d'une image numérique RGB (ou RVB) pour traiter la valeur d'un pixel P, le filtre M pourra modifier la valeur du pixel P en fonction des valeurs des pixels sur un voisinage du pixel P sur l'ensemble des trois couleurs.
Par exemple, en notant RN,GN,BN les données numériques relatives aux couleurs rouge, verte et bleue de l'image numérique, et RA, GA, BA les données numériques relatives aux couleurs de l'image améliorée, on pourra choisir le filtre M
comme un opérateur effectuant les opérations suivantes GA = GN + c GG * M GG (GN) + c GR * M GR (RN) + c GB *
M GB (BN) RA = RN + c RG * M RG (GN) + c RR * M RR (RN) + c RB *
M RB (BN) BA = BN + c BG * M BG (GN) + c BR * M BR (RN) + c BB *
M BB (BN) , Où :
Les M{R,G,B}{R,G,B} représentent des filtres, qui peuvent être choisis comme des filtres linéaires à somme nulle, comme par exemple des filtres fréquentiels passe-haut. Les c{R,G,B}{R,G,B} représentent des coefficients pondérant l'impact de chaque filtre M{R,G,B}{R,G,B}.
Cet exemple de filtrage peut aussi répercuter la netteté
de la couleur la plus nette sur les autres. Par exemple en supposant que seule la couleur bleue est nette, les filtres passe-haut M{R,G,B}{R,G,B} donneront des valeurs proches de 0, lorsqu'ils seront appliqués aux couleurs verte et rouge qui sont floues dans l'exemple. Dans ce cas particulier, GA sera donc égal à GN plus c GB * M GB (BN) , c'est-à-dire GN plus les hautes fréquences du bleu. La couleur verte hérite ainsi de la netteté
de la couleur nette (le bleu). Il en est de même pour la couleur rouge.
En pratique la netteté des couleurs n'est pas un facteur binaire, aussi les filtres M{R,G,B}{R,G,B} et les coefficients c{R,G,B}{R,G,B} pourront être adaptés aux différentes valeurs possibles des nettetés des couleurs.
Un exemple de réalisation d'une telle adaptation, dans le cadre d'images RGB issues d'un appareil de capture donné, est le suivant :
On considère les valeurs de netteté relative du rouge par rapport au vert, et du bleu par rapport au vert : V GR, V GB. On quantifie ces valeurs de telle sorte que les valeurs ainsi quantifiées constituent une entrée dans un tableau 2D de taille raisonnable. A chaque entrée (couple de valeurs V BR, V BG
quantifiées), on associe un jeu de filtres M{R,G,B}{R,G,B} et un jeu de coefficients c{R,G,B}{R,G,B} adaptés. Dans le cas particulier, où l'on cherche à améliorer la netteté de l'image numérique, on pourra, pour chaque entrée, prédéterminer les filtres M{R,G,B}{R,G,B} et un jeu de coefficients c{R,G,B}{R,G,B} de telle sorte qu'une image numérique, prise par l'appareil de capture et ayant les nettetés relatives correspondant à l'entrée soient parfaitement corrigées de la netteté par l'application du filtre M.
On pourra aussi affiner le filtre M de sorte à prendre en compte le fait que les trois couleurs ne varient pas à grande échelle de la même façon, notamment dans des zones colorées (par opposition aux zones noires, grises ou blanches) de l'image numérique. Pour cela, on pourra par exemple pondérer, en chaque pixel P de la zone Z', les actions des filtres M{R,G,B}{R,G,B}
par l'amplitude des variations relatives des couleurs sur un voisinage du pixel P.
Dans certains cas, le tableau d'association entre nettetés relatives considérées et jeu de filtres pourra comporter d'autres entrées comme, par exemple, la position de la zone Z' dans le champ de l' image ou des paramètres de prises de vue comme la valeur de la focale, de l'ouverture, de la distance de mise au point, etc., du système optique au moment de la prise de vue. En effet, il est habituel que les caractéristiques de netteté d'une image numérique dépendent aussi de ces facteurs.
Aussi pour la correction de netteté d'une image numérique, on découpera préalablement le champ image en plusieurs zones Z' et on appliquera le procédé à chacune des zones. Le découpage sera de préférence effectué en fonction des caractéristiques de netteté des couleurs de telle sorte qu'en chaque zone la netteté des couleurs soit relativement homogène.
Avec cette réalisation on obtient ainsi une adaptation automatique du filtrage de netteté appliqué à l'image numérique, à la distance entre scène la imagée et l'appareil de capture. Il est à noter que, grâce à l'utilisation de la netteté relative cette adaptation automatique à la distance, peut se faire sans la connaissance explicite de cette distance.
Au delà de la modification de la netteté de l'image numérique, cette réalisation du procédé permet aussi l'adaptation automatique de traitements visant par exemple à la correction de défauts optiques et/ou des capteurs dont les effets sur l'image dépendent de la distance entre scène imagée et appareil de capture. Le flou (ou perte de netteté) en est un exemple, mais d'autres défauts optiques et/ou du (des) capteur(s) comme les distorsions géométriques ou le vignetage, constituent d'autres exemples.
Principe de 1'invention Description des figures 19.1, 19.2, 19.3 Les figures 19.1, 19.2 et 19.3 représentent des étapes du procédé selon l'invention selon plusieurs modes de réalisation.
Sur la figure 19.1, on a représenté une image 10 comportant une région R et ayant deux couleurs 195 et 196, une mesure de netteté relative 190 entre les deux couleurs 195 et 196 sur la région R de l'image 10, une action 191 commandée en fonction de la netteté relative mesurée. En option l'action commandée dépend également d'un mode 193 correspondant par 5 exemple à un choix de l'utilisateur de l'appareil, et/ou une caractéristique de l'appareil de capture lors de la prise de vue.
Sur la figure 19.2, on a représenté une image 10 comportant une région R et ayant deux couleurs 195 et 196, une 10 mesure de netteté relative 190 entre les deux couleurs 195 et 196 sur la région R de l'image 10, une action 191 commandée en fonction de la netteté relative mesurée comportant un traitement de l'image 10 et produisant une image traitée 192. En option l'action commandée dépend également d'un mode 193 correspondant 15 par exemple à un choix de l'utilisateur de l'appareil, et/ou une caractéristique de l'appareil de capture lors de la prise de vue.
Sur la figure 19.3, on a représenté une image 10 comportant une région R et ayant deux couleurs 195 et 196, une 20 mesure de netteté relative 190 entre les deux couleurs 195 et 196 sur la région R de l'image 10, une action 191 commandée en fonction de la netteté relative mesurée comportant un traitement d'une autre image 194 et produisant une image traitée 198. En option l'action commandée dépend également d'un mode 193 25 correspondant par exemple à un choix de l'utilisateur de l'appareil, et/ou une caractéristique de l'appareil de capture lors de la prise de vue.
Application à la modification du contraste et/ou de la 30 luminosité et/ou de la couleur et/ou de la netteté
On va maintenant décrire une réalisation de l'invention dans laquelle la commande d'action consiste à modifier le contraste et/ou la luminosité et/ou la couleur de l'image en fonction de la netteté relative entre au moins deux couleurs sur 35 au moins une région R de l'image.
L'utilisation de la netteté relative entre au moins deux couleurs sur au moins une région R de l'image, directement ou indirectement (par exemple avec une étape d'estimation de la géométrie, en 3 dimensions, de la scène), permet par exemple de simuler l'ajout d'un éclairage localisé par exemple un flash positionné en un endroit quelconque dans la scène, et/ou, inversement, de réduire l'effet d'un flash ou d'éclairages de diverses couleurs dans la scène. Ainsi on peut réduire les effets de contre-jours, et d'à-plats de lumière liés au flash.
Dans une réalisation, on découpe l'image numérique en régions en fonction de la netteté relative entre au moins deux couleurs, de sorte que chaque région image une partie de la scène se trouvant dans une plage de distances donnée et qui est orientée dans une direction donnée. Une indication de la direction peut être obtenue à partir de la variation locale de la netteté relative dans l'image. Une indication de la distance peut être obtenue à partir de la netteté relative comme décrit précédemment. On peut également utiliser directement la netteté
relative et sa variation sans passer par une distance et une orientation.
Pour ajouter ou modifier un éclairage, on peut alors déterminer, pour chaque région, la quantité et la couleur de lumière à ajouter ou soustraire en chaque point puisque l'on connaît la distance à la source simulée par rapport au point imagé et l'orientation de l'objet imagé par rapport à la source.
Dans une réalisation, on reconstitue la géométrie en trois dimensions de la scène en mesurant la distance en un grand nombre de points de l'image. On utilise alors une technique connue en synthèse d'images pour ajouter un éclairage à la scène (lancer de rayons ou autre).
Dans une réalisation, on ajoute un éclairage sur le (ou les) sujet(s) principal(aux) adapté à chaque sujet pour provoquer un effet de "fill-in" simulant un ou plusieurs flash(s) positionné(s) en face ou sur le côté de chaque sujet.
On peut réaliser cette opération de manière automatique et de façon indépendante pour chaque sujet. Avec la technique connue l'ajout d'éclairages pour chaque sujet n'est possible qu'avec un éclairage de studio.
De manière similaire, on peut déterminer la puissance du flash en fonction du sujet le plus proche pour l'éclairer correctement, et compléter l'éclairage des autres sujets par l'ajout d'un éclairage simulé.
On peut également déterminer pour chaque région la couleur de l'éclairage par un procédé connu d'estimation de balance des blancs et ensuite rendre uniforme la couleur de l'éclairage de la scène. Dans l'état de la technique la balance des blancs est estimée globalement par manque d'information sur la géométrie en 3 dimensions de la scène.
Description des figures 18.1 et 18.2 Sur la figure 18.1 on a représenté un capteur 2, produisant une image brute 180 faisant l'objet d'un prétraitement 181, par exemple une balance des blancs, et/ou une compensation du niveau de noir, et/ou une réduction de bruit pour produire une image prétraitée 182. On a également représenté une mesure de netteté relative 190 commandant une action 191 correspondant à un traitement mettant en oeuvre l'image prétraitée 182 et la mesure de netteté relative 190, pour produire une image traitée 192. On a enfin représenté un traitement aval de l'image traitée 192, correspondant par exemple à un dématriçage ou à d'autres traitements nécessaires pour convertir une image brute en image visible.
Sur la figure 18.2 on a représenté un capteur 2, produisant une image brute 180. On a également représenté une mesure de netteté relative 190 commandant une action 191 correspondant à un traitement mettant en oeuvre l'image brute 180 et la mesure de netteté relative 190, pour produire une image traitée 192. On a enfin représenté un traitement aval de l'image traitée 192, correspondant, par exemple, à un dématriçage ou d'autres traitements nécessaires pour convertir une image brute en image visible.
Dans une variante, l'action met en oeuvre un traitement sur une image visible.
Simplification des optiques L'invention s'applique à un appareil comportant des paramètres variables au moment de la capture de l'image numérique et ayant une influence sur la netteté des couleurs notamment un appareil de capture avec zoom, et/ou une optique avec mise au point variable et/ou une ouverture variable. On utilise alors les courbes de netteté 8.2 et 8.3 correspondant à
la valeur des paramètres variables selon l'image numérique.
Comme décrit, l'invention permet de rétablir la mise au point numériquement sans groupe mobile et de manière instantanée, ce qui permet donc de réduire la complexité d'un zoom en supprimant au moins une partie mobile. Par exemple, en fonction de la distance du sujet et de la focale, la netteté
relative entre deux couleurs peut être variable, alors que ceci n'est pas acceptable dans les optiques connues.
entre la couleur nette et la couleur à améliorer selon l'invention, - la figure 9 est un diagramme représentant le choix d'une couleur nette à partir d'une distance mesurée entre un objet et un appareil capturant l'image de cet objet, - la figure 10 est un diagramme représentant la réduction de la netteté d'au moins une couleur dans au moins une région de l'image, - la figure 11 est un schéma d'un appareil obtenu par le procédé selon l'invention, - la figure 12 un diagramme montrant des étapes du procédé selon l'invention, - la figure 13 montre un mode de réglage conforme à
l'invention, - la figure 14a et 14b forment un ensemble de diagrammes montrant des réglages utilisés dans le cadre de l'invention, - les figures 15, 15a, et 15b illustrent une propriété
d'un appareil de capture d'images selon l'invention et d'un appareil conventionnel, - les figures 16a à 16d sont des diagrammes montrant les propriétés d'un système optique d'un appareil selon l'invention et d'un appareil classique, - les figures 17a et 17b sont des schémas montrant un exemple de sélection de système optique pour un appareil selon l'invention, - la figure 18 est un diagramme illustrant des caractéristiques d'un appareil de prise de vue selon l'invention, - les figures 18.1 et 18.2 représentent des moyens de mise en aeuvre du procédé selon l'invention, - les figures 19.1, 19.2 et 19.3 représentent des étapes du procédé selon l'invention selon plusieurs variantes de réalisation, et - les figures 20.1 et 20.2 représentent d'autres réalisations de l'invention.
Conformément à l'invention, le procédé décrit ci-dessous améliore la netteté d'au moins une couleur d'une image numérique en choisissant parmi les couleurs de l'image au moins une couleur dénommée couleur nette et en répercutant la netteté de la couleur nette sur au moins une autre couleur améliorée, comme montré ci-dessous à l'aide des figures 3a et 3b.
Plus précisément, sur la figure 3a est représentée la netteté (axe 7.2 des ordonnées) de deux couleurs 13.1 et 13.2 en fonction de la distance des objets qu'elles représentent sur l'image considérée vis-à-vis de l'appareil ayant capturé l'image (axe 7.1 des abscisses).
Comme précédemment expliqué, la netteté de ces deux couleurs varie différemment en fonction de cette distance mais globalement, dans cet exemple, la première couleur 13.2 présente une meilleure netteté que celle d'une deuxième couleur 13.1 de cette même image.
C'est pourquoi, selon le procédé conforme à
l'invention, on répercute la netteté de la première couleur 13.2 pour effectuer l'amélioration 14 de la netteté de la deuxième couleur 13.1 qui présente, après cette amélioration, une netteté
13.3 accrue.
Dans cet exemple, CA, CO et CN sont respectivement des valeurs représentatives de la couleur améliorée, de la couleur d'origine (ou à améliorer) et de la couleur nette. Dans cet exemple, la couleur nette est la première couleur. La couleur d'origine et la couleur améliorée correspondent à la deuxième couleur avant et après traitement.
On effectue la répercussion de la netteté sur la deuxième couleur en utilisant un filtre F, selon une formule du type .
CA=CN+F (C0-CN) Typiquement, le filtre F présentera la particularité
d'enlever les détails de l'image sur laquelle on l'applique.
Pour cela on pourra utiliser un filtre linéaire passe-bas (ou moyenneur). On peut également utiliser un des nombreux filtres non linéaires connus présentant la particularité d'enlever des détails comme par exemple un filtre médian.
A ce stade, il convient de rappeler que la rétine humaine présente une sensibilité particulièrement élevée, vis-à-vis des détails d'une image, pour la couleur verte de telle sorte que le réglage des systèmes optiques vise généralement à
obtenir une netteté élevée pour cette couleur pour une certaine plage de mise au point (cf, par exemple, les pages 30 à 33 de l'ouvrage Color appearance models , de Mark D. Fairchild édité par Addison Wesley).
Ainsi, selon une constatation propre à l'invention, un dispositif optique délivrant des images dont la netteté n'est pas satisfaisante pour l'oeil humain peut présenter une netteté
satisfaisante pour une de ses couleurs, telles que le bleu ou le rouge, pour lesquelles l'aeil présente une sensibilité moindre lorsqu'il considère des détails.
Typiquement, pour une optique de mise au point à
grandes distances (hyperfocal), en considérant une image présentant un objet proche et un objet lointain, il apparaît que la netteté de l'objet lointain est généralement favorisée avec une couleur verte tandis que la netteté de l'objet proche est améliorée en considérant la couleur bleue.
Il apparaît alors important de pouvoir améliorer des régions d'une image selon différentes couleurs nettes en fonction de la netteté relative entre deux couleurs.
De fait, dans une réalisation de l'invention, on choisit la couleur nette servant à améliorer la netteté d'une couleur en fonction de régions de l'image, un tel procédé étant décrit ci-dessous à l'aide de la figure 4 qui montre une image comprenant deux régions 11.1 et 11.2.
Dans ces deux régions sont présentes deux couleurs 8.2 5 et 8.3. Toutefois, la netteté (axe des ordonnées 7.2) de ces couleurs est telle que, dans la région 11.1, la couleur 8.2 est la plus nette tandis que, dans la région 11.2, la couleur 8.3 est la plus nette.
Dès lors, l'amélioration d'une couleur dans la région 10 11.2 s'effectue en considérant la couleur 8.3 comme couleur nette tandis que l'amélioration d'une couleur dans la région 11.1 s'effectue en considérant la couleur 8.2 comme couleur nette.
A ce niveau, il convient de noter que les régions d'une image peuvent être prédéterminées ou non. Par exemple, dans le cas d'une image numérique faite de pixels, une région peut être une zone spatiale délimitée par un ou plusieurs pixels.
En outre, il est possible de choisir une couleur nette pour améliorer une autre couleur en effectuant une simple comparaison de la netteté d'une couleur par rapport aux autres, au moins une autre, indépendamment de toute notion de distance telle que celle représentée par l'axe 7.1.
Dans ce cas, une telle analyse se présente sous la forme, par exemple, d'un tableau Zone 11.1 11.2 Netteté 8.2>8.3 8.3>8.2 Dans ce cas, on sélectionne la couleur 8.2 comme couleur nette dans la région 11.1 tandis que la couleur 8.3 est la couleur nette dans la zone 11.2.
Indépendamment de l'utilisation de régions dans une image, il peut être avantageux de considérer différentes couleurs nettes pour améliorer une couleur sur une image, comme décrit ci-dessous à l'aide des figures 5, 6 et 7.
Plus précisément, le diagramme de la figure 5 représente la netteté (axe des ordonnées 7.2) de deux couleurs 5 8.2 et 8.3 en fonction de la distance (7.1) entre au moins un objet de la scène capturée pour obtenir ladite image et l'appareil de capture.
Il apparaît que sur la plage 9.1, la couleur 8.3 présente une netteté supérieure à la netteté de la couleur 8.2 10 tandis que la situation est inverse pour de plus grandes distances (plage 9.2).
Dans ce cas, un procédé conforme à l'invention peut considérer la couleur 8.3 comme couleur nette, servant à
corriger la netteté d'une couleur, sur la plage de distances 15 9.1, tandis que la couleur 8.2 est considérée comme la couleur nette pour améliorer une couleur issue d'un objet de la scène capturée pour obtenir l'image située à une distance de l'appareil de capture comprise dans la plage 9.2.
Suite à de telles corrections, la netteté des couleurs 20 sur l'image peut être améliorée vers un profil tel que montré
sur le diagramme 6, à savoir la juxtaposition des couleurs les plus nettes sur l'image.
Il est clair que, de façon analogue à la description de la figure 4, il est possible de choisir une couleur nette 25 pour améliorer une autre couleur en effectuant une simple comparaison de la netteté d'une couleur par rapport aux autres, au moins une autre, indépendamment de toute notion de distance telle que celle représentée par l'axe 7.1.
Les courbes de netteté représentées dans les figures 30 déjà décrites 3a, 3b, 4, 5 et 6 et décrites ultérieurement 7 à
10, peuvent varier selon la position géométrique de la région considérée de l'image et/ou d'autres paramètres de capture d'image tels que la focale, l'ouverture, mise au point, etc...
Pour déterminer la couleur la plus nette au sens de l'invention, il n'est pas besoin de connaître les paramètres indiqués ci-dessus.
Dans d'autres cas, et notamment pour déterminer la distance selon l'invention et/ou pour contrôler la profondeur de champ, il est nécessaire de connaître certains de ces paramètres ainsi que les courbes de netteté, au moins de façon(s) partielle(s) ou approximatives pour certaines valeurs de ces paramètres.
Par ailleurs, le choix de la couleur nette peut aussi être déterminé par l'activation logicielle d'au moins un mode de capture d'image tel qu'un mode macro comme décrit ultérieurement. Dans un tel cadre, on pourra considérer l'image comme une seule région.
Il convient de préciser que sur ces figures 5 et 6 est représenté un seuil 8.1 qui indique le niveau requis de netteté, au delà duquel l'image est considérée comme floue.
Dans un traitement classique, représenté en figure 7, un tel seuil 8.1 définit la profondeur de champ, c'est-à-dire la plage 9.2 de distances entre au moins un objet de la scène capturée pour obtenir ladite image, et l'appareil de capture, telle que l'image de l'objet soit nette.
Une conséquence de l'invention est donc de permettre une extension de la profondeur de champ d'un système optique comme détaillé ci-dessous à l'aide de la figure 9. Sur cette figure, la profondeur de champ d'un appareil de capture, initialement limitée par la netteté de la couleur 8.2 et le seuil de netteté 8.1, est accrue en utilisant une deuxième couleur 8.3 présentant une netteté satisfaisante (en dessous du seuil 8.1) sur une nouvelle plage de distances entre au moins un objet de la scène capturée pour obtenir ladite image et l'appareil de capture.
Concrètement, une telle application est mise en oeuvre dans les appareils photographiques à focus fixe, tels que les caméraphones. En effet, la conception optique de ces appareils prévoit une plage de netteté pour de grandes distances jusqu'à
quelques dizaines de centimètres au mieux sur la base d'une couleur verte, analogue à la couleur 8.2 de la figure 5.
Par ailleurs, la couleur bleue ne focalisant pas de la même façon, elle peut présenter une netteté à des distances plus faibles que la couleur verte, de façon analogue à la couleur 8.3.
Dès lors, l'invention permet d'augmenter la netteté d'une image à faible distance d'un caméraphone en attribuant à la couleur verte, et aux autres couleurs, la netteté de la couleur bleue, augmentant de façon corollaire la profondeur de champ de l'appareil.
Dans un mode de réalisation de l'invention, montré à
l'aide de la figure 8, plus particulièrement adapté à un appareil de capture muni d'un autofocus, le procédé détermine une consigne d'asservissement de l'appareil de capture considéré
à partir de la netteté d'au moins deux couleurs de l'image saisie de sorte que la mise au point se fait en moins d'étapes et donc plus rapidement.
Par exemple, une distance 17.1 entre au moins un objet de la scène imagée et le système optique 1 capturant l'image peut être déterminée à l'aide des différents niveaux de netteté (axe 7.2 des ordonnées) des couleurs 8.2 et 8.3 utilisées dans la région 11.3 relative à l'image de l'objet.
Connaissant une telle distance entre l'objet 4 et le système 1, il est alors possible de déterminer une consigne 5 d'asservissement de l'appareil 6 de capture. Cette figure 8 sera décrite ci-après de façon plus détaillée.
Selon une autre réalisation de l'invention, montrée à
l'aide de la figure 10, on réduit la netteté d'au moins une couleur dans au moins une région de l'image.
Application Macro On va maintenant décrire, en s'appuyant sur les figures 5, 6 et 7, une réalisation du procédé et système selon l'invention, plus particulièrement adaptée à la réalisation d'une fonction Macro sans nécessité d'un dispositif mécanique particulier pour un appareil de capture d'image connu. Une fonction macro est destinée à permettre la réalisation d'image d'objets proches de l'appareil de capture dans une plage prédéterminée de distances, dite plage de distances macro 9.1, à
l'appareil. Habituellement, un appareil de capture permet de déplacer tout ou partie de l'optique pour réaliser la fonction macro. Le procédé ou système objet de l'invention permet de s'affranchir d'un tel déplacement.
Selon l'invention, on prédétermine la couleur la plus nette pour la plage de distances macro 9.1, par exemple par mesure de la netteté 8.2 et 8.3 des couleurs des images numériques obtenues par l'appareil de capture pour chaque couleur en réalisant des images numériques à partir d'objets situés à différentes distances de l'appareil de capture. La couleur la plus nette (figure 5) est celle correspondant à la mesure 8.3. Cette prédétermination peut être réalisée de façon définitive, par exemple au moment de la conception de l'appareil (ou de la série d'appareils).
Par la suite, lors de l'utilisation de l'appareil, lorsque la fonction Macro est activée, on répercute alors la netteté de la couleur nette ainsi prédéterminée sur les autres couleurs, comme décrit précédemment. Lorsque la fonction Macro est désactivée, on peut calculer la netteté de l'image numérique par une méthode classique ou en utilisant le procédé selon l'invention appliqué à la plage de distances 9.2.
On obtient ainsi une fonction macro compatible d'une optique à mise au point fixe sans aucun mécanisme mobile, donc sans changer l'encombrement de l'appareil de capture d'image ni ajouter de surcoût matériel. Le mode macro peut ainsi être activé de façon logicielle au niveau de l'appareil ou de tout autre dispositif traitant l'image. Cette activation logicielle peut se faire ainsi de façon classique avant la capture de l'image mais également après cette capture et sur un dispositif local ou distant de l'appareil de capture. Selon une variante, l'activation du mode macro peut être faite automatiquement par exemple en déterminant l'image la plus nette entre l'image générée en mode normal et l'image générée en mode macro.
La fonction macro réalisée selon l'invention, bénéficie également à un appareil comportant des paramètres variables au moment de la capture de l'image numérique et ayant une influence sur la netteté des couleurs, notamment un appareil de capture avec zoom, et/ou une optique avec mise au point variable et/ou une ouverture variable. On utilise alors les courbes de netteté
8.2 et 8.3 correspondant à la valeur des paramètres variables selon l'image numérique.
L' aj out de fonction macro permet la prise de vue de code barre, de carte de visite, ou de manuscrit contenant texte et/ou schéma par un appareil de capture d'image, notamment un téléphone ou un appareil photo.
Application extension de profondeur de champ On va maintenant décrire en s'appuyant sur les figures 4, 5, 6 et 7 une réalisation du procédé et système selon l'invention, plus particulièrement adaptée à la l'extension de la profondeur de champ sans nécessité d'un dispositif mécanique particulier pour un appareil de capture d'image connu. La profondeur de champ correspond à la plage de distances, entre les objets de la scène et l'appareil de capture d'image, permettant l'obtention d'une image numérique nette.
Habituellement, un appareil de capture a une profondeur de champ limitée et d'autant plus faible que l'ouverture de l'optique est grande.
Selon l'invention et comme représenté sur la figure 4, on 5 décompose l'image numérique en régions 11.1 et 11.2 par exemple en régions carrées correspondant à 9 éléments sensibles voisins du capteur, ou, de manière plus générale, en régions correspondant à X par Y éléments sensibles ou en régions de forme prédéterminée ou calculée selon l'image numérique. On 10 choisit alors pour chaque région la couleur la plus nette, par exemple comme la couleur correspondant à la valeur la plus faible parmi les valeurs obtenues par calcul d'un gradient pour chaque couleur à partir des niveaux de gris correspondant à la couleur et la région considérées. Sur la figure 4, la couleur 15 correspondant à la courbe 8.3 est plus nette pour la région 11.2 alors que la couleur correspondant à la courbe 8.2 est plus nette pour la région 11.1.
On répercute alors pour chaque région la netteté de la couleur nette ainsi choisie sur les autres couleurs.
En s'appuyant sur la figure 5, on peut voir que l'image numérique d'objets proches -de distance 5 à l'appareil de 20 capture comprises dans la plage de distances 9.1- est nette pour la couleur correspondant à la courbe 8.3 (par exemple le bleu) alors qu'elle l'est moins pour la couleur correspondant à la courbe 8.2 (par exemple le vert). On peut voir également que l'image numérique d'objets lointains -de distances à l'appareil 25 de capture comprises dans la plage de distances 9.2- est nette pour la couleur correspondant à la courbe 8.2 alors qu'elle l'est moins pour la couleur correspondant à la courbe 8.3. L'oeil étant beaucoup plus sensible à la netteté dans le vert que le bleu, il va percevoir une netteté correspondant à la courbe 8.5 30 de la figure 7. Si 8.1 correspond au seuil de netteté pour l'oeil, l'image ne sera nette que pour les objets situés à une distance de l'appareil de capture dans la plage 9.2. La figure 6 représente, par la courbe 8.4, la netteté obtenue dans chaque couleur après utilisation du procédé selon l'invention : le bleu a permis d'obtenir une netteté meilleure que le seuil 8.1 pour les objets proches, situés dans la plage de distances 9.1, alors que le vert a permis d'obtenir une netteté meilleure que le seuil 8.1 pour les objets distants, situés dans la plage de distances 9.2. On obtient ainsi une image numérique nette pour toutes les couleurs dans une grande plage de profondeur de champ.
Ceci constitue un exemple où le choix de la couleur nette est effectué selon une règle prédéterminée à savoir le choix de la couleur la plus nette dans chaque région.
Ainsi la profondeur de champ est augmentée sans augmenter le coût, la complexité ou l'encombrement de l'optique et/ou sans avoir besoin de changer l'exposition, donc sans réduire l'ouverture, ni augmenter le niveau de bruit ou augmenter le flou de bougé.
L'augmentation de profondeur de champ réalisée selon l'invention bénéficie notamment aux optiques fixes, notamment aux téléphones. L'augmentation de profondeur de champ permet à
la fois la prise de vue de code barre, de carte de visite, ou de manuscrit contenant texte et/ou schéma ainsi que de portraits ou de paysages par un appareil de capture d'image, notamment un téléphone ou un appareil photo. Ceci est possible sans utiliser de dispositif coûteux d'autofocus ou macro. De plus ce dispositif, comparé à un dispositif macro mécanique manuel est réalisé de manière entièrement automatique sans aucune intervention de l'utilisateur.
L'augmentation de profondeur de champ réalisée selon l'invention, bénéficie également à un appareil comportant des paramètres variables au moment de la capture de l'image numérique et ayant une influence sur la netteté des couleurs, notamment un appareil de capture avec zoom, et/ou une optique avec mise au point variable et/ou une ouverture variable. On utilise alors les courbes de netteté 8.2 et 8.3 correspondant à
la valeur des paramètres variables selon l'image numérique.
Le procédé et dispositif selon l'invention permet alors de choisir ou concevoir, comme décrit ultérieurement à l'aide des figures 11 à 17b, lors de la conception de l'appareil de capture, une optique avec un nombre plus limité de positions de mise au point, ce qui a pour avantage de réduire les contraintes de conception de l'optique et donc d'en diminuer les coûts. Ceci a également pour avantage de permettre une mise au point plus rapide et moins coûteuse en diminuant la précision nécessaire du mécanisme d'asservissement.
Par exemple, pour obtenir une optique de grande profondeur de champ on peut choisir ou concevoir une optique ayant la caractéristique d'avoir l'union des plages de distances nettes pour chacune des couleurs la plus grande possible.
Par exemple, pour obtenir une optique de grande ouverture on peut choisir ou concevoir une optique ayant la caractéristique d'avoir une seule couleur nette dans chacune des plages de distances et telle que l'union des plages de distances nettes pour chacune des couleurs corresponde à la profondeur de champ souhaitée.
Par exemple encore, on peut aussi optimiser à la fois l'ouverture de l'appareil et la profondeur de champ de l'image.
On obtient aussi un procédé et un dispositif qui permettent de réduire les aberrations chromatiques longitudinales d'une image numérique.
On obtient également un procédé et dispositif qui permet d'augmenter la netteté d'une image sans connaître l'appareil de capture utilisé pour la produire.
Application à la mesure de la distance des objets d'une scène à partir d'une seule image On va maintenant décrire en s'appuyant sur la figure 8 une réalisation du procédé et système selon l'invention, plus particulièrement adaptée à la mesure de la distance des objets d'une scène à partir d'une seule image sans nécessité d'un dispositif matériel de mesure de télémétrie. Le procédé permet alors d'obtenir une estimation de distance des objets présents dans chaque région de l'image numérique.
Habituellement, un appareil de capture utilise un dispositif matériel pour mesurer la distance des objets d'une scène basée sur un laser, un dispositif infrarouge, un pré-éclair de flash...
Selon l'invention, et comme représenté sur la figure 8, on décompose l'image numérique en régions 11.3 par exemple en régions carrées correspondant à 9 éléments sensibles voisins du capteur, ou, de manière plus générale, en régions correspondant à X par Y éléments sensibles ou en régions de forme prédéterminée ou calculée selon l'image numérique. On mesure alors pour chaque région 11.3 la netteté d'au moins deux couleurs, on reporte alors les valeurs mesurées, ou les valeurs relatives mesurées 16.1 et 16.2, sur les courbes 8.2 et 8.3 correspondantes de netteté de l'appareil de capture. On obtient alors une distance 17.2 correspondant à une estimation de la distance 17.1 entre la partie de l'objet 4 représentée sur la région 11.3 et l'appareil de capture.
La mesure de distance réalisée selon l'invention bénéficie notamment aux optiques fixes, notamment aux téléphones.
La mesure de distance réalisée selon l'invention, bénéficie également à un appareil comportant des paramètres variables au moment de la capture de l'image numérique et ayant une influence sur la netteté des couleurs notamment un appareil de capture avec zoom, et/ou une optique avec mise au point variable et/ou une ouverture variable. On utilise alors les courbes de netteté
8.2 et 8.3 correspondant à la valeur des paramètres variables selon l'image numérique.
Le procédé permet alors d'obtenir une estimation de distance des objets présents dans chaque région de l'image numérique. Ceci permet :
- de construire un dispositif télémètre temps réel et bas coût à l'aide d'un capteur et d'une optique standard qui délivre une image et des informations de distance corrélées à l'image ;
habituellement, plusieurs prises de vues sont nécessaires ou un dispositif matériel spécifique est nécessaire et l'association image/information de distance est complexe ;
- par exemple on affiche la distance en temps réel sur l'image, - par exemple l'information de distance permet de guider un robot, - d'accélérer la mise au point d'appareils de capture à
mise au point ou focale variable : on peut en effet déterminer, à partir d'une seule image, la consigne d'asservissement à
appliquer pour obtenir la mise au point désirée, par exemple sur le sujet central ou dans une zone de mise au point sélectionnée par l'utilisateur, - de tenir compte de la distance des divers objets d'une scène pour régler la puissance d'un flash et notamment du sujet principal ou du sujet dans la zone de mise au point, - de tenir compte de la distance des divers objets d'une scène pour le dispositif d'auto-exposition de l'appareil de capture, afin par exemple de privilégier le sujet principal ou le sujet dans la zone de mise au point sélectionnée par 5 l'utilisateur pour un portrait, - de définir automatiquement le sujet principal sans avoir besoin de demander à l'utilisateur de le définir.
10 Application au contrôle de profondeur de champ, indépendamanent de 1'exposition On va maintenant décrire en s'appuyant sur les figures 4, 5, 6 et 7 une réalisation du procédé et système selon 15 l'invention, plus particulièrement adaptée au contrôle de la profondeur de champ, sans nécessité d'un dispositif mécanique particulier pour un appareil de capture d'image connu. Le procédé permet alors d'obtenir une image nette pour des objets situés à une distance de l'appareil de capture correspondant à
20 une plage de netteté et une image floue pour les autres objets.
Habituellement, un appareil de capture a une profondeur de champ limitée et d'autant plus faible que l'ouverture de l'optique est grande et donc la profondeur de champ et l'exposition sont liés de sorte qu'un choix doit être fait en basse lumière entre 25 profondeur de champ, bruit et flou de bougé. Selon la réalisation, il est possible de contrôler séparément exposition et profondeur de champ.
Selon l'invention et comme représenté sur la figure 4, on 30 décompose l'image numérique en régions 11.1 et 11.2 par exemple en régions carrées correspondant à 9 éléments sensibles voisins du capteur, ou, de manière plus générale en régions correspondant à X par Y éléments sensibles ou en régions de forme prédéterminée ou calculée selon l'image numérique. On 35 choisit alors pour chaque région la couleur la plus nette, par exemple comme la couleur correspondant à la valeur la plus faible parmi les valeurs obtenues par calcul d'un gradient pour chaque couleur à partir des niveaux de gris correspondant à la couleur et la région considérées. Sur la figure 4, la couleur correspondant à la courbe 8.2 est plus nette pour la région 11.2 alors que la couleur correspondant à la courbe 8.3 est plus nette pour la région 11.1.
On répercute alors pour chaque région la netteté de la couleur nette ainsi choisie sur les autres couleurs comme décrit précédemment. Comme on l'a vu précédemment, on obtient ainsi une image numérique nette pour toutes les couleurs dans une grande plage de profondeur de champ.
On utilise, pour déterminer la distance entre l'appareil de capture et les objets de la scène capturée dans la région de l'image numérique :
- soit, comme décrit précédemment, la netteté d'au moins deux couleurs pour chaque région, - soit un autre procédé ou dispositif de mesure de distance plus précis.
On peut alors diminuer la netteté, par exemple par un filtre gaussien, ou par un filtre simulant un bokeh, dans les régions et/ou dans des parties du champ contenant des objets situés à des distances hors de la plage de netteté souhaitée.
Par exemple pour un portrait, on peut obtenir un arrière plan flou qui met en valeur le visage sans avoir besoin d'une optique de grande ouverture. Par exemple pour un paysage, on peut obtenir une grande profondeur de champ sauf éventuellement pour des objets isolés dans les coins qui peuvent nuire à la lisibilité de l'image. Par exemple, pour une scène comportant des objets proches dans le coin suite à un mauvais cadrage, on peut rendre flous ces objets proches. Par exemple on peut laisser le choix à l'utilisateur de la profondeur de champ, soit dans l'appareil, soit lors d'un post-traitement sur un ordinateur.
Ainsi la profondeur de champ est contrôlée sans avoir besoin de changer l'exposition donc sans modifier l'ouverture, ni augmenter le niveau de bruit ou augmenter le flou de bougé.
Le contrôle de profondeur de champ réalisé selon l'invention bénéficie notamment aux optiques fixes, notamment aux téléphones. Le contrôle de profondeur de champ permet à la fois la prise de vue de code barre, de carte de visite, ou de manuscrit contenant texte et/ou schéma ainsi que de portraits ou de paysages par un appareil de capture d'image, notamment un téléphone ou un appareil photo. Ceci est possible sans utiliser de dispositif coûteux d'optique de grande ouverture. De plus ce dispositif peut être réalisé de manière entièrement automatique sans aucune intervention de l'utilisateur.
Le contrôle de profondeur de champ réalisé selon l'invention, bénéficie également à un appareil comportant une optique mobile, notamment un zoom. Un amateur averti peut ainsi contrôler directement ou indirectement indépendamment la profondeur de champ et l'exposition.
La figure 11 est un schéma illustrant l'architecture d'un appareil de capture ou de restitution d'images.
Un tel appareil, par exemple de capture d'images, comporte, d'une part, un système optique 122, notamment à un ou plusieurs éléments optiques telles que des lentilles, destiné à
former une image sur un capteur 124.
Bien que les exemples concernent principalement un capteur 124 du type électronique, ce capteur peut être d'un autre type, par exemple une pellicule photographique dans le cas d'un appareil dit argentique .
Un tel appareil comporte aussi un système d'asservissement 126 agissant sur le système optique 122 et/ou sur le capteur 124 pour effectuer une mise au point afin que le plan image se trouve sur le capteur 124, et/ou pour que la quantité de lumière reçue sur le capteur soit optimale par réglage du temps de pose et/ou d'ouverture, et/ou pour que les couleurs obtenues soient correctes, en effectuant un asservissement de la balance des blancs.
Enfin, l'appareil comprend des moyens numériques de traitement d'images 128.
En variante, ces moyens numériques de traitement d'images sont séparés de l'appareil 120. Il est également possible de prévoir une partie des moyens de traitement d'images dans l'appareil 120 et une partie en dehors de l'appareil 120.
Le traitement numérique de l'image est effectué après l'enregistrement d'images par le capteur 124.
Un appareil de restitution d'images présente une structure analogue à un appareil de capture d'images. A la place d'un capteur 124, on prévoit un générateur 124' d'images recevant des images de moyens 128' numériques de traitement d'images et fournissant les images à un système optique 122', tel qu'un système optique de projection.
Dans ce qui suit, pour la clarté de l'exposé, on se réfèrera uniquement aux appareils de capture d'images.
L'invention consiste, selon un de ses aspects, qui peut être utilisé indépendamment des aspects précédemment décrits, à partir des capacités des moyens 128, 128' de traitement numérique d'images pour déterminer ou sélectionner les paramètres du système optique 122, 122', et/ou du capteur ou générateur d'images 124, 124' et/ou du système d'asservissement 126.
On a présenté sur le diagramme de la figure 12 le niveau des performances que l'on peut atteindre avec chacun des composants de l'appareil lorsqu'ils sont associés à des moyens numériques de traitement d'images. Ces niveaux sont représentés par le trait interrompu 130 pour le système optique, le trait interrompu 132 pour le capteur, le trait interrompu 134 pour l'asservissement, et le trait interrompu 136 pour l'appareil.
Partant de ces niveaux de performances que l'on peut obtenir avec les moyens numériques de traitement d'images, on peut choisir des niveaux de performance de chacun des composants de l'appareil qui soient, avant traitement, sensiblement inférieurs aux niveaux des performances obtenues après application des moyens de traitement. On voit ainsi que le niveau des performances du système optique peut être établi au niveau 130', les niveaux des performances du capteur et du système d'asservissement peuvent être établis aux niveaux, respectivement 132' et 134'.
Dans ces conditions, en l'absence de traitement numérique, le niveau des performances de l'appareil serait au niveau le plus bas, par exemple le niveau 136' correspondant au niveau le plus bas 130' pour le système optique.
Les moyens numériques de traitement d'images sont de préférence ceux décrits dans les documents suivants :
- Demande de brevet EP 02751241.7 ayant pour titre Procédé et système pour produire des informations formatées liées aux défauts des appareils d'une chaîne d'appareils et informations formatées destinées à des moyens de traitement d'images .
- Demande de brevet EP 02743349.9 pour : Procédé et système pour modifier les qualités d'au moins une image provenant ou destinée à une chaîne d'appareils .
- Demande de brevet EP 02747504.5 pour : Procédé et système pour réduire la fréquence des mises à jour de moyens de traitement d'images .
- Demande de brevet EP 02748934.3 pour : Procédé et système pour corriger les aberrations chromatiques d'une image couleur réalisée au moyen d'un système optique .
- Demande de brevet EP 02743348.1 pour : "Procédé et système pour produire des informations formatées liées aux distorsions géométriques .
- Demande de brevet EP 02748933.5 pour : "Procédé et 5 système pour fournir, selon un format standard, des informations formatées à des moyens de traitement d'images".
- Demande de brevet EP 02747503.7 pour : Procédé et système pour calculer une image transformée à partir d'une image numérique et d'informations formatées relatives à une 10 transformation géométrique .
- Demande de brevet EP 02747506.0 pour : Procédé et système pour produire des informations formatées liées aux défauts d'au moins un appareil d'une chaîne, notamment au flou .
15 - Demande de brevet EP 02745485.9 pour : Procédé et système pour modifier une image numérique en prenant en compte son bruit .
- Demande de brevet PCT/FR 2004/050455 pour Procédé et système pour modifier une image numérique de 20 manière différenciée et quasi régulière par pixel .
Ces moyens numériques de traitement d'images permettent d'améliorer la qualité des images en agissant sur au moins l'un des paramètres suivants :
- Les distorsions géométriques du système optique. On 25 rappelle qu'un système optique peut distordre les images de façon telle qu'un rectangle peut être déformé en coussin, avec une forme convexe de chacun des côtés ou en barillet avec une forme concave de chacun des côtés.
- Les aberrations chromatiques du système optique : si 30 un point objet est représenté par trois taches colorées ayant des positions précises les unes par rapport aux autres, l'aberration chromatique se traduit par une variation de position de ces taches les unes par rapport aux autres, les aberrations étant, en général, d'autant plus importantes qu'on 35 s'éloigne du centre de l'image.
- La parallaxe : quand on effectue un réglage par déformation ou déplacement d'un élément optique du système optique, l'image obtenue sur le plan image peut se déplacer. Le réglage est, par exemple, un réglage de la focale, ou un réglage de mise au point.
Ce défaut est illustré par la figure 13 sur laquelle on a représenté un système optique 140 à trois lentilles dans lequel le centre de l'image a la position 142 quand la lentille 144 a la position représentée en trait plein. Lorsque la lentille 144 se déplace pour prendre la position 144', représentée en traits interrompus, le centre de l'image prend la position 142'.
- Profondeur de champ : quand le système optique est mis au point sur un plan objet déterminé, les images de ce plan restent nettes ainsi que les images des objets proches de ce plan. On appelle profondeur de champ la distance entre le plan objet le plus proche et le plan objet le plus éloigné pour lesquels les images restent nettes.
- Le vignetage : en général, la luminosité de l'image est maximale au centre et diminue au fur et à mesure qu'on s'éloigne du centre. Le vignetage se mesure par l'écart, en pour cent, entre la luminosité en un point et la luminosité maximale.
- Le manque de netteté du système optique et/ou du capteur et/ou du générateur d'images se mesure par exemple par le paramètre BXU tel que défini ci-dessus.
- Le bruit de l'image est en général défini par son écart type, sa forme, et la dimension de la tache de bruit et sa coloration.
- Le phénomène de moiré est une déformation de l'image qui se produit lorsqu'il existe des hautes fréquences spatiales.
Le moiré se corrige par le paramétrage des filtres anti-alias.
- Le contraste est le rapport entre les plus hautes et les plus basses valeurs de luminosité de l'image pour lesquelles des détails de l'image sont encore visibles.
Comme représenté sur les figures 14a et 14b, on peut améliorer le contraste (figure 14a) d'une image, c'est-à-dire étendre (figure 14b) la plage de luminosités sur laquelle on peut distinguer les détails. Cette extension s'effectue à l'aide notamment d'un algorithme de correction de contraste et de bruit.
On va maintenant décrire en relation avec la figure 15 une réalisation permettant d'uniformiser la netteté dans le champ de l'image.
On rappelle tout d'abord que la surface image d'un plan objet ne constitue pas un plan parfait mais présente une courbure, dite courbure de champ. Cette courbure varie en fonction de divers paramètres dont la focale et la mise au point. Ainsi, la position du plan image 150 dépend de la zone sur laquelle est effectuée la mise au point. Dans l'exemple représenté sur la figure 15, le plan 150 correspond à une mise au point au centre 152 de l'image. Pour une mise au point sur une zone 154 proche du bord de l'image, le plan image 156 se trouve plus proche du système optique 122 que le plan image 150.
Pour simplifier le système d'asservissement pour la mise au point, on dispose le plan image en une position 158, intermédiaire entre les positions 154 (correspondant à une mise au point sur une zone proche du bord de l'image), et 150 (correspondant à une mise au point sur une zone au centre de l'image). La conjugaison des moyens numériques de traitement d'images 128 avec l'asservissement 126 de mise au point, permet de limiter le déplacement du plan 158 pour la mise au point, ce qui diminue la consommation en énergie du système d'asservissement et permet de réduire le volume de ses composants.
On a représenté sur le diagramme de la figure 15a les propriétés de flou avec un système classique d'asservissement de mise au point dans lequel la netteté maximum est obtenue au centre de l'image. Ainsi, sur ce diagramme de la figure 15a, on a porté en abscisses le champ de l'image et en ordonnées la valeur de flou exprimée en BXU. Avec ce système d'asservissement classique, le flou est, au centre, de 1,3 et, au bord de l'image, de 6,6.
La figure 15b est un diagramme analogue à celui de la figure 15a montrant les propriétés d'un asservissement d'un appareil réalisé selon l'invention, partant de l'hypothèse que les moyens numériques de traitement d'images permettent de corriger le flou jusqu'à une valeur de BXU égale à 14. La courbe représentée sur ce diagramme de la figure 15b présente ainsi, au centre de l'image, une valeur BXU = 2,6 et la valeur de BXU
diminue quand on s'éloigne du centre pour remonter ensuite jusqu'à une valeur de 4 vers le bord de l'image. On rappelle que cette valeur est la limite pour que le flou soit corrigeable par les moyens numériques de traitement. Ainsi on peut obtenir une image nette sur la totalité du champ de l'image alors qu'il n'en est pas ainsi avec un appareil doté d'un système classique.
Dans une réalisation, les moyens numériques de traitement d'images comportent des moyens d'amélioration de la netteté tels qu'ils permettent de se passer d'un asservissement de mise au point.
A titre d'exemple comparatif, les diagrammes des figures 16a, 16b, 16c, et 16d montrent les caractéristiques d'un appareil obtenu selon la technique classique et celles d'un appareil obtenu avec le procédé selon l'invention.
L'appareil classique est un appareil de photographie numérique intégré à un téléphone mobile ayant un capteur VGA, c'est-à-dire une résolution 640 x 480 sans système de mise au point.
L'appareil classique a une ouverture de 2,8 alors que l'appareil obtenu avec le procédé selon l'invention a une ouverture de 1,4.
La figure 16a, qui correspond à l'appareil classique, est un diagramme sur lequel on a représenté en abscisses le pourcentage de champ de l'image, l'origine correspondant au centre de l'image. L'ordonnée représente le vignetage V. La figure 16b est un diagramme analogue pour un appareil obtenu selon l'invention.
Dans le schéma de la figure 16a (appareil classique) le vignetage atteint la valeur 0,7 au bord de l'image tandis que dans le diagramme de la figure 16b on voit que le système optique de l'appareil selon l'invention, présente un vignetage sensiblement plus important, de l'ordre de 0,3. La limite de correction de l'algorithme utilisé est de 0,25. En d'autres termes, grâce à l'algorithme de correction on peut faire appel à
une optique de vignetage sensiblement plus important.
La figure 16c est un diagramme représentant en ordonnées le flou, exprimé en BXU, en fonction du champ de l'image (en abscisses) pour un appareil classique. Dans cet appareil classique, la caractéristique de flou est de 1,5 au centre et de 4 au bord de l'image.
Le diagramme de la figure 16d représente aussi le flou pour l'optique de l'appareil obtenu avec le procédé selon l'invention. En abscisses de ce diagramme de la figure 16d, on a aussi représenté le champ de l'image et en ordonnées le flou exprimé en BXU. On voit que sur ce diagramme de la figure 16d, le flou au centre de l'image est de l'ordre de 2,2. Il est donc supérieur au flou du diagramme de la figure 16c. Par contre, sur les bords, on a choisi un flou de l'ordre de 3, compte tenu de la limite de l'algorithme de correction.
Autrement dit, de façon surprenante, on a choisi une optique dégradée en ce qui concerne la netteté au centre, alors qu'on obtient les mêmes résultats qu'avec l'appareil classique, avec, en plus, une ouverture supérieure. Il est aussi à noter que sur les bords, l'optique de l'appareil selon l'invention représente une qualité analogue à celle de l'optique classique, ce résultat pouvant être obtenu en raison de la dégradation du vignetage par rapport à l'optique classique.
Sur les diagrammes des figures 17a et 17b, on a représenté des caractéristiques de systèmes optiques différents entre lesquels le choix doit être effectué afin de réaliser un appareil de capture en utilisant le procédé selon l'invention.
Dans l'exemple représenté sur la figure 17a, le système optique fournit une tache image 1100 de faibles 5 dimensions. Ce système présente une fonction de transfert de modulation (FTM) représentée par un diagramme où les fréquences spatiales sont en abscisses. La valeur de la fréquence de coupure est fc. La fonction FTM comporte un palier 1110 au voisinage des fréquences nulles et une partie décroissant 10 rapidement vers la valeur fc.
L'optique représentée par le schéma de la figure 17b, présente une tache image 1114 de dimensions sensiblement supérieures à la tache image 1100 et sa FTM présente la même fréquence de coupure fc que dans le cas de la figure 17a. Par 15 contre, la variation de cette FTM en fonction de la fréquence spatiale est différente : cette fréquence diminue de façon relativement régulière à partir de l'origine vers la fréquence de coupure.
Pour le choix du système optique, on se base sur le 20 fait que l'algorithme de correction de la fonction de transfert de modulation, est efficace à partir d'une valeur de 0,3. Dans ces conditions, on voit qu'avec l'optique de la figure 17b, on obtient une correction permettant de rehausser la FTM jusqu'à
une valeur f2, par exemple, de l'ordre de 0,8 fc alors qu'avec 25 l'optique de la figure 17a, la correction n'est possible que jusqu'à une fréquence fl de l'ordre de 0,5 fc.
Autrement dit, avec un algorithme de correction, l'optique représentée sur la figure 17b fournira plus de détails que l'optique représentée sur la figure 17a, et cela malgré le 30 fait que la tache image soit de plus grandes dimensions que dans le cas de la figure 17a. On choisira donc l'optique correspondant à la figure 17b.
Application à 1'augmentation de profondeur de champ On va maintenant décrire une variante de réalisation du procédé pour lequel le capteur et/ou le système optique sont plus particulièrement adaptés à l'augmentation de la profondeur de champ.
Les capteurs classiques CMOS ou CCD sont souvent des capteurs formés à partir d'une mosaïque de pixels dite de Bayer.
La mosaïque de Bayer consiste en une succession de 2x2 pixels, formés de 2 pixels vert (c'est-à-dire un photosite sensible à la lumière dans une gamme spectrale autour de 550nm), d'un pixel rouge (gamme spectrale autour de 600nm) et d'un pixel bleu (gamme spectrale autour de 450nm) . Les gammes spectrales sont représentées sur la figure 2.
Selon les capteurs, les bandes spectrales du vert, du rouge et du bleu diffèrent et présentent un recouvrement plus ou moins grand. Un fort recouvrement entre ces trois bandes a pour conséquence de réduire la sensibilité du capteur aux couleurs (il devient "daltonien"), mais augmente sa sensibilité générale à la lumière et inversement.
Un fort recouvrement entre les trois bandes réduit aussi les différences de nettetés entre les couleurs, réduisant ainsi notamment la plage de distances pour lesquelles au moins une des trois couleurs est nette.
Aussi avantageusement, selon l'invention, on pourra adapter les bandes spectrales, par exemple en réduisant leur recouvrement, de telle sorte à augmenter la plage de distances pour lesquelles au moins une des trois couleurs est nette.
Cette adaptation pourra être conjointement menée avec la conception de l'optique et, en fonction des contraintes portant sur les traitements numériques de l'image.
Description d'un capteur optimisant le procédé selon 1'invention Dans une variante de réalisation du procédé, le capteur et/ou le système optique sont plus particulièrement adaptés à
des applications permettant de fournir des indications précises de distances des objets imagés.
Dans cette variante de réalisation on fait appel à une mosaïque de pixels de Bayer.
Il est courant que les capteurs présentent un nombre important de pixels fournissent des valeurs numériques aberrantes. Ces pixels sont appelés communément des "pixels morts" (ou "burned pixels" en anglais) . Aussi les traitements numériques de génération d'image contiennent une étape de filtrage de ces valeurs aberrantes afin que, sur l'image générée, les valeurs aberrantes de ces pixels soient gommées et donc non visibles.
La précision des mesures de distances selon le procédé, dépend notamment de la variation de la netteté relative fonction de la distance. Cette variation dépend de la quantité
d'aberration chromatique qu'il est possible d'obtenir avec le système de capture (capteur et optique). Or, la gamme de fréquences spectrales de la lumière visible, et donc la lumière utile pour une photographie, est relativement restreinte : de l'ordre de 400nm à 700nm. Aussi, la variation de netteté
relative en fonction de la distance se trouve alors limitée avec un capteur Bayer classique.
Plusieurs façons de modifier un capteur pour aller au-delà de cette limitation sont possibles. Une façon simple consiste à utiliser en plus des trois couleurs classiques .
rouge, vert et bleu, une bande spectrale différente, par exemple 800nm-900nm ou toute autre bande au-delà et/ou en deçà du spectre du visible. Les pixels sensibles à cette quatrième bande spectrale ne seront pas forcément utiles à la reconstruction de l'image visible mais serviront principalement à l'estimation de la distance des objets par comparaison de la netteté relative sur cette quatrième bande spectrale avec l'une, ou plusieurs, des trois couleurs classiques.
On pourra alors avantageusement disposer les pixels de la façon suivante : en partant d'une disposition d'un Bayer classique rouge, vert, bleu, on substitue, tous les NxM pixels, quelques pixels par des pixels sensibles dans cette quatrième bande spectrale. En choisissant N et M assez grands (par exemple 64 chacun), et en substituant par exemple 9 pixels on assure ainsi que seulement environ 1 pixel pour 1000 du Bayer classique est affecté. Ainsi, lors de la construction de l'image, ces pixels pourront être considérés comme des "pixels morts" et leurs valeurs filtrées.
On obtient ainsi, un appareil photographique permettant de fournir des indications plus précises de distance des objets imagés tous les NxM pixels de l'image.
Description d'un second capteur optimisant le procédé
selon 1'invention Dans une autre réalisation, montrée sur la figure 20.2, on part d'un Bayer classique dans lequel on prévoit trois pixels R, G, B et un pixel U correspondant à une une partie de bande spectrale UV ou infrarouge. Par infrarouge et/ou ultraviolet, on peut entendre toute partie du spectre au delà ou en deça du spectre visible, notamment le proche infra-rouge tel que 700 à
800 ou 700 à 900nm. , ou le proche ultra violet proche de 400nm.
Ce pixel U est utilisé pour améliorer la netteté des couleurs visibles comme montré avec le diagramme de la figure 20.1.
Sur ce diagramme, on a porté : en abscisses les distances "d" des objets imagés à l'appareil de capture, et en ordonnées le diamètre "D" de la tache de flou. Les courbes, 20.3, 20.4, 20.5, et 20.6 représentent la variation du diamètre "D" en fonction de la distance "d" pour, respectivement, le rouge "R", le vert "G", le bleu "B" et l'ultraviolet "U". La droite 20.7 représente le seuil de netteté définissant la profondeur de champ.
Ainsi la distance "dl" représente la limite de profondeur de champ pour un appareil de capture comportant des pixels "RGB"
et non les pixels U tout en utilisant le procédé d'amélioration de netteté selon l'invention. La distance "d2" représente la limite de profondeur de champ obtenue avec un appareil de capture comportant le capteur représenté sur la figure 20.2 et faisant appel au procédé d'amélioration de netteté selon l'invention. Les pixels "U" servent uniquement à répercuter la netteté de la couleur "U" vers les couleurs "RGB" pour les objets situés entre les distances "dl" et "d2". Ainsi l'image finale ne comportera que les trois couleurs "RGB" (ou toute autre répartition de couleurs visibles connues).
En variante, on ajoute des pixels sensibles au proche infrarouge pour améliorer la netteté aux plus grandes distances.
Augmentation des aberrations chromatiques longitudinales Selon l'invention, on tire parti de l'existence des variations de la netteté relative entre deux couleurs en fonction de la distance des objets. Aussi, on pourra concevoir des optiques présentant des nettetés relatives entre les trois plans couleurs très différentes selon la distance. De telles optiques sont dites présenter de fortes aberrations chromatiques longitudinales.
De façon pratique, on pourra par exemple concevoir l'optique de telle sorte que sur une grande plage de distances :
le plus petit des diamètres de spot diagram (diamètre de la tache de flou) entre les trois couleurs est en dessous d'un premier seuil prédéterminé et que le plus grand des diamètres de spot diagram entre les trois couleurs est en dessous d'un deuxième seuil prédéterminé. Alternativement, on pourra utiliser la valeur du BxU au lieu du diamètre du spot diagram.
Les deux seuils sont déterminés en fonction, par exemple, des capacités et contraintes des traitements numériques de génération de l'image, d'une part (comme par exemple la taille du filtre "F" décrit ci-dessous), et des caractéristiques du capteur, d'autre part.
La figure 18 présente un exemple des mesures BxU (axe des ordonnées) pour les trois plans couleurs RVB en fonction de la distance (axe des abscisses) pour une optique conçue en ce sens.
Les valeurs montrées sont celles au centre du champ image. En chaque point du champ image, on pourra mesurer des courbes différentes mais similaires. S1 et S2 désignent les deux seuils décrits ci-dessus. La plage des distances satisfaisant les deux critères décrits ci-dessus est alors, pour cette optique, environ 12cm-infini (dl->infini sur la figure 18) ce qui signifie que l'on pourra reconstruire une image nette pour des 5 scènes imagées dans cette plage de distances.
Avec une optique classique on aurait abouti à trois courbes proches de la courbe de la couleur rouge R dans la figure 18 et donc à un système optique ne permettant des reconstructions d'images nettes que pour des objets à de plus 10 grandes distances 25cm - infini (d2 --> infini sur la figure 18).
On peut aussi utiliser une optique ayant des aberrations chromatiques longitudinales telles que, pour une mise au point, une ouverture et une focale déterminées, il existe au moins 15 une couleur pour laquelle la distance objet de meilleure netteté
est inférieure a à k f , k étant un coefficient inférieur à 0,7, de préférence O.P
20 inférieur à 0,5, f étant la focale, 0 l'ouverture et P le plus petit (parmi toutes les couleurs de l'image) des diamètres de la tache de flou d'un point objet se trouvant à l'infini.
Application à l'adaptation autoanatique de résolution On va maintenant décrire une variante de réalisation de l'invention permettant d'adapter automatiquement la résolution de l'image au flou éventuel lié à une prise de vue en dehors de la profondeur de champ du dispositif de capture.
Lorsque la scène imagée est trop près (en deçà de la profondeur de champ), l'image est floue, c'est-à-dire que le spot diagram (la tache de flou) occupe une tache de plus de X
pixels de diamètre, X étant un paramètre prédéterminé
définissant la limite de profondeur de champ. Un sous-échantillonnage numérique de l'image (zoom out), réduira la taille de la tache de flou d'un facteur dépendant du type de sous-échantillonnage utilisé, mais, typiquement, de l'ordre de grandeur du facteur de sous-échantillonnage considéré. On pourra alors générer à partir de l'image numérique une image nette, mais de plus faible résolution en choisissant le facteur de sous-échantillonnage de telle sorte que la tache de flou soit inférieure, une fois l'image sous-échantillonnée, à un seuil donné.
En variante, afin de minimiser les calculs, on commence par effectuer le sous-échantillonage décrit ci-dessus avant d'effectuer l'augmentation de netteté selon l'invention.
Application à la modification de la netteté - Filtrage Comme pour la mesure de distance (figure 8), on peut extraire la netteté attendue de chaque couleur de l'image numérique à partir de la mesure de netteté relative entre deux plans couleurs.
Selon une variante de réalisation de l'invention, le traitement comprend une modification de netteté pour chaque pixel de la zone Z' au moyen d'un filtre mélangeant les valeurs de pixels sur un voisinage prédéterminé de chaque pixel, les paramètres du filtre étant fonction de la netteté relative mesurée.
En effet, un dispositif de capture d'images muni d'une optique pourra présenter des nettetés différentes selon les plans couleurs et selon la distance des objets imagés. La dépendance de la netteté (ou du flou) à la distance des objets imagés rend impossible l'augmentation de la netteté au moyen d'un traitement prédéterminé comme un filtrage de netteté
prédéterminé.
Une variante de réalisation de l'invention consiste à
choisir ou à adapter les filtres de netteté aux nettetés relatives mesurées.
Un cas particulier, déjà décrit, de l'adaptation du filtrage ou modification de netteté consiste en la répercussion de la netteté de la couleur nette sur au moins une autre couleur améliorée, cette répercussion étant réalisée à l'aide d'une calcul du type CA = CN + F(CO - CN), où CA est représentatif de cette couleur améliorée, C0 est représentatif de la couleur améliorée avant traitement, CN est représentatif de la couleur nette et F un filtre, notamment un filtre passe bas.
Mais, de façon plus générale, on pourra utiliser un filtre de netteté faisant intervenir toutes (ou un sous-ensemble de toutes) les couleurs. Ainsi, dans le cas d'une image numérique RGB (ou RVB) pour traiter la valeur d'un pixel P, le filtre M pourra modifier la valeur du pixel P en fonction des valeurs des pixels sur un voisinage du pixel P sur l'ensemble des trois couleurs.
Par exemple, en notant RN,GN,BN les données numériques relatives aux couleurs rouge, verte et bleue de l'image numérique, et RA, GA, BA les données numériques relatives aux couleurs de l'image améliorée, on pourra choisir le filtre M
comme un opérateur effectuant les opérations suivantes GA = GN + c GG * M GG (GN) + c GR * M GR (RN) + c GB *
M GB (BN) RA = RN + c RG * M RG (GN) + c RR * M RR (RN) + c RB *
M RB (BN) BA = BN + c BG * M BG (GN) + c BR * M BR (RN) + c BB *
M BB (BN) , Où :
Les M{R,G,B}{R,G,B} représentent des filtres, qui peuvent être choisis comme des filtres linéaires à somme nulle, comme par exemple des filtres fréquentiels passe-haut. Les c{R,G,B}{R,G,B} représentent des coefficients pondérant l'impact de chaque filtre M{R,G,B}{R,G,B}.
Cet exemple de filtrage peut aussi répercuter la netteté
de la couleur la plus nette sur les autres. Par exemple en supposant que seule la couleur bleue est nette, les filtres passe-haut M{R,G,B}{R,G,B} donneront des valeurs proches de 0, lorsqu'ils seront appliqués aux couleurs verte et rouge qui sont floues dans l'exemple. Dans ce cas particulier, GA sera donc égal à GN plus c GB * M GB (BN) , c'est-à-dire GN plus les hautes fréquences du bleu. La couleur verte hérite ainsi de la netteté
de la couleur nette (le bleu). Il en est de même pour la couleur rouge.
En pratique la netteté des couleurs n'est pas un facteur binaire, aussi les filtres M{R,G,B}{R,G,B} et les coefficients c{R,G,B}{R,G,B} pourront être adaptés aux différentes valeurs possibles des nettetés des couleurs.
Un exemple de réalisation d'une telle adaptation, dans le cadre d'images RGB issues d'un appareil de capture donné, est le suivant :
On considère les valeurs de netteté relative du rouge par rapport au vert, et du bleu par rapport au vert : V GR, V GB. On quantifie ces valeurs de telle sorte que les valeurs ainsi quantifiées constituent une entrée dans un tableau 2D de taille raisonnable. A chaque entrée (couple de valeurs V BR, V BG
quantifiées), on associe un jeu de filtres M{R,G,B}{R,G,B} et un jeu de coefficients c{R,G,B}{R,G,B} adaptés. Dans le cas particulier, où l'on cherche à améliorer la netteté de l'image numérique, on pourra, pour chaque entrée, prédéterminer les filtres M{R,G,B}{R,G,B} et un jeu de coefficients c{R,G,B}{R,G,B} de telle sorte qu'une image numérique, prise par l'appareil de capture et ayant les nettetés relatives correspondant à l'entrée soient parfaitement corrigées de la netteté par l'application du filtre M.
On pourra aussi affiner le filtre M de sorte à prendre en compte le fait que les trois couleurs ne varient pas à grande échelle de la même façon, notamment dans des zones colorées (par opposition aux zones noires, grises ou blanches) de l'image numérique. Pour cela, on pourra par exemple pondérer, en chaque pixel P de la zone Z', les actions des filtres M{R,G,B}{R,G,B}
par l'amplitude des variations relatives des couleurs sur un voisinage du pixel P.
Dans certains cas, le tableau d'association entre nettetés relatives considérées et jeu de filtres pourra comporter d'autres entrées comme, par exemple, la position de la zone Z' dans le champ de l' image ou des paramètres de prises de vue comme la valeur de la focale, de l'ouverture, de la distance de mise au point, etc., du système optique au moment de la prise de vue. En effet, il est habituel que les caractéristiques de netteté d'une image numérique dépendent aussi de ces facteurs.
Aussi pour la correction de netteté d'une image numérique, on découpera préalablement le champ image en plusieurs zones Z' et on appliquera le procédé à chacune des zones. Le découpage sera de préférence effectué en fonction des caractéristiques de netteté des couleurs de telle sorte qu'en chaque zone la netteté des couleurs soit relativement homogène.
Avec cette réalisation on obtient ainsi une adaptation automatique du filtrage de netteté appliqué à l'image numérique, à la distance entre scène la imagée et l'appareil de capture. Il est à noter que, grâce à l'utilisation de la netteté relative cette adaptation automatique à la distance, peut se faire sans la connaissance explicite de cette distance.
Au delà de la modification de la netteté de l'image numérique, cette réalisation du procédé permet aussi l'adaptation automatique de traitements visant par exemple à la correction de défauts optiques et/ou des capteurs dont les effets sur l'image dépendent de la distance entre scène imagée et appareil de capture. Le flou (ou perte de netteté) en est un exemple, mais d'autres défauts optiques et/ou du (des) capteur(s) comme les distorsions géométriques ou le vignetage, constituent d'autres exemples.
Principe de 1'invention Description des figures 19.1, 19.2, 19.3 Les figures 19.1, 19.2 et 19.3 représentent des étapes du procédé selon l'invention selon plusieurs modes de réalisation.
Sur la figure 19.1, on a représenté une image 10 comportant une région R et ayant deux couleurs 195 et 196, une mesure de netteté relative 190 entre les deux couleurs 195 et 196 sur la région R de l'image 10, une action 191 commandée en fonction de la netteté relative mesurée. En option l'action commandée dépend également d'un mode 193 correspondant par 5 exemple à un choix de l'utilisateur de l'appareil, et/ou une caractéristique de l'appareil de capture lors de la prise de vue.
Sur la figure 19.2, on a représenté une image 10 comportant une région R et ayant deux couleurs 195 et 196, une 10 mesure de netteté relative 190 entre les deux couleurs 195 et 196 sur la région R de l'image 10, une action 191 commandée en fonction de la netteté relative mesurée comportant un traitement de l'image 10 et produisant une image traitée 192. En option l'action commandée dépend également d'un mode 193 correspondant 15 par exemple à un choix de l'utilisateur de l'appareil, et/ou une caractéristique de l'appareil de capture lors de la prise de vue.
Sur la figure 19.3, on a représenté une image 10 comportant une région R et ayant deux couleurs 195 et 196, une 20 mesure de netteté relative 190 entre les deux couleurs 195 et 196 sur la région R de l'image 10, une action 191 commandée en fonction de la netteté relative mesurée comportant un traitement d'une autre image 194 et produisant une image traitée 198. En option l'action commandée dépend également d'un mode 193 25 correspondant par exemple à un choix de l'utilisateur de l'appareil, et/ou une caractéristique de l'appareil de capture lors de la prise de vue.
Application à la modification du contraste et/ou de la 30 luminosité et/ou de la couleur et/ou de la netteté
On va maintenant décrire une réalisation de l'invention dans laquelle la commande d'action consiste à modifier le contraste et/ou la luminosité et/ou la couleur de l'image en fonction de la netteté relative entre au moins deux couleurs sur 35 au moins une région R de l'image.
L'utilisation de la netteté relative entre au moins deux couleurs sur au moins une région R de l'image, directement ou indirectement (par exemple avec une étape d'estimation de la géométrie, en 3 dimensions, de la scène), permet par exemple de simuler l'ajout d'un éclairage localisé par exemple un flash positionné en un endroit quelconque dans la scène, et/ou, inversement, de réduire l'effet d'un flash ou d'éclairages de diverses couleurs dans la scène. Ainsi on peut réduire les effets de contre-jours, et d'à-plats de lumière liés au flash.
Dans une réalisation, on découpe l'image numérique en régions en fonction de la netteté relative entre au moins deux couleurs, de sorte que chaque région image une partie de la scène se trouvant dans une plage de distances donnée et qui est orientée dans une direction donnée. Une indication de la direction peut être obtenue à partir de la variation locale de la netteté relative dans l'image. Une indication de la distance peut être obtenue à partir de la netteté relative comme décrit précédemment. On peut également utiliser directement la netteté
relative et sa variation sans passer par une distance et une orientation.
Pour ajouter ou modifier un éclairage, on peut alors déterminer, pour chaque région, la quantité et la couleur de lumière à ajouter ou soustraire en chaque point puisque l'on connaît la distance à la source simulée par rapport au point imagé et l'orientation de l'objet imagé par rapport à la source.
Dans une réalisation, on reconstitue la géométrie en trois dimensions de la scène en mesurant la distance en un grand nombre de points de l'image. On utilise alors une technique connue en synthèse d'images pour ajouter un éclairage à la scène (lancer de rayons ou autre).
Dans une réalisation, on ajoute un éclairage sur le (ou les) sujet(s) principal(aux) adapté à chaque sujet pour provoquer un effet de "fill-in" simulant un ou plusieurs flash(s) positionné(s) en face ou sur le côté de chaque sujet.
On peut réaliser cette opération de manière automatique et de façon indépendante pour chaque sujet. Avec la technique connue l'ajout d'éclairages pour chaque sujet n'est possible qu'avec un éclairage de studio.
De manière similaire, on peut déterminer la puissance du flash en fonction du sujet le plus proche pour l'éclairer correctement, et compléter l'éclairage des autres sujets par l'ajout d'un éclairage simulé.
On peut également déterminer pour chaque région la couleur de l'éclairage par un procédé connu d'estimation de balance des blancs et ensuite rendre uniforme la couleur de l'éclairage de la scène. Dans l'état de la technique la balance des blancs est estimée globalement par manque d'information sur la géométrie en 3 dimensions de la scène.
Description des figures 18.1 et 18.2 Sur la figure 18.1 on a représenté un capteur 2, produisant une image brute 180 faisant l'objet d'un prétraitement 181, par exemple une balance des blancs, et/ou une compensation du niveau de noir, et/ou une réduction de bruit pour produire une image prétraitée 182. On a également représenté une mesure de netteté relative 190 commandant une action 191 correspondant à un traitement mettant en oeuvre l'image prétraitée 182 et la mesure de netteté relative 190, pour produire une image traitée 192. On a enfin représenté un traitement aval de l'image traitée 192, correspondant par exemple à un dématriçage ou à d'autres traitements nécessaires pour convertir une image brute en image visible.
Sur la figure 18.2 on a représenté un capteur 2, produisant une image brute 180. On a également représenté une mesure de netteté relative 190 commandant une action 191 correspondant à un traitement mettant en oeuvre l'image brute 180 et la mesure de netteté relative 190, pour produire une image traitée 192. On a enfin représenté un traitement aval de l'image traitée 192, correspondant, par exemple, à un dématriçage ou d'autres traitements nécessaires pour convertir une image brute en image visible.
Dans une variante, l'action met en oeuvre un traitement sur une image visible.
Simplification des optiques L'invention s'applique à un appareil comportant des paramètres variables au moment de la capture de l'image numérique et ayant une influence sur la netteté des couleurs notamment un appareil de capture avec zoom, et/ou une optique avec mise au point variable et/ou une ouverture variable. On utilise alors les courbes de netteté 8.2 et 8.3 correspondant à
la valeur des paramètres variables selon l'image numérique.
Comme décrit, l'invention permet de rétablir la mise au point numériquement sans groupe mobile et de manière instantanée, ce qui permet donc de réduire la complexité d'un zoom en supprimant au moins une partie mobile. Par exemple, en fonction de la distance du sujet et de la focale, la netteté
relative entre deux couleurs peut être variable, alors que ceci n'est pas acceptable dans les optiques connues.
Claims (76)
1. Procédé pour commander une action à partir d'une mesure effectuée sur au moins une image numérique, ayant au moins deux couleurs, provenant d'un appareil de capture d'images, dans lequel :
- on mesure la netteté relative entre au moins deux couleurs sur au moins une région R de l'image, et - on commande au moins une action en fonction de la netteté relative mesurée.
- on mesure la netteté relative entre au moins deux couleurs sur au moins une région R de l'image, et - on commande au moins une action en fonction de la netteté relative mesurée.
2. Procédé selon la revendication 1 dans lequel l'action commandée est comprise dans le groupe comprenant :
- une détermination de distance entre l'appareil de capture et au moins un objet imagé par l'image numérique, et/ou la détermination de la distance relative entre deux objets imagés, - une action dépendant de ladite distance et/ou de ladite distance relative, - un traitement sur au moins une zone Z' de l'image numérique et/ou d'une autre image numérique, - un asservissement de l'appareil de capture et/ou un asservissement d'un autre appareil, - la fourniture d'un signal d'indication et/ou d'alarme, et/ou d'alerte à un utilisateur, - la détection d'une partie de l'image, - une modification de la netteté d'une couleur, - une détermination de la position et/ou du mouvement de l'appareil de capture, - la détermination de la position dans l'image d'un sujet, - une modification d'au moins une caractéristique de l'image, - une modification de tout ou partie de l'image, - la détermination d'une zone d'intérêt dans l'image, notamment afin de fournir un signal de commande d'asservissement, - la modification de la résolution de tout ou partie de l'image, - la fourniture d'informations relatives à l'image, - la fourniture d'informations à un dispositif de capture de sons, - le paramétrage d'une compression, - au moins un réglage de l'appareil de capture.
- une détermination de distance entre l'appareil de capture et au moins un objet imagé par l'image numérique, et/ou la détermination de la distance relative entre deux objets imagés, - une action dépendant de ladite distance et/ou de ladite distance relative, - un traitement sur au moins une zone Z' de l'image numérique et/ou d'une autre image numérique, - un asservissement de l'appareil de capture et/ou un asservissement d'un autre appareil, - la fourniture d'un signal d'indication et/ou d'alarme, et/ou d'alerte à un utilisateur, - la détection d'une partie de l'image, - une modification de la netteté d'une couleur, - une détermination de la position et/ou du mouvement de l'appareil de capture, - la détermination de la position dans l'image d'un sujet, - une modification d'au moins une caractéristique de l'image, - une modification de tout ou partie de l'image, - la détermination d'une zone d'intérêt dans l'image, notamment afin de fournir un signal de commande d'asservissement, - la modification de la résolution de tout ou partie de l'image, - la fourniture d'informations relatives à l'image, - la fourniture d'informations à un dispositif de capture de sons, - le paramétrage d'une compression, - au moins un réglage de l'appareil de capture.
3. Procédé selon la revendication 1 ou 2 dans lequel l'action commandée comprend un traitement sur au moins une zone Z' de l'image numérique et/ou d'une autre image numérique, et dans lequel la zone Z' constitue tout ou partie de la région de l'image numérique, et/ou l'image numérique entière, et/ou une zone distincte de la région de l'image numérique, et/ou une zone d'une autre image numérique, et/ou une autre image numérique entière.
4. Procédé selon la revendication 3 dans lequel la zone Z' pour laquelle un traitement est commandé, comprend au moins un pixel d'une image et la région R comprend un voisinage prédéterminé du pixel correspondant dans l'image numérique.
5. Procédé selon la revendication 4 dans lequel on applique le traitement à l'ensemble des pixels d'une image.
6. Procédé selon l'une des revendications 3 à 5, dans lequel le traitement sur au moins la zone Z' comprend la modification d'au moins une caractéristique faisant partie du groupe comprenant : la netteté, le contraste, la luminosité, les détails, la couleur, le type de compression, le taux de compression, le contenu de l'image, la résolution.
7. Procédé selon l'une des revendications 3 à 6 dans lequel le traitement comprend une modification de netteté
pour chaque pixel de la zone Z' au moyen d'un filtre mélangeant les valeurs attachées au(x) pixel(s) sur un voisinage prédéterminé de chaque pixel, les paramètres du filtre étant fonction de la netteté relative mesurée.
pour chaque pixel de la zone Z' au moyen d'un filtre mélangeant les valeurs attachées au(x) pixel(s) sur un voisinage prédéterminé de chaque pixel, les paramètres du filtre étant fonction de la netteté relative mesurée.
8. Procédé selon l'une des revendications 3 à 7 dans lequel la zone Z' est déterminée à partir de la netteté
relative mesurée.
relative mesurée.
9. Procédé selon l'une des revendications 3 à 8 dans lequel la zone Z' constitue un arrière-plan d'une image, notamment destinée à être transmise à distance, en particulier par un système de visio ou vidéo-conférence.
10. Procédé selon l'une des revendications 3 à 9 dans lequel le traitement comprend la fourniture d'une information fonction de la distance entre l'objet imagé et l'appareil de capture pour tout ou partie des pixels de la zone Z', et on commande un stockage et/ou une transmission et/ou une utilisation de cette information fonction de la distance, le stockage étant effectué notamment dans un fichier informatique, en particulier dans un fichier image.
11. Procédé selon l'une des revendications précédentes dans lequel l'action commandée comprend une commande d'asservissement de l'appareil de capture tel qu'un asservissement de mise au point et/ou d'exposition, et/ou de flash, et/ou le cadrage de l'image, et/ou de balance des blancs, et/ou de stabilisation d'image, et/ou une commande d'asservissement d'un autre appareil ou dispositif lié à
l'appareil de capture, telle que le guidage d'un robot.
l'appareil de capture, telle que le guidage d'un robot.
12. Procédé selon l'une des revendications précédentes dans lequel l'action commandée comprend une fourniture de signal tel qu'un signal d'indication de l'objet d'intérêt principal de l'image numérique, et/ou d'une zone de mise au point, et/ou de distance d'au moins une partie de la scène imagée à l'appareil de capture.
13. Procédé selon l'une des revendications précédentes dans lequel on fait dépendre l'action commandée d'au moins une caractéristique de l'appareil de capture lors de la prise de vue, notamment la focale, l'ouverture, la distance de mise au point, les paramètres d'exposition, les paramètres de balance des blancs, la résolution, la compression, ou un réglage effectué par l'utilisateur.
14. Procédé selon l'une des revendications précédentes dans lequel l'image numérique constitue une image brute issue du capteur de l'appareil de capture.
15. Procédé selon l'une des revendications précédentes dans lequel la mesure est effectuée dans l'appareil de capture et/ou l'action commandée est effectuée dans l'appareil de capture.
16. Procédé selon l'une des revendications précédentes dans lequel la mesure est effectuée hors de l'appareil de capture, par exemple sur un ordinateur après transfert de l'image, et/ou on commande une action effectuée en dehors de l'appareil de capture.
17. Procédé selon l'une des revendications précédentes dans lequel l'action commandée comporte une commande de détection et/ou reconnaissance d'une partie de l'image, telle qu'une détection et/ou une reconnaissance de visage.
18. Procédé selon l'une des revendications précédentes dans lequel la mesure comprend une mesure de la netteté relative entre une première couleur et au moins une seconde couleur appelée autre couleur et la commande comprend la modification de la netteté de l'autre couleur en fonction de la netteté de la première couleur.
19. Procédé selon la revendication 18 dans lequel la modification de la netteté de l'autre couleur est réalisée à
l'aide d'un calcul de type CA = CN + F(CO - CN), où CA est représentatif de l'autre couleur améliorée, CO est représentatif de l'autre couleur avant le traitement, CN est représentatif de la première couleur et F un filtre, notamment un filtre passe pas.
l'aide d'un calcul de type CA = CN + F(CO - CN), où CA est représentatif de l'autre couleur améliorée, CO est représentatif de l'autre couleur avant le traitement, CN est représentatif de la première couleur et F un filtre, notamment un filtre passe pas.
20. Procédé selon l'une des revendications 18 à 22 dans lequel la modification de la netteté de l'autre couleur est une amélioration de la netteté, la première couleur étant dénommée "couleur nette".
21. Procédé selon la revendication 20 comprenant en outre l'étape de décomposer l'image numérique en régions (11.1, 11.2), le choix de la couleur nette étant effectué pour chaque région.
22. Procédé selon la revendication 20 ou 21, ledit appareil de capture comportant un mode macro, procédé dans lequel le choix de la couleur nette est fonction de l'activation du mode macro.
23. Procédé selon la revendication 18 ou 19 dans lequel on réduit la netteté d'au moins une couleur dans au moins une zone image.
24. Procédé selon l'une des revendications précédentes, pour lequel ladite image numérique est issue d'un appareil de capture comprenant une optique, ledit procédé
comprenant en outre l'étape de choisir une optique parmi un ensemble d'optiques prédéterminées, ladite optique présentant des caractéristiques telles que les images d'un objet à au moins deux distances prédéterminées distinctes présentent des couleurs de nettetés distinctes ; de sorte que la profondeur de champ est améliorée et/ou le coût de l'optique est diminué.
comprenant en outre l'étape de choisir une optique parmi un ensemble d'optiques prédéterminées, ladite optique présentant des caractéristiques telles que les images d'un objet à au moins deux distances prédéterminées distinctes présentent des couleurs de nettetés distinctes ; de sorte que la profondeur de champ est améliorée et/ou le coût de l'optique est diminué.
25. Procédé selon l'une des revendications précédentes dans lequel l'action commandée comprend une mesure de la position et/ou du mouvement de l'appareil de capture.
26. Procédé selon l'une des revendications précédentes dans lequel l'action commandée comprend la détermination de la position du (des) sujet(s) principal(aux) dans l'image.
27. Procédé selon la revendication 26 dans lequel l'action commandée comprend en outre le cadrage automatique, notamment le centrage, le zoom ou le recadrage de l'image numérique et/ou d'une autre image sur le sujet principal de l'image numérique.
28. Procédé selon l'une des revendications précédentes dans lequel l'action commandée comprend l'application d'un traitement fonction de la netteté relative et d'un choix utilisateur.
29. Procédé selon l'une des revendications précédentes dans lequel l'action commandée comprend la modification du contraste et/ou de la luminosité et/ou de la couleur et/ou de la netteté d'une image en fonction de la variation de netteté relative dans l'image.
30. Procédé selon l'une des revendications précédentes dans lequel l'action commandée comprend la fourniture, à un asservissement d'exposition et/ou de balance des blancs et/ou de mise au point, de la position d'au moins une zone d'intérêt à prendre en compte, la zone d'intérêt étant déterminée en comparant au moins deux mesures de nettetés relatives.
31. Procédé selon l'une des revendications précédentes dans lequel l'action commandée comprend la fourniture, à l'utilisateur, d'un signal indiquant que l'image est prise de trop près pour être nette.
32. Procédé selon l'une des revendications précédentes dans lequel l'action commandée comprend la modification de la résolution d'une image en fonction de la netteté relative.
33. Procédé selon l'une des revendications précédentes dans lequel l'action commandée comprend la fourniture d'un signal utilisé pour une indexation automatique de l'image numérique.
34. Procédé selon l'une des revendications précédentes dans lequel l'action commandée comprend la fourniture à un dispositif de capture de son(s) d'une information de distance et/ou direction, par rapport à
l'appareil de capture, d'un sujet ou objet de l'image numérique.
l'appareil de capture, d'un sujet ou objet de l'image numérique.
35. Procédé selon l'une des revendications précédentes dans lequel l'action commandée comprend le paramétrage d'une compression élevée pour l'arrière-plan, une compression inférieure pour le(les) sujet(s) principal(aux), le(les) sujet(s) principal(aux) étant déterminé(s) comme une zone de l'image satisfaisant à des critères basés sur la netteté
relative mesurée.
relative mesurée.
36. Procédé selon l'une des revendications précédentes dans lequel l'appareil comporte un capteur ayant des pixels munis de filtres colorés d'au moins deux sortes, lesdits filtres étant choisis de telle sorte que leurs réponses spectrales présentent peu de recouvrement.
37. Procédé selon l'une des revendications précédentes dans lequel l'appareil comporte un capteur ayant des pixels servant principalement à générer l'image et d'autres pixels servant principalement à mesurer la netteté relative.
38. Procédé selon la revendication 37 dans lequel les pixels du capteur servant principalement à mesurer la netteté relative ont une réponse spectrale dans une bande spectrale qui présente peu de recouvrement avec la bande spectrale des pixels du capteur servant principalement à générer l'image.
39. Procédé selon la revendication 37 ou 38 dans lequel les pixels du capteur servant principalement à générer une image ont une réponse spectrale qui est principalement dans le domaine visible à l'oeil humain et les autres pixels ont une réponse spectrale principalement en dehors du domaine visible à
l'oeil humain.
l'oeil humain.
40. Procédé selon l'une des revendications précédentes dans lequel l'appareil de capture comporte un capteur comprenant des pixels de réponse spectrale principalement dans le domaine visible à l'oeil humain et des pixels supplémentaires ayant une réponse spectrale principalement en dehors du spectre visible à l'oeil humain, et dont la netteté de la partie d'image issue de ces pixels supplémentaires est, dans au moins une plage de distances entre l'appareil de capture et la scène imagée, supérieure à la netteté de la partie d'image fournie par les pixels de réponse principalement dans le domaine visible à l'oeil humain.
41. Procédé selon l'une des revendications précédentes dans lequel l'appareil est muni d'une optique dépourvue d'élément mobile ou déformable pour la mise au point.
42. Procédé selon l'une des revendications précédentes dans lequel l'appareil est muni d'une optique à
focale variable sans élément mobile ou déformable de mise au point.
focale variable sans élément mobile ou déformable de mise au point.
43. Procédé selon l'une des revendications précédentes dans lequel l'appareil est muni d'une optique à
focale variable avec un seul groupe optique mobile ou déformable.
focale variable avec un seul groupe optique mobile ou déformable.
44. Procédé selon l'une des revendications précédentes dans lequel l'image numérique est issue d'au moins deux capteurs.
45. Procédé selon l'une des revendications précédentes dans lequel l'action commandée comprend l'ajout d'un objet dans une image et/ou le remplacement d'une partie d'une image en fonction de la netteté relative mesurée sur l'image numérique.
46. Procédé selon l'une des revendications précédentes dans lequel l'appareil de capture capturant une séquence d'images, l'image numérique faisant partie de la séquence, l'action est effectuée sur au moins une autre image de la séquence.
47. Procédé selon l'une des revendications précédentes dans lequel l'action commandée modifie au moins un réglage de l'appareil de capture, notamment la focale, l'ouverture, la distance de mise au point.
48. Procédé selon l'une des revendications précédentes dans lequel l'action commandée comprend la production d'une image brute modifiée.
49. Procédé selon l'une des revendications précédentes dans lequel l'appareil comporte une optique ayant des aberrations chromatiques longitudinales telles que, pour une mise au point, une ouverture et une focale déterminées, il existe au moins une couleur pour laquelle la distance objet de meilleure netteté est inférieure à
k étant un coefficient inférieur à 0,7, de préférence inférieur à 0,5, f étant la focale, O l'ouverture et P le plus petit, parmi toutes les couleurs de l'image, des diamètres de la tache de flou d'un point objet se trouvant à l'infini.
k étant un coefficient inférieur à 0,7, de préférence inférieur à 0,5, f étant la focale, O l'ouverture et P le plus petit, parmi toutes les couleurs de l'image, des diamètres de la tache de flou d'un point objet se trouvant à l'infini.
50. Procédé selon l'une des revendications précédentes dans lequel la mesure de netteté relative entre deux couleurs est effectuée par la comparaison entre les résultats d'une première mesure appliquée sur la première couleur et les résultats d'une seconde mesure appliquée sur la seconde couleur, chaque mesure étant telle qu'elle dépend, d'une part, de la couleur et, d'autre part, du contenu de l'image numérique, la comparaison étant telle qu'elle s'affranchisse du contenu de l'image numérique.
51. Procédé selon l'une des revendications précédentes, ladite image numérique étant issue d'un appareil de capture comprenant une optique, ledit procédé comprend en outre l'étape de concevoir une optique présentant des caractéristiques telles que les images d'un objet à au moins deux distances prédéterminées présentent des couleurs de nettetés distinctes ;
- de sorte que la profondeur de champ et/ou l'ouverture et/ou toute autre caractéristique optique est améliorée et/ou le coût de l'optique est diminué.
- de sorte que la profondeur de champ et/ou l'ouverture et/ou toute autre caractéristique optique est améliorée et/ou le coût de l'optique est diminué.
52. Procédé de réalisation d'un appareil (20) de capture et/ou de restitution d'images qui comprend un système optique (22, 22') de capture et/ou de restitution d'images, un capteur (24) et/ou générateur (24') d'images et/ou un système d'asservissement (26), l'image étant traitée, en vue de son amélioration, par des moyens numériques (28, 28') de traitement d'images, - le procédé étant tel qu'on détermine ou sélectionne les paramètres du système optique et/ou du capteur et/ou du générateur d'images et/ou du système d'asservissement, à partir des capacités des moyens numériques de traitement d'images, et de l'amélioration de la netteté d'une couleur en fonction de la netteté d'une autre couleur selon un procédé conforme à l'une des revendications précédentes, - de sorte à minimiser les coûts de réalisation et/ou à optimiser les performances de l'appareil des capture et/ou de restitution d'images.
53. Utilisation du procédé selon l'une des revendications 1 à 52 dans un appareil de capture d'images.
54. Utilisation du procédé selon l'une des revendications 1 à 51 dans un dispositif de traitement d'images numériques.
55. Procédé d'amélioration de la netteté d'au moins une couleur d'une image numérique, notamment issue d'un appareil de capture d'images, comprenant les étapes de - choisir parmi les couleurs au moins une couleur dénommée "couleur nette", - répercuter la netteté de la couleur nette sur au moins une autre couleur améliorée, afin que la couleur améliorée présente une netteté
accrue.
accrue.
56. Procédé selon la revendication 55, le procédé
comprenant en outre l'étape de décomposer l'image numérique en régions ; ledit choix de la couleur nette étant effectué pour chaque région.
comprenant en outre l'étape de décomposer l'image numérique en régions ; ledit choix de la couleur nette étant effectué pour chaque région.
57. Procédé selon la revendication 56 ; ladite image numérique étant issue d'un appareil de capture, ledit procédé
comprenant, en outre, l'étape de déterminer la distance entre l'appareil de capture et au moins un objet de la scène capturée à partir de la netteté d'au moins deux couleurs dans une région image dudit objet.
comprenant, en outre, l'étape de déterminer la distance entre l'appareil de capture et au moins un objet de la scène capturée à partir de la netteté d'au moins deux couleurs dans une région image dudit objet.
58. Procédé selon la revendication 57 ; ledit procédé comprenant, en outre, l'étape de réduire la netteté d'au moins une couleur dans au moins une région image.
59. Procédé selon la revendication 57 ou 58 ; ledit procédé comprenant en outre l'étape de déterminer une consigne d'asservissement dudit appareil de capture à partir de la netteté d'au moins deux couleurs ; de sorte que la mise au point se fait en moins d'étapes et est accélérée.
60. Procédé selon l'une des revendications 55 à 59 ;
ledit choix de la couleur nette étant celui de choisir la couleur la plus nette selon une règle prédéterminée.
ledit choix de la couleur nette étant celui de choisir la couleur la plus nette selon une règle prédéterminée.
61. Procédé selon l'une des revendications 55 à 59 ;
ledit choix de la "couleur nette" étant prédéterminé.
ledit choix de la "couleur nette" étant prédéterminé.
62. Procédé selon l'une des revendications 55 à 61 ;
ladite image numérique étant issue d'un appareil de capture, ledit choix de la couleur nette étant fonction de la distance entre l'appareil de capture et au moins un objet de la scène capturée pour obtenir ladite image numérique.
ladite image numérique étant issue d'un appareil de capture, ledit choix de la couleur nette étant fonction de la distance entre l'appareil de capture et au moins un objet de la scène capturée pour obtenir ladite image numérique.
63. Procédé selon l'une des revendications 55 à 62 ;
ledit appareil d'image comportant un mode macro, ledit choix de la couleur nette étant fonction de l'activation du mode macro.
ledit appareil d'image comportant un mode macro, ledit choix de la couleur nette étant fonction de l'activation du mode macro.
64. Procédé selon l'une des revendications 55 à 63 ;
ladite image numérique étant issue d'un appareil de capture comprenant une optique, ledit procédé comprenant en outre l'étape de choisir une optique parmi un ensemble d'optiques prédéterminées ; ladite optique présentant des caractéristiques telles que les images d'un objet à au moins deux distances prédéterminées présentent des couleurs nettes distinctes ; de sorte que la profondeur de champ est améliorée et/ou le coût de l'optique est diminué.
ladite image numérique étant issue d'un appareil de capture comprenant une optique, ledit procédé comprenant en outre l'étape de choisir une optique parmi un ensemble d'optiques prédéterminées ; ladite optique présentant des caractéristiques telles que les images d'un objet à au moins deux distances prédéterminées présentent des couleurs nettes distinctes ; de sorte que la profondeur de champ est améliorée et/ou le coût de l'optique est diminué.
65. Procédé selon l'une des revendications 55 à 64, la répercussion de la netteté de la couleur nette sur au moins une autre couleur améliorée étant réalisée à l'aide d'un calcul du type CA = CN + F(CO - CN), où CA est représentatif de la couleur améliorée, C0 est représentatif de la couleur améliorée avant traitement, CN est représentatif de la couleur nette et F
un filtre, notamment un filtre passe-bas.
un filtre, notamment un filtre passe-bas.
66. Procédé selon l'une des revendications 55 à 65, ladite image numérique étant issue d'un appareil de capture comprenant une optique, ledit procédé comprenant, en outre, l'étape de concevoir une optique en tenant compte du procédé
selon l'invention; ladite optique présentant des caractéristiques telles que les images d'un objet à au moins deux distances prédéterminées présentent des couleurs nettes distinctes, - de sorte que la profondeur de champ et/ou l'ouverture et/ou tout autre caractéristique optique est améliorée et/ou le coût de l'optique est diminué
- de sorte que la mise au point mécanique peut se faire avec moins de positions.
selon l'invention; ladite optique présentant des caractéristiques telles que les images d'un objet à au moins deux distances prédéterminées présentent des couleurs nettes distinctes, - de sorte que la profondeur de champ et/ou l'ouverture et/ou tout autre caractéristique optique est améliorée et/ou le coût de l'optique est diminué
- de sorte que la mise au point mécanique peut se faire avec moins de positions.
67. Procédé de réalisation d'un appareil (20) de capture et/ou de restitution d'images qui comprend un système optique (22, 22') de capture et/ou de restitution d'images, un capteur (24) et/ou générateur (24') d'images, et/ou un système d'asservissement (26), l'image étant traitée, en vue de son amélioration, par des moyens numériques (28, 28') de traitement d'images, - le procédé étant tel qu'on détermine ou sélectionne les paramètres du système optique et/ou du capteur et/ou du générateur d'images et/ou du système d'asservissement, à partir des capacités des moyens numériques de traitement d'images, et notamment de l'amélioration de la netteté d'une couleur en fonction de la netteté d'une autre couleur selon un procédé conforme à l'une des revendications 55 à 66, - de sorte à minimiser les coûts de réalisation et/ou à optimiser les performances de l'appareil de capture et/ou de restitution d'images.
68. Appareil de capture et/ou de restitution d'images utilisant un procédé d'amélioration de couleur selon l'une des revendications 55 à 66 et/ou obtenu par un procédé de réalisation selon la revendication 67.
69. Dispositif de traitement d'image numérique mettant en oeuvre un procédé selon l'une des revendications 55 à
66.
66.
70. Image numérique obtenue selon un procédé
conforme à l'une des revendications 55 à 66 ou à partir d'un appareil conforme à la revendication 68.
conforme à l'une des revendications 55 à 66 ou à partir d'un appareil conforme à la revendication 68.
71. Capteur pour appareil de capture d'images numériques comprenant des pixels servant principalement à
générer l'image numérique et d'autres pixels servant principalement à mesurer la netteté relative entre au moins deux couleurs sur au moins une région R de l'image.
générer l'image numérique et d'autres pixels servant principalement à mesurer la netteté relative entre au moins deux couleurs sur au moins une région R de l'image.
72. Capteur selon la revendication 71 dans lequel les pixels servant principalement à mesurer la netteté relative ont une réponse spectrale dans une bande spectrale qui présente peu de recouvrement avec la bande spectrale des pixels servant principalement à générer l'image.
73. Capteur selon la revendication 71 ou 72 dans lequel les pixels servant principalement à générer l'image ont une réponse spectrale principalement dans le domaine visible à
l'oeil humain et les autres pixels ont une réponse spectrale principalement en dehors du domaine visible à l'oeil humain.
l'oeil humain et les autres pixels ont une réponse spectrale principalement en dehors du domaine visible à l'oeil humain.
74. Appareil de capture comprenant un capteur selon l'une des revendications 71 à 73.
75. Appareil de capture d'images numériques comportant un capteur présentant, d'une part, des pixels de réponse spectrale principalement dans le domaine visible à l'oeil humain et, d'autre part, des pixels supplémentaires présentant une réponse spectrale principalement en dehors du spectre visible à l'oeil humain, la netteté de la partie d'image issue de ces pixels supplémentaires étant, dans au moins une plage de distances entre l'appareil de capture et la scène imagée, supérieure à la netteté de la partie d'image fournie par les pixels dont la réponse spectrale est principalement dans le domaine visible à l' il humain.
76. Appareil selon la revendication 75 dans lequel les pixels supplémentaires ont une réponse spectrale principalement dans le domaine ultraviolet et/ou infrarouge.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CA2834963A CA2834963C (fr) | 2005-03-07 | 2006-03-06 | Procede pour commander une action, notamment une modification de nettete, a partir d'une image numerique en couleurs |
| CA2835047A CA2835047C (fr) | 2005-03-07 | 2006-03-06 | Procede pour commander une action, notamment une modification de nettete, a partir d'une image numerique en couleurs |
| CA2834883A CA2834883C (fr) | 2005-03-07 | 2006-03-06 | Procede pour commander une action, notamment une modification de nettete, a partir d'une image numerique en couleurs |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR0550601A FR2880958B1 (fr) | 2005-01-19 | 2005-03-07 | Procede d'amelioration de la nettete d'au moins une couleur d'une image numerique |
| FR0550601 | 2005-03-07 | ||
| PCT/FR2006/050197 WO2006095110A2 (fr) | 2005-03-07 | 2006-03-06 | Procédé pour commander une action, notamment une modification de netteté, à partir d'une image numérique en couleurs |
Related Child Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CA2835047A Division CA2835047C (fr) | 2005-03-07 | 2006-03-06 | Procede pour commander une action, notamment une modification de nettete, a partir d'une image numerique en couleurs |
| CA2834963A Division CA2834963C (fr) | 2005-03-07 | 2006-03-06 | Procede pour commander une action, notamment une modification de nettete, a partir d'une image numerique en couleurs |
| CA2834883A Division CA2834883C (fr) | 2005-03-07 | 2006-03-06 | Procede pour commander une action, notamment une modification de nettete, a partir d'une image numerique en couleurs |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CA2600185A1 true CA2600185A1 (fr) | 2006-09-14 |
| CA2600185C CA2600185C (fr) | 2016-04-26 |
Family
ID=36632499
Family Applications (4)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CA2835047A Expired - Fee Related CA2835047C (fr) | 2005-03-07 | 2006-03-06 | Procede pour commander une action, notamment une modification de nettete, a partir d'une image numerique en couleurs |
| CA2834963A Expired - Fee Related CA2834963C (fr) | 2005-03-07 | 2006-03-06 | Procede pour commander une action, notamment une modification de nettete, a partir d'une image numerique en couleurs |
| CA2600185A Expired - Fee Related CA2600185C (fr) | 2005-03-07 | 2006-03-06 | Procede pour commander une action, notamment une modification de nettete, a partir d'une image numerique en couleurs |
| CA2834883A Expired - Fee Related CA2834883C (fr) | 2005-03-07 | 2006-03-06 | Procede pour commander une action, notamment une modification de nettete, a partir d'une image numerique en couleurs |
Family Applications Before (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CA2835047A Expired - Fee Related CA2835047C (fr) | 2005-03-07 | 2006-03-06 | Procede pour commander une action, notamment une modification de nettete, a partir d'une image numerique en couleurs |
| CA2834963A Expired - Fee Related CA2834963C (fr) | 2005-03-07 | 2006-03-06 | Procede pour commander une action, notamment une modification de nettete, a partir d'une image numerique en couleurs |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CA2834883A Expired - Fee Related CA2834883C (fr) | 2005-03-07 | 2006-03-06 | Procede pour commander une action, notamment une modification de nettete, a partir d'une image numerique en couleurs |
Country Status (7)
| Country | Link |
|---|---|
| US (3) | US7920172B2 (fr) |
| EP (1) | EP1856907A2 (fr) |
| JP (3) | JP5535476B2 (fr) |
| KR (1) | KR101265358B1 (fr) |
| CN (2) | CN101204083A (fr) |
| CA (4) | CA2835047C (fr) |
| WO (1) | WO2006095110A2 (fr) |
Families Citing this family (126)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4969122B2 (ja) * | 2006-03-24 | 2012-07-04 | パナソニック株式会社 | 撮像装置 |
| KR100776805B1 (ko) * | 2006-09-29 | 2007-11-19 | 한국전자통신연구원 | 스테레오 비전 처리를 통해 지능형 서비스 로봇 시스템에서효율적인 영상 정보의 전송을 위한 장치 및 그 방법 |
| KR100834577B1 (ko) * | 2006-12-07 | 2008-06-02 | 한국전자통신연구원 | 스테레오 비전 처리를 통해 목표물 검색 및 추종 방법, 및이를 적용한 가정용 지능형 서비스 로봇 장치 |
| US20090102924A1 (en) * | 2007-05-21 | 2009-04-23 | Masten Jr James W | Rapidly Deployable, Remotely Observable Video Monitoring System |
| KR100976284B1 (ko) * | 2007-06-07 | 2010-08-16 | 가부시끼가이샤 도시바 | 촬상 장치 |
| DE102007031230B3 (de) * | 2007-07-04 | 2008-10-30 | Bundesdruckerei Gmbh | Dokumentenerfassungssystem und Dokumentenerfassungsverfahren |
| JP5032911B2 (ja) * | 2007-07-31 | 2012-09-26 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| JP5298507B2 (ja) | 2007-11-12 | 2013-09-25 | セイコーエプソン株式会社 | 画像表示装置及び画像表示方法 |
| US8379115B2 (en) | 2007-11-20 | 2013-02-19 | Motorola Mobility Llc | Image capture device with electronic focus |
| US8643748B2 (en) | 2007-11-20 | 2014-02-04 | Motorola Mobility Llc | Compact stationary lens optical zoom image capture system |
| KR101412752B1 (ko) * | 2007-11-26 | 2014-07-01 | 삼성전기주식회사 | 디지털 자동 초점 영상 생성 장치 및 방법 |
| JP5171361B2 (ja) * | 2008-04-07 | 2013-03-27 | 株式会社日立製作所 | 撮像装置 |
| JP5132401B2 (ja) * | 2008-04-16 | 2013-01-30 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| US8160355B1 (en) * | 2008-05-18 | 2012-04-17 | Pixim Israel Ltd. | Method, device and computer program product for performing white balancing of a digital image |
| EP2312858B1 (fr) * | 2008-06-18 | 2012-09-26 | Panasonic Corporation | Appareil de traitement d'images, appareil d'imagerie, procédé de traitement d'images et programme |
| GB2463480A (en) * | 2008-09-12 | 2010-03-17 | Sharp Kk | Camera Having Large Depth of Field |
| JP5075795B2 (ja) | 2008-11-14 | 2012-11-21 | 株式会社東芝 | 固体撮像装置 |
| JP5158713B2 (ja) * | 2008-11-26 | 2013-03-06 | 京セラ株式会社 | 撮像装置および車載カメラシステム |
| JP5300133B2 (ja) * | 2008-12-18 | 2013-09-25 | 株式会社ザクティ | 画像表示装置及び撮像装置 |
| JP5213688B2 (ja) * | 2008-12-19 | 2013-06-19 | 三洋電機株式会社 | 撮像装置 |
| US8908995B2 (en) | 2009-01-12 | 2014-12-09 | Intermec Ip Corp. | Semi-automatic dimensioning with imager on a portable device |
| US8379321B2 (en) * | 2009-03-05 | 2013-02-19 | Raytheon Canada Limited | Method and apparatus for accurate imaging with an extended depth of field |
| WO2010108119A2 (fr) | 2009-03-19 | 2010-09-23 | Flextronics Ap, Llc | Appareil photo à double capteur |
| JP2010257037A (ja) * | 2009-04-22 | 2010-11-11 | Sony Corp | 情報処理装置および方法、並びにプログラム |
| US8553106B2 (en) | 2009-05-04 | 2013-10-08 | Digitaloptics Corporation | Dual lens digital zoom |
| JP2010288150A (ja) * | 2009-06-12 | 2010-12-24 | Toshiba Corp | 固体撮像装置 |
| CN101938535B (zh) * | 2009-06-29 | 2014-01-15 | 鸿富锦精密工业（深圳）有限公司 | 电子设备 |
| FR2949003B1 (fr) * | 2009-08-10 | 2017-09-08 | Dxo Labs | Systeme et procede de capture d'images avec deux modes de fonctionnement |
| TWI451357B (zh) * | 2009-09-09 | 2014-09-01 | Himax Tech Ltd | 字型反鋸齒方法 |
| CN102257822B (zh) * | 2009-10-27 | 2014-01-08 | 松下电器产业株式会社 | 摄像装置和使用它的测距装置 |
| WO2011058236A1 (fr) | 2009-11-16 | 2011-05-19 | Dxo Labs | Systeme optique et procede de conception associe |
| US20110149021A1 (en) * | 2009-12-17 | 2011-06-23 | Samir Hulyalkar | Method and system for sharpness processing for 3d video |
| US20110188116A1 (en) * | 2010-02-02 | 2011-08-04 | Nikolay Ledentsov Ledentsov | Device for generation of three-demensional images |
| JP5528173B2 (ja) * | 2010-03-31 | 2014-06-25 | キヤノン株式会社 | 画像処理装置、撮像装置および画像処理プログラム |
| TWI495335B (zh) * | 2010-04-21 | 2015-08-01 | Hon Hai Prec Ind Co Ltd | 取像模組及其運作方法 |
| JP2011229603A (ja) * | 2010-04-26 | 2011-11-17 | Fujifilm Corp | 内視鏡装置 |
| JP2011229625A (ja) * | 2010-04-26 | 2011-11-17 | Fujifilm Corp | 内視鏡装置 |
| JP5811635B2 (ja) * | 2011-03-07 | 2015-11-11 | 株式会社ニコン | 画像処理装置、撮像装置および画像処理プログラム |
| JP5630105B2 (ja) * | 2010-07-05 | 2014-11-26 | 株式会社ニコン | 画像処理装置、撮像装置および画像処理プログラム |
| US8736722B2 (en) * | 2010-07-15 | 2014-05-27 | Apple Inc. | Enhanced image capture sharpening |
| JP5576739B2 (ja) | 2010-08-04 | 2014-08-20 | オリンパス株式会社 | 画像処理装置、画像処理方法、撮像装置及びプログラム |
| JP5582935B2 (ja) | 2010-09-22 | 2014-09-03 | 富士フイルム株式会社 | 撮像モジュール |
| US9225766B2 (en) * | 2010-10-29 | 2015-12-29 | Sears Brands, L.L.C. | Systems and methods for providing smart appliances |
| US9697588B2 (en) | 2010-11-15 | 2017-07-04 | Intuitive Surgical Operations, Inc. | System and method for multi-resolution sharpness transport across color channels |
| CN103430551B (zh) * | 2011-01-14 | 2017-06-09 | 索尼公司 | 使用具有纵色像差的透镜单元的成像系统及其操作方法 |
| CN102158648B (zh) * | 2011-01-27 | 2014-09-10 | 明基电通有限公司 | 影像截取装置及影像处理方法 |
| US8988590B2 (en) | 2011-03-28 | 2015-03-24 | Intermec Ip Corp. | Two-dimensional imager with solid-state auto-focus |
| JP2012237693A (ja) * | 2011-05-13 | 2012-12-06 | Sony Corp | 画像処理装置、画像処理方法及び画像処理プログラム |
| JP5806504B2 (ja) * | 2011-05-17 | 2015-11-10 | オリンパス株式会社 | 撮像装置およびこれを備える顕微鏡システム |
| US8711275B2 (en) * | 2011-05-31 | 2014-04-29 | Apple Inc. | Estimating optical characteristics of a camera component using sharpness sweep data |
| US8749892B2 (en) | 2011-06-17 | 2014-06-10 | DigitalOptics Corporation Europe Limited | Auto-focus actuator for field curvature correction of zoom lenses |
| JP5406383B2 (ja) | 2011-06-23 | 2014-02-05 | パナソニック株式会社 | 撮像装置 |
| US8953058B2 (en) * | 2011-06-29 | 2015-02-10 | Fotonation Limited | Axial chromatic aberration correction |
| JP5847471B2 (ja) * | 2011-07-20 | 2016-01-20 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法および画像処理プログラム |
| EP2641527B1 (fr) | 2011-09-29 | 2017-11-08 | Olympus Corporation | Appareil endoscopique |
| TWI528833B (zh) * | 2011-11-09 | 2016-04-01 | 鴻海精密工業股份有限公司 | 立體攝像裝置 |
| FR2982678B1 (fr) * | 2011-11-14 | 2014-01-03 | Dxo Labs | Procede et systeme de capture de sequence d'images avec compensation des variations de grandissement |
| JP5898481B2 (ja) * | 2011-12-13 | 2016-04-06 | キヤノン株式会社 | 撮像装置及び焦点検出方法 |
| US9779546B2 (en) | 2012-05-04 | 2017-10-03 | Intermec Ip Corp. | Volume dimensioning systems and methods |
| US9007368B2 (en) | 2012-05-07 | 2015-04-14 | Intermec Ip Corp. | Dimensioning system calibration systems and methods |
| US10007858B2 (en) | 2012-05-15 | 2018-06-26 | Honeywell International Inc. | Terminals and methods for dimensioning objects |
| EP2677363A1 (fr) * | 2012-06-20 | 2013-12-25 | bioMérieux | Dispositif optique comprenant une caméra, un diaphragme et moyens d'éclairage |
| WO2014008939A1 (fr) * | 2012-07-12 | 2014-01-16 | Dual Aperture, Inc. | Interface utilisateur basée sur des gestes |
| US10321127B2 (en) | 2012-08-20 | 2019-06-11 | Intermec Ip Corp. | Volume dimensioning system calibration systems and methods |
| TWI451344B (zh) * | 2012-08-27 | 2014-09-01 | Pixart Imaging Inc | 手勢辨識系統及手勢辨識方法 |
| US9939259B2 (en) | 2012-10-04 | 2018-04-10 | Hand Held Products, Inc. | Measuring object dimensions using mobile computer |
| US9841311B2 (en) | 2012-10-16 | 2017-12-12 | Hand Held Products, Inc. | Dimensioning system |
| JP6124918B2 (ja) * | 2012-11-19 | 2017-05-10 | 富士機械製造株式会社 | 部品実装機および実装検査機 |
| JP5738904B2 (ja) * | 2013-01-28 | 2015-06-24 | オリンパス株式会社 | 画像処理装置、撮像装置、画像処理方法及びプログラム |
| US9080856B2 (en) | 2013-03-13 | 2015-07-14 | Intermec Ip Corp. | Systems and methods for enhancing dimensioning, for example volume dimensioning |
| US10228452B2 (en) | 2013-06-07 | 2019-03-12 | Hand Held Products, Inc. | Method of error correction for 3D imaging device |
| JP6086829B2 (ja) * | 2013-06-26 | 2017-03-01 | オリンパス株式会社 | 画像処理装置及び画像処理方法 |
| US9239950B2 (en) | 2013-07-01 | 2016-01-19 | Hand Held Products, Inc. | Dimensioning system |
| US9464885B2 (en) | 2013-08-30 | 2016-10-11 | Hand Held Products, Inc. | System and method for package dimensioning |
| WO2015059346A1 (fr) * | 2013-10-25 | 2015-04-30 | Nokia Technologies Oy | Appareil et procédé pour la création d'une carte de profondeur |
| JP6256132B2 (ja) * | 2014-03-14 | 2018-01-10 | 株式会社リコー | 撮像システム |
| EP3119264B1 (fr) * | 2014-03-18 | 2020-04-22 | Steris Instrument Management Services, Inc. | Endoscope optiquement adaptatif |
| KR101591172B1 (ko) * | 2014-04-23 | 2016-02-03 | 주식회사 듀얼어퍼처인터네셔널 | 이미지 센서와 피사체 사이의 거리를 결정하는 방법 및 장치 |
| EP2942940A1 (fr) * | 2014-05-06 | 2015-11-11 | Nokia Technologies OY | Procédé et appareil permettant de définir le contenu visible d'une image |
| US9232132B1 (en) * | 2014-06-10 | 2016-01-05 | Gregory S. Tseytin | Light field image processing |
| US9823059B2 (en) | 2014-08-06 | 2017-11-21 | Hand Held Products, Inc. | Dimensioning system with guided alignment |
| US10810715B2 (en) | 2014-10-10 | 2020-10-20 | Hand Held Products, Inc | System and method for picking validation |
| US10775165B2 (en) | 2014-10-10 | 2020-09-15 | Hand Held Products, Inc. | Methods for improving the accuracy of dimensioning-system measurements |
| US9779276B2 (en) | 2014-10-10 | 2017-10-03 | Hand Held Products, Inc. | Depth sensor based auto-focus system for an indicia scanner |
| US10060729B2 (en) | 2014-10-21 | 2018-08-28 | Hand Held Products, Inc. | Handheld dimensioner with data-quality indication |
| US9752864B2 (en) | 2014-10-21 | 2017-09-05 | Hand Held Products, Inc. | Handheld dimensioning system with feedback |
| US9762793B2 (en) | 2014-10-21 | 2017-09-12 | Hand Held Products, Inc. | System and method for dimensioning |
| US9897434B2 (en) | 2014-10-21 | 2018-02-20 | Hand Held Products, Inc. | Handheld dimensioning system with measurement-conformance feedback |
| US9557166B2 (en) | 2014-10-21 | 2017-01-31 | Hand Held Products, Inc. | Dimensioning system with multipath interference mitigation |
| US20160225150A1 (en) * | 2015-02-02 | 2016-08-04 | Capso Vision, Inc. | Method and Apparatus for Object Distance and Size Estimation based on Calibration Data of Lens Focus |
| US10475361B2 (en) | 2015-02-02 | 2019-11-12 | Apple Inc. | Adjustable display illumination |
| US9786101B2 (en) | 2015-05-19 | 2017-10-10 | Hand Held Products, Inc. | Evaluating image values |
| US10066982B2 (en) | 2015-06-16 | 2018-09-04 | Hand Held Products, Inc. | Calibrating a volume dimensioner |
| US20160377414A1 (en) | 2015-06-23 | 2016-12-29 | Hand Held Products, Inc. | Optical pattern projector |
| US9857167B2 (en) | 2015-06-23 | 2018-01-02 | Hand Held Products, Inc. | Dual-projector three-dimensional scanner |
| US9835486B2 (en) | 2015-07-07 | 2017-12-05 | Hand Held Products, Inc. | Mobile dimensioner apparatus for use in commerce |
| EP3118576B1 (fr) | 2015-07-15 | 2018-09-12 | Hand Held Products, Inc. | Dispositif de dimensionnement mobile avec précision dynamique compatible avec une norme nist |
| US20170017301A1 (en) | 2015-07-16 | 2017-01-19 | Hand Held Products, Inc. | Adjusting dimensioning results using augmented reality |
| US10094650B2 (en) | 2015-07-16 | 2018-10-09 | Hand Held Products, Inc. | Dimensioning and imaging items |
| US11354783B2 (en) | 2015-10-16 | 2022-06-07 | Capsovision Inc. | Method and apparatus of sharpening of gastrointestinal images based on depth information |
| US10943333B2 (en) * | 2015-10-16 | 2021-03-09 | Capsovision Inc. | Method and apparatus of sharpening of gastrointestinal images based on depth information |
| US10624533B2 (en) | 2015-10-16 | 2020-04-21 | Capsovision Inc | Endoscope with images optimized based on depth map derived from structured light images |
| US10249030B2 (en) | 2015-10-30 | 2019-04-02 | Hand Held Products, Inc. | Image transformation for indicia reading |
| US10225544B2 (en) | 2015-11-19 | 2019-03-05 | Hand Held Products, Inc. | High resolution dot pattern |
| US9715721B2 (en) | 2015-12-18 | 2017-07-25 | Sony Corporation | Focus detection |
| US10025314B2 (en) | 2016-01-27 | 2018-07-17 | Hand Held Products, Inc. | Vehicle positioning and object avoidance |
| TWI588508B (zh) * | 2016-05-10 | 2017-06-21 | 國立中興大學 | 立體深度量測裝置 |
| US10339352B2 (en) | 2016-06-03 | 2019-07-02 | Hand Held Products, Inc. | Wearable metrological apparatus |
| US9940721B2 (en) | 2016-06-10 | 2018-04-10 | Hand Held Products, Inc. | Scene change detection in a dimensioner |
| US10163216B2 (en) | 2016-06-15 | 2018-12-25 | Hand Held Products, Inc. | Automatic mode switching in a volume dimensioner |
| US10277829B1 (en) * | 2016-08-12 | 2019-04-30 | Apple Inc. | Video capture in low-light conditions |
| US10909708B2 (en) | 2016-12-09 | 2021-02-02 | Hand Held Products, Inc. | Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements |
| JP6801434B2 (ja) * | 2016-12-20 | 2020-12-16 | 富士通株式会社 | 生体画像処理装置、生体画像処理方法および生体画像処理プログラム |
| CN110418719B (zh) | 2017-01-25 | 2022-01-04 | 康丽数码有限公司 | 染色合成织物上喷墨打印的油墨组、方法及图像 |
| US11047672B2 (en) | 2017-03-28 | 2021-06-29 | Hand Held Products, Inc. | System for optically dimensioning |
| US10733748B2 (en) | 2017-07-24 | 2020-08-04 | Hand Held Products, Inc. | Dual-pattern optical 3D dimensioning |
| US11699215B2 (en) * | 2017-09-08 | 2023-07-11 | Sony Corporation | Imaging device, method and program for producing images of a scene having an extended depth of field with good contrast |
| CN107613284B (zh) * | 2017-10-31 | 2019-10-08 | 努比亚技术有限公司 | 一种图像处理方法、终端和计算机可读存储介质 |
| US10584962B2 (en) | 2018-05-01 | 2020-03-10 | Hand Held Products, Inc | System and method for validating physical-item security |
| CN108650462B (zh) * | 2018-05-14 | 2020-06-09 | Oppo广东移动通信有限公司 | 拍摄预览显示方法、装置、终端及存储介质 |
| US10679024B2 (en) * | 2018-07-24 | 2020-06-09 | Cognex Corporation | System and method for auto-focusing a vision system camera on barcodes |
| US11639846B2 (en) | 2019-09-27 | 2023-05-02 | Honeywell International Inc. | Dual-pattern optical 3D dimensioning |
| US11336840B2 (en) | 2020-09-02 | 2022-05-17 | Cisco Technology, Inc. | Matching foreground and virtual background during a video communication session |
| CN114339187A (zh) * | 2020-09-30 | 2022-04-12 | 北京小米移动软件有限公司 | 图像处理方法、图像处理装置及存储介质 |
| US11893668B2 (en) | 2021-03-31 | 2024-02-06 | Leica Camera Ag | Imaging system and method for generating a final digital image via applying a profile to image information |
| CN114724000B (zh) * | 2022-06-09 | 2022-08-30 | 深圳精智达技术股份有限公司 | 一种屏拍图摩尔纹的处理方法、处理装置及处理设备 |
Family Cites Families (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| USH101H (en) | 1984-10-01 | 1986-08-05 | The United States Of America As Represented By The Secretary Of The Army | Ultraviolet and infrared focal place array |
| JPS63247680A (ja) | 1987-04-02 | 1988-10-14 | Mitsubishi Electric Corp | 画像追尾装置 |
| JPH01212981A (ja) * | 1988-02-20 | 1989-08-25 | Sanyo Electric Co Ltd | オートフォーカス装置 |
| JPH01276884A (ja) * | 1988-04-27 | 1989-11-07 | Nec Corp | ビデオカメラの焦合装置 |
| US5161107A (en) * | 1990-10-25 | 1992-11-03 | Mestech Creation Corporation | Traffic surveillance system |
| JPH06138362A (ja) * | 1991-02-06 | 1994-05-20 | Sony Corp | オートフォーカス装置 |
| GB9125954D0 (en) * | 1991-12-06 | 1992-02-05 | Vlsi Vision Ltd | Electronic camera |
| US6292212B1 (en) * | 1994-12-23 | 2001-09-18 | Eastman Kodak Company | Electronic color infrared camera |
| JP3960647B2 (ja) * | 1997-01-09 | 2007-08-15 | オリンパス株式会社 | 自動合焦装置 |
| EP0878970A3 (fr) * | 1997-05-16 | 1999-08-18 | Matsushita Electric Industrial Co., Ltd. | Système de mesure de l'erreur d'alignement et de l'aberration chromatique d'un capteur d'image pour une caméra vidéo |
| US5973846A (en) * | 1998-11-30 | 1999-10-26 | Hewlett-Packard Company | Offset spectra lens system for a two spectra automatic focusing system |
| JP2000299874A (ja) * | 1999-04-12 | 2000-10-24 | Sony Corp | 信号処理装置及び方法並びに撮像装置及び方法 |
| JP2000338385A (ja) * | 1999-05-28 | 2000-12-08 | Ricoh Co Ltd | 自動合焦装置およびその合焦方法 |
| US6859229B1 (en) * | 1999-06-30 | 2005-02-22 | Canon Kabushiki Kaisha | Image pickup apparatus |
| JP2001103358A (ja) * | 1999-09-30 | 2001-04-13 | Mitsubishi Electric Corp | 色収差補正装置 |
| JP4696407B2 (ja) | 2001-06-20 | 2011-06-08 | 株式会社ニコン | 商品推奨システムおよび商品推奨方法 |
| JP2003018407A (ja) * | 2001-07-02 | 2003-01-17 | Konica Corp | 画像処理方法及び画像処理装置 |
| US20030063185A1 (en) * | 2001-09-28 | 2003-04-03 | Bell Cynthia S. | Three-dimensional imaging with complementary color filter arrays |
| JP4126938B2 (ja) | 2002-03-22 | 2008-07-30 | セイコーエプソン株式会社 | 画像処理装置および画像出力装置 |
| JP2004120487A (ja) * | 2002-09-27 | 2004-04-15 | Fuji Photo Film Co Ltd | 撮像装置 |
| JP2004228662A (ja) * | 2003-01-20 | 2004-08-12 | Minolta Co Ltd | 撮像装置 |
| JP4010254B2 (ja) * | 2003-02-06 | 2007-11-21 | ソニー株式会社 | 画像記録再生装置、画像撮影装置及び色収差補正方法 |
| US20040165090A1 (en) * | 2003-02-13 | 2004-08-26 | Alex Ning | Auto-focus (AF) lens and process |
| US20040174446A1 (en) * | 2003-02-28 | 2004-09-09 | Tinku Acharya | Four-color mosaic pattern for depth and image capture |
| US20040169748A1 (en) * | 2003-02-28 | 2004-09-02 | Tinku Acharya | Sub-sampled infrared sensor for use in a digital image capture device |
| JP4378994B2 (ja) * | 2003-04-30 | 2009-12-09 | ソニー株式会社 | 画像処理装置、画像処理方法ならびに撮像装置 |
| FR2860089B1 (fr) * | 2003-09-23 | 2005-11-11 | Do Labs | Procede et systeme pour modifier une image numerique de maniere differenciee et quasi reguliere par pixel |
| JP4665422B2 (ja) | 2004-04-02 | 2011-04-06 | ソニー株式会社 | 撮像装置 |
| JP4815807B2 (ja) | 2004-05-31 | 2011-11-16 | 株式会社ニコン | Ｒａｗデータから倍率色収差を検出する画像処理装置、画像処理プログラム、および電子カメラ |
| US20060093234A1 (en) * | 2004-11-04 | 2006-05-04 | Silverstein D A | Reduction of blur in multi-channel images |
-
2006
- 2006-03-06 CN CNA2006800123908A patent/CN101204083A/zh active Pending
- 2006-03-06 EP EP06726221A patent/EP1856907A2/fr not_active Withdrawn
- 2006-03-06 US US11/817,977 patent/US7920172B2/en not_active Expired - Fee Related
- 2006-03-06 WO PCT/FR2006/050197 patent/WO2006095110A2/fr active Application Filing
- 2006-03-06 CA CA2835047A patent/CA2835047C/fr not_active Expired - Fee Related
- 2006-03-06 CA CA2834963A patent/CA2834963C/fr not_active Expired - Fee Related
- 2006-03-06 JP JP2008500243A patent/JP5535476B2/ja not_active Expired - Fee Related
- 2006-03-06 CA CA2600185A patent/CA2600185C/fr not_active Expired - Fee Related
- 2006-03-06 KR KR1020077022875A patent/KR101265358B1/ko not_active IP Right Cessation
- 2006-03-06 CA CA2834883A patent/CA2834883C/fr not_active Expired - Fee Related
- 2006-03-06 CN CN201210177544.6A patent/CN102984448B/zh not_active Expired - Fee Related
-
2010
- 2010-06-22 US US12/820,965 patent/US20110109749A1/en not_active Abandoned
- 2010-06-22 US US12/820,951 patent/US8212889B2/en not_active Expired - Fee Related
-
2013
- 2013-06-06 JP JP2013119919A patent/JP5633891B2/ja not_active Expired - Fee Related
-
2014
- 2014-07-29 JP JP2014153695A patent/JP6076300B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CA2835047C (fr) | 2017-04-18 |
| US20110109749A1 (en) | 2011-05-12 |
| CA2600185C (fr) | 2016-04-26 |
| JP2013214986A (ja) | 2013-10-17 |
| JP2008532449A (ja) | 2008-08-14 |
| JP6076300B2 (ja) | 2017-02-08 |
| CA2834883C (fr) | 2018-01-23 |
| US8212889B2 (en) | 2012-07-03 |
| JP5535476B2 (ja) | 2014-07-02 |
| CA2834963A1 (fr) | 2006-09-14 |
| CN102984448B (zh) | 2016-05-25 |
| CN102984448A (zh) | 2013-03-20 |
| JP2015019378A (ja) | 2015-01-29 |
| US7920172B2 (en) | 2011-04-05 |
| CA2835047A1 (fr) | 2006-09-14 |
| WO2006095110A3 (fr) | 2006-11-02 |
| EP1856907A2 (fr) | 2007-11-21 |
| WO2006095110A2 (fr) | 2006-09-14 |
| US20110019065A1 (en) | 2011-01-27 |
| KR20070121717A (ko) | 2007-12-27 |
| US20080158377A1 (en) | 2008-07-03 |
| CA2834883A1 (fr) | 2006-09-14 |
| KR101265358B1 (ko) | 2013-05-21 |
| CA2834963C (fr) | 2017-04-18 |
| CN101204083A (zh) | 2008-06-18 |
| JP5633891B2 (ja) | 2014-12-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CA2600185C (fr) | Procede pour commander une action, notamment une modification de nettete, a partir d'une image numerique en couleurs | |
| CA2453423C (fr) | Procede et systeme pour fournir des informations formatees a des moyens de traitement d'images | |
| EP2174289B1 (fr) | Procede de traitement d'objet numerique et systeme associe. | |
| EP1412918B1 (fr) | Procede et systeme pour produire des informations formatees liees aux distorsions geometriques | |
| EP2465255B1 (fr) | Système et procédé de capture d'images avec deux modes de fonctionnement | |
| EP3657784B1 (fr) | Procédé d'estimation d'un défaut d'un système de capture d'images et systèmes associés | |
| US9071737B2 (en) | Image processing based on moving lens with chromatic aberration and an image sensor having a color filter mosaic | |
| EP1757155A2 (fr) | Procede d'amelioration de services relatifs a des donnees multimedia en telephonie mobile | |
| Wang et al. | Stereoscopic dark flash for low-light photography | |
| EP2011329B1 (fr) | Procédé de traitement d'un phénomène d'éclairement relatif sur une image numérique et système de traitement associé | |
| FR2996034A1 (fr) | Procede pour creer des images a gamme dynamique etendue en imagerie fixe et video, et dispositif d'imagerie implementant le procede. | |
| Rego et al. | Deep camera obscura: an image restoration pipeline for pinhole photography | |
| FR2880958A1 (fr) | Procede d'amelioration de la nettete d'au moins une couleur d'une image numerique | |
| WO2023218072A1 (fr) | Procédé de correction globale d' une image, et système associe | |
| FR2887346A1 (fr) | Procede et dispositif d'amelioration d'une image numerique |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| EEER | Examination request | ||
| MKLA | Lapsed |
Effective date: 20200306 |