FR2872661A1 - Procede et dispositif de prise de vue a resolution multiplie - Google Patents

Abstract

Procédé de prise de vue comprenant, en réponse à un déclenchement de prise de vue :- la saisie (10) d'une première image (12), selon un premier champ de prise de vue, avec un appareil de prise de vue (13) pourvu d'un objectif à focale variable réglé sur une première distance focale,- la recherche automatique (20) dans la première image de zones d'intérêt (16a, 16b), et, lorsque au moins une zone d'intérêt est trouvée,- la modification automatique de la distance focale de manière à resserrer le champ de prise de vue autour de la zone d'intérêt,- la saisie automatique d'au moins une deuxième image (24a, 24b) selon le champ de prise de vue resserré, et- la formation automatique d'une image composite (32) par combinaison de la première image et de la deuxième image.

Description

PROCEDE ET DISPOSITIF DE PRISE DE VUE A RESOLUTION MULTIPLE Domaine

technique

La présente invention concerne un procédé et un appareil de prise de vue permettant la saisie d'images dont la résolution est localement améliorée.

L'invention trouve des applications notamment pour les équipements de prise de vue numériques tels que les appareils photographiques, les caméra-téléphones, ou de façon générale tous les appareils pourvus d'un capteur d'images. Etat de la technique antérieure Les moyens de prise de vue numérique intégrés dans des équipements de télécommunication, tels que les téléphones portables ou caméra-téléphones, ne permettent généralement pas la saisie d'images de très grande qualité. Le défaut de qualité, tient à plusieurs facteurs. En raison de leur poids et de leur encombrement nécessairement réduits, les équipements portables ne disposent pas d'objectifs sophistiqués. De même, le capteur d'image numérique qui y est associé présente généralement une résolution inférieure à celle des appareils photographiques.

La modestie des moyens de prise de vue, et notamment celle des camératéléphones, se justifie, au moins en partie, par les contraintes de transmission à distance des fichiers d'image. Les fichiers doivent en effet présenter un poids numérique compatible avec la bande passante de communication. Une autre justification peut être trouvée dans les dimensions réduites de l'écran de contrôle qui sert à l'affichage des images, et qui donne globalement une impression de qualité satisfaisante.

Pour améliorer la qualité des images, des objectifs à focale variable ont été proposés. II s'agit d'objectifs à lentilles liquides dans lesquelles la courbure d'un ménisque de contact entre deux liquides non miscibles peut être modifiée sous l'action d'un champ électrique. On peut se référer à ce sujet aux documents (1) et (2) dont les références sont précisées à la fin de la description. Les objectifs à focale variable permettent de conférer aux appareils de prise de vue des fonctions de mise au point et/ou de zoom.

En dépit des améliorations mentionnées ci dessus, les images numériques saisies au moyen de caméra téléphones s'avèrent généralement de qualité insuffisante pour faire l'objet d'un agrandissement ou d'une épreuve photographique. Ainsi, lors de l'affichage de l'image sur un écran de grande taille ou lors de l'impression de l'image, les limites de résolution se manifestent de manière plus sensible, parfois rédhibitoire.

Les possibilités de transmission des images à distance, le coût modéré des appareils visant un large public, les ressources en énergie et en mémoire des équipements portables, et, d'autre part, la qualité et la résolution des images obtenues, apparaissent ainsi comme des objectifs antagonistes.

Exposé de l'invention L'invention a pour but de proposer un procédé et un appareil de prise de vue permettant de saisir des images susceptibles d'être agrandies tout en conservant une qualité apparente élevée.

Un but est également de permettre la saisie de telles images avec un équipement qui peut être pourvu, le cas échéant, de moyens de prise de vue 15 modestes.

Un but est encore de proposer un procédé et un appareil de prise de vue dont le coût est particulièrement faible eu égard au gain possible de qualité d'image.

Pour atteindre ces buts, l'invention a plus précisément pour objet un procédé de prise de vue comprenant, en réponse à un déclenchement de prise de vue: - la saisie d'une première image, selon un premier champ de prise de vue, avec un appareil de prise de vue pourvu d'un objectif à focale variable réglé sur une première distance focale, de préférence inférieure à une distance focale 25 maximum de l'objectif, - la recherche automatique dans la première image de zones d'intérêt, et lorsque au moins une zone d'intérêt est trouvée, - la modification automatique de la distance focale de manière à resserrer le champ de prise de vue autour de la zone d'intérêt, - la saisie automatique d'une deuxième image selon le champ de prise de vue resserré, et - la formation automatique d'une image composite par combinaison de la première image et de la deuxième image.

L'image composite finalement obtenue présente ainsi des zones dans lesquelles la résolution d'image est plus forte: il s'agit des zones d'intérêt. Chaque zone d'intérêt est en effet saisie avec la pleine résolution du capteur d'image de l'appareil de prise de vue, ou tout au moins avec une surface importante du capteur, alors qu'elle n'occupe qu'une partie de la surface de l'image finale. Les zones d'intérêt correspondent, par exemple, à des visages ou des parties texturées de l'image, dont le détail attire généralement l'attention de l'observateur. Les autres zones conservent en revanche une résolution plus modeste. Il s'agit, par exemple, des zones de ciel, ou des zones de l'arrière plan. Les données de ces zones proviennent effectivement de la première image saisie, c'est à dire de l'image pour laquelle un champ plus large est embrassé par le capteur.

La saisie des deuxièmes images, correspondant aux zones d'intérêt, a lieu de préférence très rapidement après la saisie de la première image, et ce de manière automatique, sans qu'une nouvelle action de l'utilisateur sur le déclencheur ne soit nécessaire. Le champ de prise de vue est resserré en augmentant la distance focale de l'objectif. Il peut notamment être resserré jusqu'à atteindre un bord de la zone d'intérêt retenue.

Selon un perfectionnement, il est possible également de modifier automatiquement l'inclinaison de l'axe optique de l'objectif de manière à orienter automatiquement l'axe optique vers chaque région d'intérêt lors de la saisie des deuxièmes images correspondantes.

En orientant l'axe optique vers les zones d'intérêt, il est possible de resserrer davantage de champ de prise de vue, notamment pour les zones d'intérêt situées en bordure du champ de prise de vue initial.

En effet, la saisie des deuxièmes images est effectuée automatiquement c'est à dire sans que l'utilisateur ne modifie volontairement le cadrage. Ainsi, une forte réduction du champ de prise de vue, effectuée sans modification de l'axe optique exclurait du champ certaines zones périphériques et ne permettrait une mise en oeuvre efficace du procédé que pour les zones centrales. En revanche, 2872661 4 l'inclinaison de l'axe optique depuis le centre de la première image vers le centre d'une zone d'intérêt permet de centrer le champ de prise de vue sur cette zone d'intérêt pour la saisie d'une deuxième image. La modification de l'axe optique de l'objectif peut avoir lieu, par exemple, en faisant légèrement pivoter une lentille ou un groupe optique, au moyen d'un actionneur tel qu'un actionneur piézo-électrique. Une autre solution consiste à utiliser un coin optique orientable en rotation, tel que décrit dans le document (3) dont les références sont précisées à la fin de la description.

La modification du champ de prise de vue peut avantageusement être accompagnée d'une mise au point automatique sur la zone d'intérêt lors de chaque saisie d'une deuxième image. Ceci permet d'améliorer la netteté de la deuxième image, ou des deuxièmes images saisies.

La recherche de zones d'intérêt dans une image peut répondre à différents critères. De la manière la plus simple, il est possible de retenir comme zones d'intérêt les zones de l'images présentant les plus forts gradients spatiaux d'intensité lumineuse. Ceci permet d'exclure les étendues uniformes de ciel, d'eau, de verdure, de terre etc. De manière plus sophistiquée, il est possible de retenir comme zones d'intérêt des zones de l'image présentant des dominantes de couleurs identifiées comme des couleurs de peau. Ceci permet de retenir les faces humaines comme zone d'intérêt. D'autres techniques reviennent à identifier dans l'image des motifs géométriques prédéterminées correspondant, par exemple, à la bouche et aux yeux. Des zones entourant ces motifs sont considérées comme correspondant à une face humaine et sont retenues comme zone d'intérêt.

On peut se référer, à titre d'illustration à des techniques de recherche de zones d'intérêt, aux documents (6) et (7) dont les références sont précisées à la fin de la description.

Comme indiqué ci-dessus, les images centrées sur les zones d'intérêt, c'est-à-dire les deuxièmes images, sont saisies de préférence très rapidement à la suite de la première image. Si tel est le cas, on peut estimer que la scène globale et les zones d'intérêt qu'elle contient, sont sensiblement fixes, tout au moins en première approximation.

Il est néanmoins possible de mettre en oeuvre le procédé pour la saisie d'images de scènes dans lesquelles les sujets se déplacent rapidement. Ceci est le cas pour la photographie de sujets sportifs, par exemple.

Dans ce cas, le procédé est éventuellement complété par une estimation du mouvement du contenu iconique de chaque zone d'intérêt. Cette estimation peut être utilisée lors de la formation de l'image composite de manière à corriger un éventuel déplacement ou une déformation du contenu iconique de chaque zone d'intérêt entre la saisie de la première image et respectivement la saisie de chacune des deuxièmes images. L'estimation du mouvement peut être faite à partir des paramètres qui correspondent à la focalisation sur les zones d'intérêt. Ils s'agit, par exemple, d'un écart de mise au point, ou d'un écart d'axe optique entre les première et deuxième images, d'un facteur de zoom et/ou d'un temps de latence entre la saisie des première et deuxièmes images. Ainsi, des éventuels mouvements dans la scène ou un éventuel mouvement de l'utilisateur qui tient l'appareil de prise de vue, n'empêchent pas la construction correcte de l'image composite finale.

La construction de l'image finale est réalisée par combinaison de la première et des deuxièmes images. Elle a lieu de préférence dans un format de type JPEG 2000 qui autorise la combinaison de différentes parties d'images avec des résolutions différentes. La construction de l'image finale consiste pour l'essentiel à remplacer les zones d'intérêt de la première image par les deuxièmes images correspondantes. La substitution de parties d'images est effectuée en conférant aux deuxièmes images un rapport de grandissement permettant leur insertion à l'échelle de la première image. Ce rapport est fonction de la modification de la distance focale effectuée pour la saisie de chacune des deuxièmes images. La construction d'une image composite, encore appelée image à résolution variable fait appel à des techniques de substitution et de reconstruction en soi connues. On peut se référer à ce sujet au document (4) dont les références sont précisées à la fin de la description.

L'invention concerne également un appareil de prise de vue pour la mise en 30 oeuvre du procédé tel que décrit ci-dessus. Bien que l'appareil de prise de vue puisse être utilisé par ailleurs pour la saisie de séquences d'images, à la manière d'une caméra cinématographique, il s'agit essentiellement de la fonction de prise de vue pour la saisie d'images fixes dont il est question ici.

L'appareil peut être un appareil photographique numérique proprement dit, ou, comme évoqué en introduction, un appareil combinant des fonctions de prise 5 de vue et de télécommunication, tel qu'une caméra-téléphone.

L'appareil comprend un objectif à focale variable, et des moyens d'analyse d'image pour la détection de zones d'intérêt de l'image. L'objectif est piloté par les moyens d'analyse de manière à effectuer un cadrage resserré autour d'au moins une zone d'intérêt d'une image saisie, en vue de la saisie d'au moins une image 10 supplémentaire correspondant à la zone d'intérêt.

La présence d'un objectif à focale variable sur l'appareil de prise de vue, permet, outre le réglage de la distance focale conformément à l'invention, de proposer à l'utilisateur une fonction classique de zoom. Un mécanisme peut alors être prévu pour éviter que l'utilisateur ne règle le zoom sur la distance focale maximum lors de la saisie de la première image, de manière à disposer d'une marge pour resserrer le champ de prise de vue pour la saisie automatique, le cas échéant, des deuxièmes images.

Bien que l'objectif à focale variable puisse être un objectif pourvu d'un moteur pour le déplacement d'un groupe optique solide, il s'agit de préférence d'un objectif à lentilles liquides et à commande électrostatique. Il s'agit notamment de lentilles du type décrit par les docùments (1) et (2) déjà évoqués. Les lentilles liquides présentent l'avantage d'une faible inertie mécanique. Elles se prêtent ainsi facilement à une modification rapide de la distance focale. Cette propriété permet d'enchaîner la saisie de la première et des deuxièmes prises de vue dans un temps court, de sorte que l'utilisateur n'ait pas d'effort particulier à faire pour maintenir le cadrage pendant les prises de vue successives. Si l'enchaînement des vues est suffisamment rapide, la mise en oeuvre du procédé peut passer inaperçue pour l'utilisateur.

La formation de l'image composite peut avoir lieu ou non dans l'appareil 30 de prise de vue. L'appareil de prise de vue peut simplement fournir les données numériques de la première et des deuxièmes images. Il peut aussi être pourvu de moyens de formation de l'image composite à partir des données numériques de l'ensemble des images saisies en réponse à un déclenchement de l'utilisateur, et ainsi délivrer directement les données relatives à l'image composite.

Les moyens de formation de l'image composite, de même que les moyens d'analyse d'image évoqués précédemment peuvent être constitués par une unité de calcul dédiée ou par un microprocesseur programmé pour le traitement ad hoc des données numériques.

D'autres caractéristiques et avantages de l'invention ressortiront de la description qui va suivre, en référence à la figure du dessin annexé. Cette description est donnée à titre purement illustratif et non limitatif. La figure unique est un organigramme résumant les étapes d'une mise en oeuvre particulière d'un procédé conforme à l'invention.

Pour des raisons de simplification, le terme "image" est utilisé pour désigner les images photographiques saisies par l'appareil de prise de vue mais aussi pour désigner les données numériques ou le fichier numérique correspondant à l'image.

Une première étape 10 du procédé comprend la saisie d'une première image 12. L'image est saisie en réponse à un déclenchement de prise de vue et correspond à un cadrage et un champ de prise de vue définis par l'utilisateur. Le cadrage, plus ou moins heureux, peut être contrôlé à l'aide du viseur de l'appareil de prise de vue ou à l'aide d'un petit écran de contrôle. Le champ de prise de vue est déterminé également par l'utilisateur qui peut s'approcher plus ou moins de la scène photographiée ou qui peut jouer sur le réglage du zoom de l'appareil. Le zoom agit sur la distance focale, partant sur l'angle de champ de l'objectif.

L'image fournie par le capteur d'image de l'appareil de prise de vue 13 est dirigé vers une unité de calcul 14 ou elle est analysée de manière à en extraire des zones d'intérêt 16a, 16b. Comme évoqué précédemment il s'agit de déterminer dans l'image des zones présentant des forts gradients spatiaux d'intensité lumineuse, de détecter des visages, ou des formes prédéterminées etc. A contrario, il est également possible de rechercher des zones 19 de couleur unifoime ou de faible contraste, et de retenir comme zone d'intérêt des zones complémentaires à celles-ci.

L'étape de recherche automatique de zones d'intérêt est indiquée sur la figure avec la référence 20. Elle permet, dans l'exemple illustré, de déterminer deux zones d'intérêt correspondant à un visage et à un arbre. Les zones sont matérialisées sur la figure par une ligne en trait mixte. Pour chacune des zones d'intérêt détectées, une prise de vue supplémentaire 22a, 22b est respectivement déclenchée de manière automatique. Les deuxièmes images saisies portent les références 24a et 241).

Bien que le cadre des deuxièmes images ne corresponde pas nécessairement à la totalité du champ de l'image délivrée par le capteur, il entoure la zone d'intérêt qui bénéficie ainsi d'un grandissement optique plus important en raison de l'augmentation de la distance focale et de la réduction de l'angle de champ de l'objectif.

L'appareil de prise de vue 13 est en effet pourvu d'un objectif 26 à focale et éventuellement à axe optique variables. Cet objectif est piloté par l'unité de calcul 14, en réponse à la détection des zones d'intérêt, de manière a resserrer le cadrage, et donc le champ de prise de vue, autour de chacune des zones d'intérêt détectées. Les deuxièmes images 24a, 24b sont saisies. Des actionneurs modifiant l'axe de l'objectif ou l'orientation d'un coin optique peuvent aussi être pilotés par l'unité de calcul 14. Ceci a pour but de pointer l'axe optique vers les zones d'intérêt, de manière à centrer respectivement le cadrage sur ces zones lors de la saisie des deuxièmes images. Dans la mesure ou la distance focale maximum disponible le permet, les zones d'intérêt sont saisies en plein cadre de manière à occuper la plus grande surface possible sur le capteur d'images. Cette mesure permet de disposer du maximum de données numériques utiles correspondant aux zones d'intérêt.

Les données de la première image 12 et des deuxièmes images 24a et 24b sont recueillies par l'unité de calcul 14 pour établir dans une dernière étape 30 une 30 image composite 32 dans laquelle les données numériques des zones d'intérêt 16a, 16 b de la première image sont remplacées par les données numériques des deuxièmes images 24a et 24b. Le remplacement est effectué après l'ajustage des dimensions des images 24a, 24b. L'image composite 32 finalement obtenue présente donc des zones de plus faible résolution et des zones de plus forte résolution. Ces dernières correspondent aux zones d'intérêt. Lorsque l'image composite finalement obtenue est agrandie, elle demeure très détaillée dans les zones d'intérêt. Ainsi, et en dépit d'une résolution plus limitée en dehors des zones d'intérêt, un agrandissement de l'image 32 ne préjudicie pas à sa qualité globale apparente. L'image peut ainsi être affichée sur un écran de grandes dimensions, ou faire l'objet d'une épreuve photographique.

IO Une analyse appropriée de différences géométriques et/ou colorimétriques entre les images 16a et 24a ainsi que 16b et 24b permet le cas échéant de modifier les images 24a et 24b pour produire une image composite 32 de qualité optimale.

En effet, une étape accessoire 28, préliminaire à la formation de l'image composite finale, peut comporter différentes opérations de mise en forme des données des deuxièmes images saisies. L'une de ces opérations consiste, par exemple, à recalculer une position antérieure du contenu iconique des deuxièmes images pour corriger un éventuel mouvement dû au déplacement du contenu iconique ou un éventuel mouvement de l'utilisateur de l'appareil de prise de vue. L'opération comprend, par exemple, l'établissement de vecteurs de déplacement obtenus à partir de deux images, ramenées dans un même référentiel et à la même résolution, représentant une même région d'intérêt et correspondant respectivement à l'une des deuxièmes images et à la région associée dans la première image. I1 suit alors une phase de correction, point par point, des deuxièmes images, ou éventuellement de la première image. Le-degré de la correction est directement dépendant de l'amplitude et de la direction des vecteurs de déplacement préalablement estimés. L'opération peut aussi comporter le décalage en bloc des éléments iconiques des deuxièmes images de manière à se superposer au mieux aux éléments iconiques correspondants des zones d'intérêt de la première image. Ceci peut avoir lieu en minimisant une fonction de corrélation entre les zones d'intérêt de la première image et les deuxièmes images..

L'étape accessoire 28 peut aussi être mise à profit pour écarter éventuellement les deuxièmes images qui se révéleraient accidentellement floues ou dont le contenu iconique serait accidentellement trop différent de celui de la première image pour autoriser une insertion. Dans ce cas les données de la zone d'intérêt correspondante de la première image sont conservées dans l'image finale.

Sur la figure, l'appareil de prise de vue 13 est représenté sous la forme d'un appareil photographique. Il peut toutefois être remplacé par tout équipement de prise de vue numérique et notamment par une camératéléphone qui inclut les fonctions évoquées.

Documents cités (1) WO 03/069380 (2) EP 1 019 758 (3) US 6 686 956 (4) "Super-Resolution Image Reconstruction" IEEE Signal Processing Magazine 1053/5888/03 May 2003 pages 21-36 (5) US 2004/0041919 (6) Ming-Hsuan Yang, David Kriegman, and Narendra Ahuja, "Detecting Faces in Images: A Survey", IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI), vol. 24, no. 1, pp. 34-58, 2002.

(7) Jiebo Luo, Amit Singhal, Stephen R Etz, Robert T Gray, "A computational approach to determination of main subject regions in photographs, Image and Vision Computing, 2001

Claims (7)

REVENDICATIONS

1) Procédé de prise de vue comprenant, en réponse à un déclenchement de prise de vue: - la saisie (10) d'une première image (12), selon un premier champ de prise de vue, avec un appareil de prise de vue (13) pourvu d'un objectif à focale variable réglé sur une première distance focale, - la recherche automatique (20) dans la première image d'au moins une zone d'intérêt (16a, 16b), - la modification automatique de la distance focale de manière à resserrer le champ de prise de vue autour de la zone d'intérêt, - la saisie automatique d'au moins une deuxième image (24a, 24b) selon le champ de prise de vue resserré, et - la formation automatique d'une image composite (32) par combinaison de la première image et de la deuxième image (24a, 24b).

2) Procédé selon la revendication 1, comprenant en outre la mise au point automatique, respectivement sur chaque zone d'intérêt (16a, 16b), lors de la saisie de chaque deuxième image (24a, 24b).

3) Procédé selon la revendication 1, comprenant en outre une modification d'axe optique de l'objectif à focale variable de manière à orienter automatiquement l'axe optique, respectivement vers chaque zone d'intérêt, lors de la saisie de chaque deuxième image.

4) Procédé selon la revendication la revendication 1, comprenant en outre une estimation de mouvement d'un contenu iconique de chaque zone d'intérêt et une correction (28) d'au moins l'une parmi la première et les deuxièmes images pour compenser le mouvement du contenu iconique entre la saisie de la première image et respectivement de chacune des deuxièmes images.

5) Appareil de prise de vue (13) comprenant un objectif à focale variable (26), des moyens d'analyse d'une première image (12) saisie, pour la détection de zones d'intérêt de la première image, dans lequel l'objectif est piloté par les moyens d'analyse de manière à effectuer un cadrage resserré autour d'au moins une zone d'intérêt de la première image, en vue de la saisie automatique d'au moins une deuxième image (24a, 24b) correspondant à la zone d'intérêt et des moyens de formation d'une image composite (32) à partir de la première image saisie et de la deuxième image saisie avec un champ resserré.

6) Appareil selon la revendication 5, comprenant une unité de calcul (14) formant les moyens d'analyse d'image et les moyens de formation d'une image composite.

7) Appareil de prise de vue selon la revendication 5, dans lequel l'objectif à focale variable (26) est un objectif à lentilles liquides adressable électriquement.