FR2887346A1 - Procede et dispositif d'amelioration d'une image numerique - Google Patents

Procede et dispositif d'amelioration d'une image numerique Download PDF

Info

Publication number
FR2887346A1
FR2887346A1 FR0506171A FR0506171A FR2887346A1 FR 2887346 A1 FR2887346 A1 FR 2887346A1 FR 0506171 A FR0506171 A FR 0506171A FR 0506171 A FR0506171 A FR 0506171A FR 2887346 A1 FR2887346 A1 FR 2887346A1
Authority
FR
France
Prior art keywords
image
images
depth map
target image
quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR0506171A
Other languages
English (en)
Other versions
FR2887346B1 (fr
Inventor
Felix Henry
Maryline Clare
Christophe Gisquet
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Research Center France SAS
Original Assignee
Canon Research Center France SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Research Center France SAS filed Critical Canon Research Center France SAS
Priority to FR0506171A priority Critical patent/FR2887346B1/fr
Publication of FR2887346A1 publication Critical patent/FR2887346A1/fr
Application granted granted Critical
Publication of FR2887346B1 publication Critical patent/FR2887346B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/261Image signal generators with monoscopic-to-stereoscopic image conversion
    • H04N13/264Image signal generators with monoscopic-to-stereoscopic image conversion using the relative movement of objects in two video frames or fields
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

Pour améliorer la qualité d'une image numérique cible d'une scène saisie par un appareil d'acquisition d'images numériques : on construit (16, 18) une carte de profondeur, représentant la distance à laquelle chaque pixel de l'image cible se trouve de l'objectif de l'appareil, à partir de deux images de la scène saisies suivant un angle différent ; et on améliore (20) la qualité de l'image cible, en modifiant, à partir de la carte de profondeur, soit des paramètres d'acquisition de l'image cible, soit la valeur des pixels de l'image cible.

Description

PROCEDE ET DISPOSITIF D'AMELIORATION D'UNE IMAGE NUMERIQUE
La présente invention se rapporte à un procédé et à un dispositif d'amélioration d'une image numérique.
Elle appartient tout à la fois au domaine de la photographie numérique, au domaine de la stéréoscopie numérique et au domaine du traitement des images numériques.
A l'heure actuelle, une image photographique numérique saisie par un appareil photo numérique, c'est-à-dire le contenu du capteur CCD ou CMOS au moment de la prise de la photo, peut être améliorée par une série de traitements ultérieurs, tels que la correction de la balance des blancs, la correction des couleurs, un filtrage pour augmenter la netteté, etc. Ces traitements sont parfois complexes, sans pour autant aboutir à une qualité satisfaisante de l'image.
L'invention a pour but de remédier aux inconvénients de l'art antérieur, en utilisant la carte de profondeur de la scène saisie pour améliorer l'image, la carte de profondeur d'une image représentant la distance à laquelle chaque pixel de l'image se trouve de l'objectif de l'appareil d'acquisition d'images.
Dans ce but, la présente invention propose un procédé pour améliorer la qualité d'une image numérique cible d'une scène saisie par un appareil d'acquisition d'images numériques, remarquable en ce qu'il comporte des étapes suivant lesquelles: - on construit une carte de profondeur, représentant la distance à laquelle chaque pixel de l'image cible se trouve de l'objectif de l'appareil, à partir de deux images de la scène saisies suivant un angle différent; - on améliore la qualité de l'image cible, en modifiant, à partir de la carte de profondeur, soit des paramètres d'acquisition de l'image cible, soit la valeur des pixels de l'image cible.
Non seulement le procédé conforme à l'invention permet de façon très simple d'obtenir une qualité supérieure à celle généralement obtenue en appliquant les techniques de l'art antérieur, mais en outre, l'image améliorée se prête à d'autres types d'amélioration ultérieurs si nécessaire.
Selon une caractéristique particulière, le procédé comporte en outre une étape suivant laquelle on met l'appareil d'acquisition d'images numériques dans un mode d'acquisition de carte de profondeur, dans lequel l'appareil est prêt à effectuer une saisie d'une série d'images de la scène en rafale.
Selon une caractéristique particulière, l'étape de mise en mode d'acquisition est suivie d'une étape de saisie d'images d'analyse, suivant laquelle on saisit une série d'images de la scène en rafale en déplaçant l'appareil d'acquisition d'images de façon rectiligne.
Cette caractéristique permet une prise de vue stéréoscopique, qui est utile pour construire la carte de profondeur.
Selon une caractéristique particulière, l'étape de saisie d'images d'analyse se termine automatiquement lorsqu'un nombre prédéterminé d'images ont été saisies.
Cela simplifie la démarche de prise de vue lors de la saisie des images d'analyse.
En variante, l'étape de saisie d'images d'analyse se termine sur exécution d'une commande par l'utilisateur.
L'utilisateur peut ainsi garder le contrôle sur le nombre d'images d'analyse saisies.
Selon une caractéristique particulière, les deux images servant à construire la carte de profondeur sont la première et la dernière image de la série d'images d'analyse.
Cette caractéristique est avantageuse car plus la distance entre les images d'analyse servant à construire la carte de profondeur est grande, plus la qualité de la carte de profondeur sera bonne.
Selon une caractéristique particulière, le procédé comporte en outre une étape préalable à l'étape de construction de la carte de profondeur, suivant laquelle on évalue si les deux images servant à construire la carte de profondeur sont convenables au sens d'un critère prédéterminé.
Selon une caractéristique particulière, l'étape de construction de la carte de profondeur comporte une sous-étape de calcul d'une carte de profondeur normalisée à partir de la zone d'autofocus d'une des deux images servant à construire la carte de profondeur et à partir de la distance focale de l'autofocus.
Cette normalisation permet d'obtenir une carte de profondeur absolue et non relative, c'est-à-dire fournissant les distances réelles des points de la scène par rapport à l'objectif.
Selon une caractéristique particulière, l'étape d'amélioration de la qualité de l'image cible comporte une sous-étape de sélection d'une image parmi la série d'images d'analyse, suivant laquelle: - on sélectionne l'image se trouvant le plus au centre de la série; - on détermine si l'image sélectionnée satisfait un critère prédéterminé ; -si l'image sélectionnée satisfait ce critère, on choisit l'image sélectionnée comme image cible à améliorer; - si l'image sélectionnée ne satisfait pas ce critère, on examine les images voisines de l'image sélectionnée jusqu'à ce qu'on en trouve une qui satisfait le critère et on la choisit comme image cible à améliorer.
Le fait de sélectionner l'image se trouvant le plus au centre de la série permet d'obtenir la meilleure correspondance spatiale possible entre cette image et la carte de profondeur. En outre, le fait de déterminer si l'image sélectionnée satisfait un critère prédéterminé permet d'optimiser la qualité de la carte de profondeur.
Selon une caractéristique particulière, la sous-étape de sélection d'une image est suivie d'une étape consistant à mettre en correspondance l'image sélectionnée et la carte de profondeur.
Cela permet d'obtenir une correspondance spatiale maximale entre la carte de profondeur et l'image à améliorer.
L'étape de mise en correspondance peut par exemple consister à détecter le maximum de corrélation spatiale entre l'une des images ayant servi à construire la carte de profondeur et l'image à améliorer.
Cette façon de procéder est particulièrement simple à mettre en oeuvre.
Selon une caractéristique particulière, l'étape d'amélioration de la qualité de l'image cible consiste à considérer que les pixels associés à une profondeur supérieure à une valeur donnée font partie de l'arrièreplan de l'image et à leur appliquer des traitements en conséquence, comme par exemple rendre l'arrière-plan flou.
Selon une caractéristique particulière, dans le cas où l'appareil d'acquisition d'images met en oeuvre un flash lors de la saisie des images, l'étape d'amélioration de la qualité de l'image cible consiste à modifier la puissance du flash en l'exprimant comme une fonction croissante de la profondeur des pixels.
Cela permet d'adapter la puissance du flash au contenu de la scène.
Selon une caractéristique particulière, l'étape d'amélioration de la qualité de l'image cible consiste à déterminer M distances de focalisation possibles pour l'optique de l'appareil d'acquisition d'images numériques en calculant les M premiers maxima locaux de l'histogramme des profondeurs de la carte de profondeur.
Cela facilite pour l'utilisateur le choix d'une distance de focalisation.
Dans le même but que celui indiqué plus haut, la présente invention propose en outre un dispositif pour améliorer la qualité d'une image numérique cible d'une scène saisie par un appareil d'acquisition d'images numériques, remarquable en ce qu'il comporte: - un module pour construire une carte de profondeur, représentant la distance à laquelle chaque pixel de l'image cible se trouve de l'objectif de l'appareil, à partir de deux images de la scène saisies suivant un angle différent; -un module pour améliorer la qualité de l'image cible, en modifiant, à partir de la carte de profondeur, soit des paramètres d'acquisition de l'image cible, soit la valeur des pixels de l'image cible.
La présente invention vise aussi un moyen de stockage d'informations lisible par un ordinateur ou un microprocesseur conservant des instructions d'un programme informatique, permettant la mise en oeuvre d'un procédé tel que ci-dessus.
La présente invention vise aussi un moyen de stockage d'informations amovible, partiellement ou totalement, lisible par un ordinateur ou un microprocesseur conservant des instructions d'un programme informatique, caractérisé en ce qu'il permet la mise en oeuvre d'un procédé tel que cidessus.
La présente invention vise aussi un produit programme d'ordinateur pouvant être chargé dans un appareil programmable, comportant des séquences d'instructions pour mettre en oeuvre un procédé tel que ci- dessus, lorsque ce programme est chargé et exécuté par l'appareil programmable.
Les caractéristiques particulières et les avantages du dispositif, des moyens de stockage et du produit programme d'ordinateur étant similaires à ceux du procédé, ils ne sont pas répétés ici.
D'autres aspects et avantages de l'invention apparaîtront à la lecture de la description détaillée qui suit de modes particuliers de réalisation, donnés à titre d'exemples non limitatifs. La description se réfère aux dessins qui l'accompagnent, dans lesquels: - la figure 1 est un organigramme illustrant des étapes du procédé d'amélioration de la qualité d'une image numérique conforme à la présente invention, dans un mode particulier de réalisation; - la figure 2 est un organigramme illustrant des étapes du procédé conforme à la présente invention, dans un mode de réalisation où on améliore la qualité de l'image en modifiant la valeur des pixels de l'image à partir de la carte de profondeur; - la figure 3 est un organigramme illustrant des étapes du procédé conforme à la présente invention, dans un mode de réalisation où on améliore la qualité de l'image en modifiant des paramètres d'acquisition de l'image à partir de la carte de profondeur; et - la figure 4 représente de façon schématique un dispositif adapté à mettre en oeuvre la présente invention, dans un mode particulier de réalisation.
On suppose qu'on utilise un appareil photo numérique ou tout autre dispositif d'acquisition d'images numériques, pour prendre une photographie, et qu'on souhaite améliorer l'image ainsi obtenue.
Comme le montre la figure 1, l'utilisateur met tout d'abord l'appareil photo dans un mode spécifique dit d'acquisition de carte de profondeur (étape 10). Dans ce mode de fonctionnement, l'appareil photo est prêt à effectuer la saisie d'une série d'images en rafale et à les mémoriser en vue de leur utilisation ultérieure.
Lors de l'étape suivante 12, l'utilisateur effectue une première saisie de la scène qu'il souhaite photographier, dans le mode d'acquisition de carte de profondeur. Cette saisie consiste en une série d'images fixes prises en rafale. Au cours de l'acquisition de cette série d'images, l'utilisateur déplace l'appareil photo de façon rectiligne, par exemple horizontalement, sur quelques centimètres, typiquement une dizaine.
Le déplacement peut également être vertical ou diagonal, tant qu'il reste sensiblement rectiligne.
L'acquisition de la série d'images peut se terminer automatiquement, par exemple au bout d'un nombre prédéterminé d'images, ou par ordre de l'utilisateur, qui appuie sur un bouton, par exemple. La série d'images est alors mémorisée par l'appareil photo pour traitement. Les images de cette série sont appelées images d'analyse.
La suite du procédé consiste à déterminer la carte de profondeur à partir des images d'analyse. Le calcul d'une carte de profondeur à partir d'images prises à partir de points de vue décalés horizontalement est connu en soi sous le nom de problème de correspondance stéréoscopique. On se reportera utilement à ce sujet à l'article de O. GRAU intitulé "A scene analysis system for the generation of 3-D models", in Int. Conf. On Recent Advances in 3-D Digital Imaging and Modeling, Ottawa, Canada, 1997, pages 221 à 228.
Le principe général est de commencer par sélectionner une paire d'images adaptées. Cette opération est effectuée à l'étape 14 illustrée sur la figure 1. Dans le mode préféré de réalisation de l'invention, on choisit la première et la dernière image de la série d'images d'analyse.
Ces deux images sont évaluées afin de savoir si elles conviennent pour la construction de la carte de profondeur. Divers critères peuvent être utilisés.
Dans le mode préféré de réalisation, on cherche à savoir si aucune des deux images n'est floue. Pour cela, on calcule une valeur représentative de l'énergie contenue dans les hautes fréquences de l'image. Diverses méthodes peuvent être employées.
Dans le mode préféré de réalisation, il suffit de calculer l'erreur quadratique entre l'image et une copie de l'image décalée d'un pixel horizontalement et d'un pixel verticalement. Cette valeur est comparée à un seuil prédéterminé et l'image n'est acceptée que si cette valeur est supérieure au seuil. Si cette valeur est inférieure au seuil, l'image est éliminée du processus et on reprend la procédure de sélection au début.
A l'issue de l'étape 14 de sélection d'une paire d'images optimale, on dispose donc d'une paire d'images stéréoscopique, qu'on va utiliser pour calculer la carte de profondeur.
L'étape suivante 16 consiste à extraire la carte de profondeur non normalisée à partir de la paire d'images optimale, ces images étant appelées image droite et image gauche. Le principe général consiste à calculer la disparité entre les deux images, c'est-à-dire à : 1. déterminer par similarité quel pixel de l'image droite correspond à chaque pixel de l'image gauche; 2. calculer le déplacement horizontal entre pixels correspondants (en nombre de pixels) ; et 3. construire une carte de profondeur non normalisée en associant à chaque pixel de la carte la valeur de l'inverse du déplacement du pixel correspondant.
Cette carte est dite non normalisée car, bien qu'on sache que la profondeur dans la scène est inversement proportionnelle au déplacement horizontal du pixel entre les deux images de la paire stéréoscopique, on ne dispose pas de la valeur absolue de la profondeur. Le calcul de cette valeur fait l'objet de l'étape suivante 18.
Pour normaliser la carte de profondeur obtenue à l'issue de l'étape 16, on utilise deux données fournies par l'appareil photo. La première de ces données est la zone d'autofocus d'une des deux images de la paire d'images stéréoscopique. La zone d'autofocus indique l'endroit de l'image sur lequel le système optique de l'appareil photo a fait le point. La seconde donnée qu'on utilise est la distance focale de l'autofocus. En effet, la distance focale indique à quelle profondeur se trouvent les pixels contenus dans la zone d'autofocus. Cette profondeur est également la profondeur à laquelle se trouvent les pixels contenus dans la zone d'autofocus dans la carte de profondeur non normalisée. On calcule la moyenne de la profondeur non normalisée de cette zone, puis on applique un coefficient multiplicatif afin que la nouvelle profondeur soit égale à celle donnée par la distance focale. Ce coefficient multiplicatif est appliqué à tous les pixels de la carte de profondeur non normalisée. On obtient ainsi la carte de profondeur normalisée.
La dernière étape 20 du procédé conforme à l'invention consiste à obtenir une image améliorée à partir de la carte de profondeur normalisée.
Pour ce faire, on propose deux variantes. Une première variante, illustrée par la figure 2, consiste à utiliser une image de la série d'images d'analyse comme image originale et à l'améliorer grâce à la carte de profondeur.
Une seconde variante, illustrée par la figure 3, consiste à utiliser la carte de profondeur pour déterminer les paramètres de prise de vue optimaux de l'image finale.
Comme le montre la figure 2, dans la première variante, on sélectionne, lors d'une étape 22, une des images de la série d'images d'analyse pour l'améliorer avec la carte de profondeur. Dans le mode préféré de réalisation, on sélectionne l'image se trouvant le plus au centre de la séquence d'analyse. Ainsi, il s'agit de l'image dont le rang dans la série d'images d'analyse est égal au nombre total d'images de la série divisé par deux et arrondi, par exemple à l'entier inférieur. On détermine si cette image est convenable au sens du critère défini à l'étape de sélection de la paire d'images optimale. Si cette image n'est pas convenable, on examine les images voisines jusqu'à trouver une image qui satisfasse le critère.
A l'issue de l'étape 22, on dispose d'une image à améliorer et d'une carte de profondeur. Toutefois, la carte de profondeur et l'image à améliorer ne sont pas parfaitement alignées. En effet, la carte de profondeur, du fait de sa méthode de construction, est alignée avec l'une des deux images ayant servi à la construction (alignée signifiant ici qu'elle a exactement le même cadrage). Appelons cette image Iref et appelons Isource l'image à améliorer. Le décalage spatial de Iref et Isource est dû aux mouvements involontaires éventuels de l'appareil photo lors de la prise de la série d'images initiale. L'étape suivante 23 consiste à mettre en correspondance l'image Isource avec la carte de profondeur.
Afin de recaler la carte de profondeur pour qu'elle corresponde à l'image Isource, on va calculer le décalage entre Iref et (source. Pour ce faire, on va simplement détecter le maximum de corrélation spatiale entre Iref et Isource. Ce maximum donne la translation du cadrage entre Iref et Isource. La translation en question est appliquée à la carte de profondeur, qui est alors parfaitement cadrée avec l'image Isource. Il est à noter que du fait de ce recadrage, il se peut que certaines parties de 'source ne soient pas couvertes par la carte de profondeur recadrée. On peut alors simplement éliminer ces parties de l'image Isource avant l'étape suivante (ces parties ne représentent en général qu'une proportion négligeable des pixels de (source).
On dispose à l'issue de l'étape 23 d'une image et de la carte de profondeur correspondante. Conformément à la présente invention, la carte de profondeur va servir à améliorer l'image. Différentes améliorations sont possibles: - focalisation par floutage du fond: on souhaite améliorer l'image de façon à focaliser l'attention de celui ou celle qui la regarde sur le sujet qui est au premier plan. Pour ce faire, on va artificiellement flouter l'arrière-plan. La distinction entre pixels de l'arrière-plan et pixels du premier plan se fait par segmentation de la carte de profondeur. Tous les pixels associés à une profondeur supérieure à une profondeur prédéterminée (par exemple 3 m) ou à une profondeur déterminée en cours de traitement (par exemple la distance focale de l'image à améliorer) sont considérés comme faisant partie de l'arrièreplan. Tous les autres pixels font partie du premier plan. On applique ensuite un filtre passe-bas (par exemple en remplaçant la valeur de chaque pixel par la valeur 2887346 10 moyenne de ce pixel et des 8 pixels qui l'entourent) aux pixels de l'arrière-plan. L'image ainsi obtenue est l'image améliorée.
- compensation de contraste en photo avec flash: il arrive parfois que la distance entre le sujet et le fond de l'image soit telle que lorsqu'une photo est prise avec flash, soit le sujet est correctement éclairé mais le fond est sous-éclairé, soit le fond est correctement éclairé mais le sujet est sur-éclairé. Dans ce mode de mise en oeuvre de l'invention, l'appareil photo prend automatiquement une puissance de flash intermédiaire, c'est-à-dire que le premier plan sera légèrement sur- éclairé et l'arrière-plan légèrement sous-éclairé. Ensuite, une segmentation du premier plan et de l'arrière-plan similaire à celle appliquée précédemment est effectuée et on identifie les pixels appartenant au premier plan et les pixels appartenant à l'arrière-plan. Les pixels de l'arrière-plan sont compensés en luminosité de façon qu'ils apparaissent comme plus clairs (typiquement, on ajoute une valeur prédéterminée, par exemple 10, ou un pourcentage prédéterminé, par exemple 5%, à la luminosité de ces pixels). Les pixels du premier plan sont compensés en luminosité de façon qu'ils apparaissent comme moins clairs (typiquement, on retire une valeur prédéterminée, par exemple 10, ou un pourcentage prédéterminé, par exemple 5%, à la luminosité de ces pixels). L'image ainsi modifiée est l'image améliorée.
Dans la seconde variante, illustrée par la figure 3, on détermine, lors d'une étape 30, des paramètres d'acquisition d'image à partir de la carte de profondeur. Différentes approches sont possibles, parmi lesquelles: détermination de la puissance du flash: on peut se servir de la carte de profondeur pour déterminer la puissance du flash à appliquer lors de la saisie de l'image. En effet, plus le nombre de pixels distants est important, plus la puissance du flash souhaitée est importante. On peut donc exprimer la puissance du flash comme une fonction croissante de la distance des pixels. Dans le mode préféré de réalisation, on exprime la puissance P du flash à appliquer, en Watt, par la formule:
N
P=PoIdi i=1 2887346 11 où Po représente un coefficient prédéterminé par le constructeur de l'appareil photo, N est le nombre de pixels contenus dans la carte de profondeur et d; est la profondeur du pixel numéro i dans l'image. On pourrait également utiliser par exemple la formule:
N
P=PI1d? -, où PI représente un autre coefficient prédéterminé.
- détermination de la zone de focalisation: on peut se servir de la carte de profondeur pour déterminer la distance de focalisation de l'optique de l'appareil photo. Pour cela, on calcule les M premiers maxima locaux de l'histogramme des profondeurs de la carte de profondeur, M étant une valeur prédéterminée correspondant au nombre de distances de focalisation que le constructeur de l'appareil photo souhaite offrir à l'utilisateur, par exemple 3 (un maximum local de l'histogramme est une profondeur telle que toute autre profondeur prise dans son voisinage soit inférieure en nombre). On obtient donc M distances de focalisation possibles et l'utilisateur se voit proposer ces M focalisations, par l'intermédiaire de l'interface de l'appareil photo.
L'étape suivante 32 consiste, pour l'utilisateur, à prendre une photo avec les paramètres (à savoir, par exemple, puissance de flash ou distance de focalisation) déterminés à l'étape précédente. Cette photo est la photo améliorée grâce à la carte de profondeur. Le processus peut s'arrêter ici, moyennant quoi cette image devient l'image finale. En variante, on peut appliquer l'étape suivante 34, consistant à poursuivre l'amélioration de l'image comme décrit plus haut en liaison avec la figure 2.
Un dispositif 1000 mettant en oeuvre le procédé conforme à l'invention est illustré sur la figure 4.
Ce dispositif peut par exemple être inclus dans un appareil photo numérique.
Le dispositif 1000 comporte un capteur CCD 113 et une interface de communication 112 apte à recevoir des informations numériques provenant du capteur CCD 113. Le dispositif 1000 comporte également un moyen de stockage 108 tel que par exemple une carte mémoire, qui peut contenir des données d'implantation logicielle de l'invention ainsi que le code de l'invention. En variante, le programme permettant au dispositif de mettre en oeuvre l'invention pourra être stocké en mémoire morte 102 (appelée ROM sur le dessin).
Le dispositif 1000 possède un écran 104 permettant de visualiser les informations à traiter ou de servir d'interface avec l'utilisateur.
L'unité centrale 100 (appelée CPU sur le dessin) exécute les instructions relatives à la mise en oeuvre de l'invention, instructions stockées dans la mémoire morte 102 ou dans les autres éléments de stockage. Lors de la mise sous tension, les programmes et méthodes de traitement stockés dans une des mémoires (non volatile), par exemple la ROM 102, sont transférés dans la mémoire vive RAM 103, qui contient alors le code exécutable de l'invention ainsi que les variables nécessaires à la mise en oeuvre de l'invention. Bien entendu, la carte mémoire peut être remplacée par tout moyen de stockage d'information, lisible par un ordinateur ou par un microprocesseur, intégré ou non au dispositif 1000, éventuellement amovible, adapté à mémoriser un ou plusieurs programmes dont l'exécution permet la mise en oeuvre du procédé conforme à la présente invention.
Le bus de communication 101 permet la communication entre les différents sous-éléments du dispositif 1000 ou liés à lui. La représentation du bus 101 n'est pas limitative et notamment, l'unité centrale 100 est susceptible de communiquer des instructions à tout sous-élément du dispositif 1000 directement ou par l'intermédiaire d'un autre sousélément du dispositif 1000.
Le dispositif décrit ici est susceptible de contenir tout ou partie du traitement décrit dans l'invention.
Ce dispositif peut être inclus dans l'appareil photo numérique sous la forme d'un circuit électronique et/ou d'un logiciel embarqué sur le processeur de l'appareil photo.

Claims (31)

REVENDICATIONS
1. Procédé pour améliorer la qualité d'une image numérique cible d'une scène saisie par un appareil d'acquisition d'images numériques, caractérisé en ce qu'il comporte des étapes suivant lesquelles: - on construit (16, 18) une carte de profondeur, représentant la distance à laquelle chaque pixel de l'image cible se trouve de l'objectif de l'appareil, à partir de deux images de la scène saisies suivant un angle différent; - on améliore (20) la qualité de l'image cible, en modifiant, à partir de la carte de profondeur, soit des paramètres d'acquisition de l'image cible, soit la valeur des pixels de l'image cible.
2. Procédé selon la revendication 1, caractérisé en ce qu'il comporte en outre une étape (10) suivant laquelle on met l'appareil d'acquisition d'images numériques dans un mode d'acquisition de carte de profondeur, dans lequel l'appareil est prêt à effectuer une saisie d'une série d'images de la scène en rafale.
3. Procédé selon la revendication 2, caractérisé en ce que l'étape (10) de mise en mode d'acquisition est suivie d'une étape (12) de saisie d'images d'analyse, suivant laquelle on saisit une série d'images de la scène en rafale en déplaçant l'appareil d'acquisition d'images de façon rectiligne.
4. Procédé selon la revendication 3, caractérisé en ce que l'étape (12) de saisie d'images d'analyse se termine automatiquement lorsqu'un nombre prédéterminé d'images ont été saisies.
5. Procédé selon la revendication 3, caractérisé en ce que l'étape (12) de saisie d'images d'analyse se termine sur exécution d'une commande par l'utilisateur.
6. Procédé selon la revendication 3, 4 ou 5, caractérisé en ce que les deux images servant à construire la carte de profondeur sont la première et la dernière image de la série d'images d'analyse.
7. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce qu'il comporte en outre une étape préalable à l'étape de construction de la carte de profondeur (16, 18), suivant laquelle on évalue si les deux images servant à construire la carte de profondeur sont convenables au sens d'un critère prédéterminé.
8. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce que l'étape de construction (16, 18) de la carte de profondeur comporte une sous-étape (18) de calcul d'une carte de profondeur normalisée à partir de la zone d'autofocus d'une des deux images servant à construire la carte de profondeur et à partir de la distance focale de l'autofocus.
9. Procédé selon l'une quelconque des revendications 3 à 8, caractérisé en ce que l'étape (20) d'amélioration de la qualité de l'image cible comporte une sous-étape (22) de sélection d'une image parmi la série d'images d'analyse, suivant laquelle: - on sélectionne l'image se trouvant le plus au centre de ladite série; - on détermine si l'image sélectionnée satisfait un critère prédéterminé ; - si l'image sélectionnée satisfait ledit critère, on choisit l'image sélectionnée comme image cible à améliorer; - si l'image sélectionnée ne satisfait pas ledit critère, on examine les images voisines de l'image sélectionnée jusqu'à ce qu'on en trouve une qui satisfait ledit critère et on la choisit comme image cible à améliorer.
10. Procédé selon la revendication précédente, caractérisé en ce que la sous-étape (22) de sélection d'une image est suivie d'une étape (23) consistant à mettre en correspondance l'image sélectionnée et la carte de profondeur.
11. Procédé selon la revendication précédente, caractérisé en ce que l'étape (23) de mise en correspondance consiste à détecter le maximum de corrélation spatiale entre l'une des images ayant servi à construire la carte de profondeur et l'image à améliorer.
12. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce que l'étape (20) d'amélioration de la qualité de l'image cible consiste à considérer que les pixels associés à une profondeur supérieure à une valeur donnée font partie de l'arrière-plan de l'image et à leur appliquer des traitements en conséquence.
13. Procédé selon l'une quelconque des revendications 1 à 11, suivant lequel l'appareil d'acquisition d'images met en oeuvre un flash lors de la saisie des images, caractérisé en ce que l'étape (20) d'amélioration de la qualité de l'image cible consiste à modifier la puissance du flash en l'exprimant comme une fonction croissante de la profondeur des pixels.
14. Procédé selon l'une quelconque des revendications 1 à 11, caractérisé en ce que l'étape (20) d'amélioration de la qualité de l'image cible consiste à déterminer M distances de focalisation possibles pour l'optique de l'appareil d'acquisition d'images numériques en calculant les M premiers maxima locaux de l'histogramme des profondeurs de la carte de profondeur.
15. Dispositif pour améliorer la qualité d'une image numérique cible d'une scène saisie par un appareil d'acquisition d'images numériques, caractérisé en ce qu'il comporte: - des moyens pour construire une carte de profondeur, représentant la distance à laquelle chaque pixel de l'image cible se trouve de l'objectif de l'appareil, à partir de deux images de la scène saisies suivant un angle différent; -des moyens pour améliorer la qualité de l'image cible, en modifiant, à partir de la carte de profondeur, soit des paramètres d'acquisition de l'image cible, soit la valeur des pixels de l'image cible.
16. Dispositif selon la revendication 15, caractérisé en ce qu'il comporte en outre des moyens pour mettre l'appareil d'acquisition d'images numériques dans un mode d'acquisition de carte de profondeur, dans lequel l'appareil est prêt à effectuer une saisie d'une série d'images de la scène en rafale.
17. Dispositif selon la revendication 16, caractérisé en ce qu'il comporte en outre des moyens de saisie d'images d'analyse, adaptés à saisir une série d'images de la scène en rafale en déplaçant l'appareil d'acquisition d'images de façon rectiligne.
18. Dispositif selon la revendication 17, caractérisé en ce que les moyens de saisie d'images d'analyse sont adaptés à cesser automatiquement de fonctionner lorsqu'un nombre prédéterminé d'images ont été saisies.
19. Dispositif selon la revendication 17, caractérisé en ce que les moyens de saisie d'images d'analyse sont adaptés à cesser de fonctionner sur exécution d'une commande par l'utilisateur.
20. Dispositif selon la revendication 17, 18 ou 19, caractérisé en ce que les deux images servant à construire la carte de profondeur sont la première et la dernière image de la série d'images d'analyse.
21. Dispositif selon l'une quelconque des revendications 15 à 20, caractérisé en ce qu'il comporte en outre des moyens pour évaluer si les deux images servant à construire la carte de profondeur sont convenables au sens d'un critère prédéterminé.
22. Dispositif selon l'une quelconque des revendications 15 à 21, caractérisé en ce que les moyens de construction de la carte de profondeur comportent des moyens de calcul d'une carte de profondeur normalisée à partir de la zone d'autofocus d'une des deux images servant à construire la carte de profondeur et à partir de la distance focale de l'autofocus.
23. Dispositif selon l'une quelconque des revendications 17 à 22, caractérisé en ce que les moyens d'amélioration de la qualité de l'image cible comportent des moyens de sélection d'une image parmi la série d'images d'analyse, adaptés à : - sélectionner l'image se trouvant le plus au centre de ladite série; - déterminer si l'image sélectionnée satisfait un critère prédéterminé ; - si l'image sélectionnée satisfait ledit critère, choisir l'image sélectionnée comme image cible à améliorer; - si l'image sélectionnée ne satisfait pas ledit critère, examiner les images voisines de l'image sélectionnée jusqu'à en trouver une qui satisfait ledit critère et la choisir comme image cible à améliorer.
24. Dispositif selon la revendication précédente, caractérisé en ce qu'il comporte en outre des moyens pour mettre en correspondance l'image sélectionnée et la carte de profondeur.
25. Dispositif selon la revendication précédente, caractérisé en ce que les moyens de mise en correspondance sont adaptés à détecter le maximum de corrélation spatiale entre l'une des images ayant servi à construire la carte de profondeur et l'image à améliorer.
26. Dispositif selon l'une quelconque des revendications 15 à 25, caractérisé en ce que les moyens d'amélioration de la qualité de l'image cible sont adaptés à considérer que les pixels associés à une profondeur supérieure à une valeur donnée font partie de l'arrière-plan de l'image et à leur appliquer des traitements en conséquence.
27. Dispositif selon l'une quelconque des revendications 15 à 25, l'appareil d'acquisition d'images mettant en oeuvre un flash lors de la saisie des images, caractérisé en ce que les moyens d'amélioration de la qualité de l'image cible sont adaptés à modifier la puissance du flash en l'exprimant comme une fonction croissante de la profondeur des pixels.
28. Dispositif selon l'une quelconque des revendications 15 à 25, caractérisé en ce que les moyens d'amélioration de la qualité de l'image cible sont adaptés à déterminer M distances de focalisation possibles pour l'optique de l'appareil d'acquisition d'images numériques en calculant les M premiers maxima locaux de l'histogramme des profondeurs de la carte de profondeur.
29. Moyen de stockage d'informations lisible par un ordinateur ou un microprocesseur conservant des instructions d'un programme informatique, caractérisé en ce qu'il permet la mise en oeuvre d'un procédé selon l'une quelconque des revendications 1 à 14.
30. Moyen de stockage d'informations amovible, partiellement ou totalement, lisible par un ordinateur ou un microprocesseur conservant des instructions d'un programme informatique, caractérisé en ce qu'il permet la mise en oeuvre d'un procédé selon l'une quelconque des revendications 1 à 14.
31. Produit programme d'ordinateur pouvant être chargé dans un appareil programmable, caractérisé en ce qu'il comporte des séquences d'instructions pour mettre en oeuvre un procédé selon l'une quelconque des revendications 1 à 14, lorsque ce programme est chargé et exécuté par l'appareil programmable.
FR0506171A 2005-06-17 2005-06-17 Procede et dispositif d'amelioration d'une image numerique Active FR2887346B1 (fr)

Priority Applications (1)

Application Number Priority Date Filing Date Title
FR0506171A FR2887346B1 (fr) 2005-06-17 2005-06-17 Procede et dispositif d'amelioration d'une image numerique

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR0506171A FR2887346B1 (fr) 2005-06-17 2005-06-17 Procede et dispositif d'amelioration d'une image numerique

Publications (2)

Publication Number Publication Date
FR2887346A1 true FR2887346A1 (fr) 2006-12-22
FR2887346B1 FR2887346B1 (fr) 2007-09-28

Family

ID=35229719

Family Applications (1)

Application Number Title Priority Date Filing Date
FR0506171A Active FR2887346B1 (fr) 2005-06-17 2005-06-17 Procede et dispositif d'amelioration d'une image numerique

Country Status (1)

Country Link
FR (1) FR2887346B1 (fr)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6297825B1 (en) * 1998-04-06 2001-10-02 Synapix, Inc. Temporal smoothing of scene analysis data for image sequence generation
EP1465112A2 (fr) * 2003-04-04 2004-10-06 STMicroelectronics, Inc. Caméra composite et procédé de synthèse d'une image virtuelle à partir de plusieurs images d'entrée

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6297825B1 (en) * 1998-04-06 2001-10-02 Synapix, Inc. Temporal smoothing of scene analysis data for image sequence generation
EP1465112A2 (fr) * 2003-04-04 2004-10-06 STMicroelectronics, Inc. Caméra composite et procédé de synthèse d'une image virtuelle à partir de plusieurs images d'entrée

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BECKER S ET AL: "SEMIAUTOMATED 3-D MODEL EXTRACTION FROM UNCALIBRATED 2-D CAMERA VIEWS", PROCEEDINGS OF THE SPIE, SPIE, BELLINGHAM, VA, US, vol. 2410, 8 February 1995 (1995-02-08), pages 447 - 461, XP000981577, ISSN: 0277-786X *
KOCH R ET AL: "Realistic 3-D scene modeling from uncalibrated image sequences", IMAGE PROCESSING, 1999. ICIP 99. PROCEEDINGS. 1999 INTERNATIONAL CONFERENCE ON KOBE, JAPAN 24-28 OCT. 1999, PISCATAWAY, NJ, USA,IEEE, US, vol. 2, 24 October 1999 (1999-10-24), pages 500 - 504, XP010369001, ISBN: 0-7803-5467-2 *

Also Published As

Publication number Publication date
FR2887346B1 (fr) 2007-09-28

Similar Documents

Publication Publication Date Title
CA2600185C (fr) Procede pour commander une action, notamment une modification de nettete, a partir d'une image numerique en couleurs
JP6935587B2 (ja) 画像処理のための方法および装置
EP3236391B1 (fr) Détection et reconnaissance d'objets dans des conditions hors foyer
EP1410327B1 (fr) Procede et systeme pour produire des informations formatees liees aux defauts d'au moins un appareil d'une chaine, notamment au flou
JP5460173B2 (ja) 画像処理方法、画像処理装置、画像処理プログラム、撮像装置
JP5760727B2 (ja) 画像処理装置および画像処理方法
WO2005125184A1 (fr) Procede d’aide a l’acquisition d’images numeriques
JP5831033B2 (ja) 撮像装置および距離情報取得方法
JP2013005091A (ja) 撮像装置および距離情報取得方法
US20110128422A1 (en) Image capturing apparatus and image processing method
JP2004181233A (ja) 画像中の重要領域決定方法及びプログラム
EP2457379A1 (fr) Procédé d'estimation d'un défaut d'un système de capture d'images et systèmes associés
JP2013041117A (ja) 撮像装置および距離情報取得方法
US20090290041A1 (en) Image processing device and method, and computer readable recording medium containing program
JP2010279054A (ja) 撮像装置、画像処理装置、撮像方法、及び画像処理方法
CN105007405B (zh) 图像处理方法、图像处理设备和摄像设备
JP5720488B2 (ja) 撮像装置および距離情報取得方法
JP2016059051A (ja) 撮像装置および距離情報取得方法
FR2887346A1 (fr) Procede et dispositif d'amelioration d'une image numerique
FR2887347A1 (fr) Procede et dispositif de construction d'une carte de profondeur d'une image numerique
FR2880958A1 (fr) Procede d'amelioration de la nettete d'au moins une couleur d'une image numerique
JP2013110700A (ja) 撮像装置、撮像方法、及び画像処理装置
EP1431906A1 (fr) Détermination d'un indice de netteté d'une image numérique
WO2020178526A1 (fr) Dispositif et procédé d'évaluation qualitative des greffons hépatiques

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 12

PLFP Fee payment

Year of fee payment: 13