FR3054678B1

FR3054678B1 - Kit pour dispositif imageur

Info

Publication number: FR3054678B1
Application number: FR1601153A
Authority: FR
Inventors: Pauline Trouve Pelloux; Frederic Champagnat; Guy Le Besnerais; Aurelien Plyer; Thierry Avignon; Jacques Sabater
Original assignee: Office National dEtudes et de Recherches Aerospatiales ONERA; Institut dOptique Graduate School
Current assignee: Office National dEtudes et de Recherches Aerospatiales ONERA; Institut dOptique Graduate School
Priority date: 2016-07-27
Filing date: 2016-07-27
Publication date: 2019-07-05
Anticipated expiration: 2036-07-27
Also published as: FR3054678A1

Abstract

Kit comprenant un objectif complémentaire (2) destiné à être maintenu devant un objectif initial (3) d'un appareil de prise de vue en couleurs et adapté pour augmenter une chromatisme axial de l'image (4) d'une scène (1) formée à travers les deux objectifs par rapport à l'image formée à travers l'objectif initial (3) seul ; des moyens de fixation amovible pour maintenir l'objectif complémentaire (2) devant l'objectif initial (3) ; et des moyens pour enregistrer dans une unité de traitement des instructions de programme permettant d'obtenir des valeurs d'éloignement d'éléments de la scène (1) sur la base d'informations de défocalisation des couleurs de l'image (4) de la scène (1), l'augmentation du chromatisme axial produisant des variations de la défocalisation entre des couleurs différentes, pour un même élément de la scène (1), qui sont supérieures par rapport à l'utilisation de l'appareil de prise de vue sans l'objectif complémentaire (2).

Description

KIT POUR DISPOSITIF IMAGEUR

La présente invention concerne un kit pour permettre à un dispositif imageur d’acquérir, en plus d’une image d’une scène imagée qui est formée dans un plan perpendiculaire à une direction de prise de vue, des valeurs d’éloignement qui sont relatives à des éléments de la scène, ledit éloignement étant considéré selon la direction de prise de vue.

Dans le domaine des dispositifs imageurs, de plus en plus d'applications grand public et professionnelles nécessitent ou peuvent bénéficier de la connaissance de l'environnement 3D de l’utilisateur, caractérisé par les valeurs éloignement de l'ensemble des éléments de la scène, en temps différé ou réel.

Il existe de nombreux dispositifs imageurs permettant l’acquisition de l'éloignement : par exemple, certains disposent d’un projecteur de signal infrarouge sur la scène et d’autres comprennent deux appareils imageurs placés côte à côte. Dans ces deux cas, les dispositifs imageurs sont complexes à utiliser. De plus, les systèmes de projection peuvent être sensibles aux rayonnements infra-rouge du soleil, et l'ajout de nouveaux composants d’acquisition dans les dispositifs imageurs augmente leur consommation d’énergie et leur encombrement, ce qui est un inconvénient majeur pour des dispositifs déjà très contraints. A partir de cette situation, un but de l’invention consiste à fournir un nouveau dispositif imageur permettant l’acquisition de l'éloignement de la scène imagée, qui soit plus simple à utiliser, moins onéreux et moins encombrant.

Pour atteindre ce but ou d’autres, un premier aspect de l’invention propose un kit pour permettre à un dispositif imageur d’acquérir, en plus d’une image d’une scène imagée qui est formée dans un plan perpendiculaire à une direction de prise de vue, des valeurs d’éloignement qui sont relatives à des éléments de la scène, ledit éloignement étant considéré selon la direction de prise de vue, le kit comprenant : - un objectif complémentaire, qui est destiné à être maintenu devant un objectif initial d’un appareil de prise de vue en couleurs appartenant au dispositif imageur, et qui est adapté pour augmenter un chromatisme axial de l’image lorsque ladite image est formée à travers l’objectif complémentaire et l’objectif initial, par rapport à l’image formée à travers l’objectif initial sans l’objectif complémentaire ; - des moyens de fixation adaptés pour maintenir l’objectif complémentaire devant l’objectif initial de l’appareil de prise de vue, selon un alignement optique dudit objectif complémentaire par rapport à l’objectif initial, et de sorte que l’objectif complémentaire soit amovible par rapport à l’appareil de prise de vue ; et - des moyens pour enregistrer dans une unité de traitement appartenant au dispositif imageur et reliée à l’appareil de prise de vue des instructions de programme permettant, lorsque lesdites instructions sont traitées par un processeur de l’unité de traitement, d’obtenir, séparément pour chaque élément de la scène, une valeur d’éloignement dudit élément de la scène, sur la base d’informations d’une défocalisation des couleurs de l'image de la scène imagée, l’augmentation du chromatisme axial produisant des variations de la défocalisation entre des couleurs différentes, pour un même élément de la scène, qui sont supérieures par rapport à l’utilisation de l’appareil de prise de vue sans l’objectif complémentaire, et les valeurs d’éloignement obtenues pour les éléments de la scène constituant une carte d’éloignement de la scène.

Le chromatisme axial introduit une variation de la distance focale de l’objectif initial de l’appareil de prise de vue avec la longueur d'onde. Un objectif ayant un tel chromatisme, associé à un détecteur couleur qui sépare les couleurs (aussi appelées canaux) rouge R, verte V et bleue B de la lumière incidente, acquière une image pour laquelle les couleurs R, V, B ont des plans de mise au point différents, donc des défocalisations différentes. La variation de netteté des couleurs de l'image de la scène dépend de son éloignement. Des informations liées à la netteté ou à la défocalisation des couleurs de l’image permettent ainsi d’enrichir des informations sur l’éloignement des éléments de la scène contenus dans l’image. En particulier, l'estimation de la netteté ou du flou de défocalisation sur les différentes couleurs R, V, B permet de mesurer l'éloignement de la scène.

Le kit selon l’invention peut comprendre une ou plusieurs des caractéristiques suivantes, prises isolément ou en combinaison ; - l’objectif complémentaire est adapté en outre pour augmenter un grossissement de l’image lorsque ladite image est formée à travers l’objectif complémentaire et l’objectif initial, par rapport à l’image formée à travers l’objectif initial sans l’objectif complémentaire ; - l’objectif complémentaire comprend deux lentilles formées dans des verres différents, lesdits verres ayant des valeurs respectives d’indice de réfraction qui sont sensiblement identiques pour une longueur d’onde de lumière visible, et ayant des valeurs différentes de nombre d’Abbe ; - les deux lentilles sont collées l’une à l’autre par des faces respectives desdites deux lentilles qui sont parallèles ; - les deux lentilles sont collées par des faces respectives desdites deux lentilles qui sont planes ; - l’une des deux lentilles est plan-convexe, et l’autre des deux lentilles est plan-concave, avec des courbures identiques en valeur absolue pour la face convexe de la lentille plan-convexe et pour la face concave de la lentille plan-concave, et les deux lentilles sont collées par leurs faces respectives convexe et concave, de façon à constituer une lame à faces parallèles ; - l’objectif complémentaire comprend au moins une lentille diffractive ; - l’objectif complémentaire comprend une lentille diffractive et une lentille réfractive agencées pour former un doublet ayant une valeur nulle de puissance optique, pour une longueur d’onde nominale de la lentille diffractive ; - les instructions de programme sont adaptées pour exécuter les étapes suivantes : /a/obtenir des estimations de la défocalisation pour au moins deux couleurs de l’image de la scène, localement pour des éléments séparés dans la scène, lesdites estimations de la défocalisation constituant lesdites informations de la défocalisation ; et /b/séparément pour chaque élément de la scène, déduire une valeur d’éloignement dudit élément de la scène, à partir des estimations de la défocalisation obtenues pour plusieurs couleurs et pour ledit élément de la scène ; - les instructions de programme sont adaptées pour estimer la défocalisation des couleurs de l’image, séparément pour chaque couleur ou de manière conjointe pour plusieurs couleurs, à l’étape /a/ selon une méthode sélectionnée parmi : • un calcul de contraste local pour chaque couleur ou un calcul de contraste relatif entre les couleurs ; • des opérations de convolution de chaque couleur par des fonctions de flou et un calcul d’un rapport local de gradients de la couleur ainsi obtenue avec la couleur d'origine ; et • un calcul local d'une probabilité a posteriori d'une fonction de flou ou d'un ensemble de fonctions de flou de défocalisation si plus d'une couleur est utilisée conjointement pour estimer l’éloignement, pour un ensemble de zones de la ou des couleurs, la fonction de flou ou l'ensemble de fonctions de flou qui maximise cette probabilité étant alors sélectionné pour chaque zone de calcul, l'ensemble des niveaux de flou de défocalisation pouvant être défini comme : > une famille finie ayant été pré-étalonnée et enregistrée dans les instructions de programme pour les couleurs de l'image ; > un ensemble de fonctions de flou suivant un modèle paramétrique dépendant d'un nombre restreint de paramètres dont les valeurs auront été pré-étalon nées ; ou > une famille finie de fonction de floue générée par un logiciel de conception optique ; - les instructions de programme sont adaptées pour exécuter l’étape /b/ à partir de données à enregistrer dans l’unité de traitement et qui sont fournies avec le kit, et qui attribuent des valeurs d’éloignement à des ensembles d’estimations de défocalisation associées aux couleurs ; - les instructions de programme sont adaptées pour estimer des valeurs d'éloignement des éléments de la scène directement à partir de l’image de la scène formée à travers l’objectif complémentaire et l’objectif initial, par un traitement issu d'un apprentissage statistique d’un lien entre des images de scènes formées à travers l’objectif complémentaire et l’objectif initial et des cartes d’éloignement correspondant respectivement auxdites scènes, et en prenant en compte lesdites informations de la défocalisation de manière intrinsèque lors de la construction du traitement par apprentissage ; et - les instructions de programme sont adaptées en outre pour corriger un flou de l’image saisie qui est relatif à l’une des couleurs, causé par la défocalisation pour ladite couleur, en fonction de l’estimation de la défocalisation pour ladite couleur et un contenu fréquentiel d’image saisi pour l’une au moins des autres couleurs.

Un deuxième aspect de l’invention propose un dispositif imageur comprenant : - un appareil de prise de vue en couleurs comprenant un objectif initial et des moyens de stockage numérique d'une image ou d'une séquence d'images, par exemple ledit appareil de prise de vue pouvant être intégré à un smartphone ; - un objectif complémentaire, qui est monté de manière amovible devant l’objectif initial de l’appareil de prise de vue, et qui est adapté pour augmenter un chromatisme axial d’une image lorsque ladite image est formée à travers l’objectif complémentaire et l’objectif initial, par rapport à l’image formée à travers l’objectif initial sans l’objectif complémentaire ; - une unité de traitement relié à l’appareil de prise de vue et comprenant un processeur et des moyens de stockage d’instructions de programme, lesdites instructions de programme permettant, lorsqu’elles sont traitées par le processeur, d’obtenir, séparément pour chaque élément de la scène, une valeur d’éloignement dudit élément de la scène, sur la base d’informations d’une défocalisation des couleurs de l’image de la scène imagée, l’augmentation du chromatisme axial produisant des variations de la défocalisation entre des couleurs différentes, pour un même élément de la scène, qui sont supérieures par rapport à l’utilisation de l’appareil de prise de vue sans l’objectif complémentaire, et les valeurs d’éloignement obtenues pour les éléments de la scène constituant une carte d’éloignement de la scène.

Un troisième aspect de l’invention propose un procédé pour acquérir des valeurs d’éloignement relatives à des éléments d’une scène, comprenant les étapes suivantes : - fournir un appareil de prise de vue en couleurs comprenant un objectif initial et des moyens de stockage numérique d'une image ou d'une séquence d'images, par exemple ledit appareil de prise de vue pouvant être intégré à un smartphone ; - fixer un objectif complémentaire devant l’objectif initial de l’appareil de prise de vue, l’objectif complémentaire augmentant un chromatisme axial d’une image de la scène saisie par l’appareil de prise de vue lorsque ladite image est formée à travers l’objectif complémentaire et l’objectif initial, par rapport à l’image formée à travers l’objectif initial sans l’objectif complémentaire ; et - fournir une unité de traitement relié à l’appareil de prise de vue et comprenant un processeur, le procédé comprenant en outre l’étape suivante exécutée dans l’unité de traitement : - obtenir, séparément pour chaque élément de la scène, une valeur d’éloignement dudit élément de la scène, sur la base d’informations d’une défocalisation des couleurs de l’image de la scène imagée, l’augmentation du chromatisme axial produisant des variations de la défocalisation entre des couleurs différentes, pour un même élément de la scène, qui sont supérieures par rapport à l’utilisation de l’appareil de prise de vue sans l’objectif complémentaire, et les valeurs d’éloignement obtenues pour les éléments de la scène constituant une carte d’éloignement de la scène.

Le procédé selon l’invention peut comprendre en outre l’étape suivante : - corriger un flou de l’image saisie qui est relatif à l’une des couleurs, causé par la défocalisation pour ladite couleur, en fonction de l’estimation de la défocalisation pour ladite couleur et un contenu fréquentiel d’image saisi pour l’une au moins des autres couleurs. D'autres particularités et avantages de la présente invention apparaîtront dans la description ci-après d'exemples de réalisation non limitatifs, en référence aux dessins annexés, dans lesquels : - la figure 1 est une vue schématique illustrant le principe général de l’invention ; - la figure 2 est une vue schématique d’un objectif complémentaire selon un premier mode de réalisation de l’invention ; - la figure 3 est une vue schématique d’un objectif complémentaire selon un deuxième mode de réalisation de l’invention ; - la figure 4 est une vue schématique d’un objectif complémentaire selon un troisième mode de réalisation de l’invention ; et - la figure 5 est une vue schématique d’un objectif complémentaire selon un quatrième mode de réalisation de l’invention.

Comme représenté sur la figure 1, une scène 1 est imagée par un appareil de prise de vue pour former une image 4. L’image 4 est ensuite traitée par un traitement d'estimation locale d’éloignement 5 pour fournir une carte d'éloignement 6 de la scène 1. De manière préférentielle, l'image 4 est également traitée pour corriger le flou causé par la défocalisation par un traitement dit de restauration d'images 7 qui délivre une image restaurée 8. La restauration de l'image consiste à rendre nettes les trois couleurs de l'image, quelles que soient les valeurs d’éloignement de la scène considérée.

Le dispositif imageur comprend un appareil de prise de vue en couleurs, un objectif complémentaire 2 et une unité de traitement. L’appareil de prise de vue comprend un objectif initial 3 et des moyens de stockage numérique d’une image ou d’une séquence d’images. L’appareil de prise de vue peut par exemple être intégré dans un smartphone, une tablette, un appareil photographique, etc. L’objectif complémentaire 2 est monté de manière amovible devant l’objectif initial 3 et augmente le chromatisme axial de l’image 4 de la scène 1 par rapport à l’image de la scène 1 formée à travers l’objectif initial 3 sans l’objectif complémentaire 2.

Des moyens de fixation amovible adaptés sont prévus pour maintenir l’objectif complémentaire 2 devant l’objectif initial 3 de l’appareil de prise de vue, selon un alignement optique dudit objectif complémentaire 2 par rapport à l’objectif initial 3, et de sorte que l’objectif complémentaire 2 soit amovible par rapport à l’appareil de prise de vue.

Dans un mode de réalisation préférentiel mais non limitatif, les moyens de fixation comprennent deux éléments aimantés collés sur chaque objectif.

Dans un autre mode de réalisation préférentiel mais non limitatif, les moyens de fixation comprennent une monture mécanique qui est adaptée pour se fixer sur un boîtier de l'objectif initial, par exemple par vissage ou encliquetage, et qui est adaptée pour recevoir l'objectif complémentaire, par exemple par vissage ou encliquetage.

Le fait de disposer d’un objectif complémentaire amovible est avantageux car il permet d’offrir un mode de prise de vue avec acquisition de l'éloignement lorsque l’objectif complémentaire est positionné devant l’objectif initial, et un mode de prise de vue standard lorsqu’il est ôté de l’objectif initial.

Le composant optique le plus simple pour former l’objectif complémentaire 2 est un doublet de deux lentilles fabriquées dans des verres de caractéristiques optiques différentes. La caractérisation optique d’un verre s’effectue grossièrement en utilisant deux paramètres : l’indice de réfraction symbolisé par nd et le nombre d’Abbe symbolisé par n.

Pour conserver à l’objectif initial une qualité optique suffisante tout en générant du chromatisme axial, une des solutions non limitative est de réaliser ce composant optique à l’aide de deux lentilles fabriquées dans des verres d’indices sensiblement égaux et de nombre d’Abbe différents.

En référence à la figure 2, l’objectif complémentaire 2 comprend deux lentilles 9, 10 formées dans des verres différents, ayant des valeurs respectives d’indice de réfraction qui sont sensiblement identiques pour une longueur d’onde de lumière visible, et ayant des valeurs différentes de nombre d’Abbe.

Par exemple, on peut citer deux couples de verres de la société Schott qui répondent à la condition précédente, pour la longueur d’onde 587,6 nm : - SK16 ou N-SK16 (indice égal à 1,6204 et nombre d’Abbe égal à 60.3) et F2 ou N-F2 (indice égal à 1,6200 et nombre d’Abbe égal à 36.4) ; et - LAK12 ou N-LAK12 (indice égal à 1,6779 et nombre d’Abbe égal à 55,2) et SF5 ou N-SF5 (indice égal à 1,6727 et nombre d’Abbe égal à 32,2).

Ces deux assemblages correctement calculés peuvent provoquer un chromatisme axial en conservant les caractéristiques optiques principales de l’objectif initial comme l’angle de champ et la longueur focale.

Dans un mode de réalisation de l'invention permettant d'accroître ou de réduire la portée de l'estimation de l'éloignement du dispositif imageur, l'objectif complémentaire peut modifier sensiblement les caractéristiques principales de l'objectif initial, notamment l’angle de champ et la longueur focale, sous réserve que le dispositif imageur avec l'objectif complémentaire soit en mesure d'acquérir une image au niveau du plan du détecteur.

Par souci de simplification concernant la réalisation du l’objectif complémentaire, il sera avantageux que les deux lentilles soient collées.

Dans l’exemple de la figure 2, les deux lentilles 9, 10 sont collées l’une à l’autre par des faces respectives 11 qui sont parallèles.

En particulier, l’une des deux lentilles 10 est plan-convexe, et l’autre des deux lentilles 9 est plan-concave, avec des courbures identiques en valeur absolue pour la face convexe de la lentille plan-convexe et pour la face concave de la lentille plan-concave, et les deux lentilles sont collées par leurs faces respectives 11 convexe et concave, de façon à constituer une lame à faces parallèles 12. Ce mode de réalisation a l’avantage de réduire fortement les aberrations optiques.

En variante, l’objectif complémentaire peut être formé par deux lentilles qui sont collées l’une à l’autre par des faces respectives qui sont planes.

De préférence, l’objectif complémentaire 2 est placé le plus près possible de l’objectif initial 3, afin de limiter l'aberration chromatique latérale.

Une autre façon de limiter l’aberration chromatique latérale est d’ouvrir au maximum le diaphragme de l’objectif initial 3 afin que l’ouverture de l’ensemble objectif initial/objectif complémentaire soit limité par l’objectif complémentaire.

Une variante de l’objectif complémentaire illustré sur la figure 2 est représentée sur la figure 3. Elle consiste à réduire l'aberration d’astigmatisme qui peut apparaître pour des angles de champ importants, en modifiant légèrement une des deux faces planes de la lame 12 en lui donnant une légère courbure. Ainsi, les faces 13 et 14 de la lame 12 présentent des courbures différentes.

Dans un mode de réalisation préférentiel mais non limitatif, pour garantir une précision d'estimation de l'éloignement suffisante dans une portée définie par un cahier des charges et pour un objectif initial standard dont les caractéristiques optiques sont connues, les paramètres optiques de l’objectif complémentaire peuvent être optimisés spécifiquement pour cet objectif initial standard à l'aide d'un modèle de performance caractérisant la précision d'estimation de l'éloignement. Par exemple, ce modèle peut être celui proposé dans le document WO 2014/060657 A1.

Dans le but d’accroître la performance du dispositif imageur pour obtenir l'éloignement d’objets plus éloignés, il est avantageux de disposer devant l’objectif de l’appareil de prise de vue des moyens optiques permettant un grossissement de l’image. Il est donc opportun de concevoir un dispositif optique qui génère à la fois le chromatisme axial et le grossissement de l’image.

Dans un exemple de réalisation illustré sur la figure 4, on pourra remplacer le doublet de lentilles des figures 2 et 3 par des moyens optiques composés d’une combinaison de plusieurs lentilles permettant à la fois le chromatisme axial et le grossissement de l’image, par exemple un premier élément optique 15 et un deuxième élément optique 16 disposés devant l’objectif initial 3.

Dans un mode de réalisation préférentiel et non limitatif pouvant convenir à tout type de dispositif imageur, l’objectif complémentaire comprend au moins une lentille diffractive, dont les sauts de phase induisent le chromatisme axial nécessaire.

Ce mode de réalisation permet d'atteindre des valeurs de chromatisme importantes en limitant l'épaisseur du moyen optique global. Il permet également, en fonction des paramètres du composant d'induire un chromatisme négatif (distance focale de la couleur bleue plus grande que la distance focale de la couleur rouge) ou positif (distance focale de la couleur rouge plus grande que la distance focale de la couleur bleue).

Dans un exemple particulier de réalisation illustré sur la figure 5, l’objectif complémentaire est composé d'une lentille réfractive 18 et d'une lentille diffractive 19, les deux lentilles étant collées sur leurs faces planes 21, et le tout formant un composant optique de puissance nulle à la longueur d'onde nominale de la lentille diffractive.

Une variante de l’objectif complémentaire précédent consiste à réduire les aberrations introduites par cet objectif en utilisant des surfaces asphériques pour au moins l'une des surfaces de deux lentilles. L’unité de traitement est reliée à l’appareil de prise de vue et comprend un processeur et des moyens de stockage d’instructions de programme. L’unité de traitement peut être intégrée avec l’appareil de prise de vue dans un smartphone, une tablette, un appareil photographique, etc., ou être distant de l’appareil de prise de vue et relié à ce dernier par une liaison filaire ou sans fil (liaison radio par exemple). Dans ce cas, l’unité de traitement peut être intégrée par exemple à un ordinateur fixe ou portable.

Le fonctionnement de l’invention est expliqué en détail dans ce qui suit. L’objectif complémentaire 2 est placé devant l’objectif initial 3 de l’appareil de prise de vue qui génère alors une image 4. Cette image 4 est traitée par au moins un traitement d'estimation locale de l'éloignement 5, qui génère une carte d'éloignement de la scène 1. Le chromatisme réduisant la qualité de l'image, un traitement de restauration 7 peut être appliqué afin de restaurer une image de qualité similaire à celle de l’image standard sans l’objectif complémentaire.

Dans un mode de réalisation préférentiel mais non limitatif, les images traitées par l’unité de traitement correspondent aux données brutes générées par l’appareil de prise de vue (format RAW), autrement dit le format image pour lequel l’image a subi le minimum de traitement (tels que le dématriçage, la balance des blancs, le débruitage, la compression, etc).

Les images produites par l'ensemble objectif complémentaire/objectif initial sont des images couleurs dont chaque couleur présente un flou de défocalisation variable avec l'éloignement de la scène.

Dans un mode de réalisation de l’invention, le traitement de cette image vise à estimer le flou de défocalisation d'au moins deux des couleurs pour en déduire l'éloignement.

En particulier, les instructions de programme sont adaptées pour exécuter les étapes suivantes : /a/ obtenir des estimations de la défocalisation pour au moins deux couleurs de l'image de la scène, séparément pour chaque couleur ou de manière conjointe pour plusieurs couleurs, localement pour des éléments séparés dans la scène, lesdites estimations de la défocalisation constituant lesdites informations de la défocalisation ; et /b/ séparément pour chaque élément de la scène, déduire une valeur d’éloignement dudit élément de la scène, à partir des estimations de la défocalisation obtenues pour plusieurs couleurs et pour ledit élément de la scène.

Dans un mode de réalisation particulier, lors de l’étape /a/, la défocalisation des couleurs de l'image est caractérisée par le calcul du rapport de contraste relatif entre les couleurs, comme dans l'article Tisse, C. L., Nguyen, H. P., Tessières, R., Pyanet, M., & Guichard, F. (2008, August). Extended depth-of-field (EDoF) using sharpness transport across colour channels. In Optical Engineering+ Applications (pp. 706105-706105). International Society for Optics and Photonics.

Dans un autre mode de réalisation particulier, lors de l’étape /a/, l'estimation de la défocalisation est réalisée séparément sur au moins deux couleurs à l'aide d'opérations de convolution de chaque couleur par des fonctions de flou connues et le calcul du rapport local des gradients de la couleur ainsi obtenue avec la couleur d'origine, telle que l'approche proposée dans l'article Zhuo, S., & Sim, T. (2011). Defocus map estimation from a single image. Pattern Récognition, 44(9), 1852-1858.

Dans autre mode de réalisation particulier, lors de l’étape /a/, l'estimation de la défocalisation sur une couleur est réalisée par le calcul d’une probabilité a posteriori d'une fonction de flou ou d'un ensemble de fonctions de flou de défocalisation si plus d'une couleur est utilisée, pour un ensemble de zones de l'image, la fonction de flou ou l'ensemble de fonctions de flou qui maximise cette probabilité étant alors sélectionné pour chaque zone de calcul, comme proposé dans l'article de P. Trouvé, F. Champagnat, G. Le Besnerais, J. Sabater, T. Avignon et J. Idier, Depth estimation using chromatic aberration and a depth from defocus approach, Applied Optics, 2013.

En particulier, l'ensemble des niveaux de flou de défocalisation de l'ensemble objectif complémentaire/objectif initial pour un réglage donné de cet ensemble peut être défini comme une famille finie de flou pré-étalonnée. Par exemple, un objet de référence peut-être placé à une distance connue, ou valeur d’éloignement connue, de l'ensemble objectif complémentaire/objectif initial, une image de cet objet est acquise et la défocalisation de l'objet est mesurée sur les trois couleurs R, V, B et enregistrée en étant associée à la valeur d'éloignement connue. La procédure est reproduite pour un ensemble de valeurs d'éloignement différentes.

Dans un autre mode de réalisation particulier, l'ensemble des niveaux de flou de défocalisation de l'ensemble objectif complémentaire/objectif initial pour un réglage donné de cet ensemble peut être défini par un modèle mathématique dépendant de paramètres, les paramètres étant estimés à l'aide de quelques mesures de flou à différentes valeurs d'éloignement, ce qui permet de limiter le nombre de mesures de fonctions de flou de défocalisation, comme dans H. Tang et K. N. Kutulakos, What Does an Aberrated Photo Tell Us About the Lens and the Scene? International Conférence on Computational Photography, 2013.

Dans un mode de réalisation particulier, la mesure expérimentale du flou est réalisée en utilisant un algorithme d'estimation de flou pour un objet connu comme proposé dans M. Delbracio, P. Musé, A. Almansa, J-M. Morel, The non-parametric sub-pixel local point spread function estimation is a well posed problem, International Journal of Computer Vision, 2012.

Dans un autre mode de réalisation particulier, l'ensemble des niveaux de flou de défocalisation de l'ensemble objectif complémentaire/objectif initial pour un réglage donné de cet ensemble peut être défini par un logiciel de conception optique.

Dans un autre mode de réalisation de l’invention, les instructions de programme sont adaptées pour estimer des valeurs d'éloignement des éléments de la scène directement à partir de l’image de la scène formée à travers l’objectif complémentaire et l’objectif initial, par un traitement issu d’un apprentissage statistique d’un lien entre des images de scènes formées à travers l’objectif complémentaire et l’objectif initial et des cartes d’éloignement correspondant respectivement auxdites scènes. L'avantage de cette approche est de ne pas nécessiter de procédure d’estimation de flou, puisque c’est directement la relation entre les images saisies et la valeur d’éloignement qui fait l’objet de l’apprentissage.

En particulier, une base de données constituée d'un grand nombre d'images acquises par l'ensemble objectif complémentaire/objectif initial est réalisée, chaque image est associée à une carte d’éloignement obtenue par un dispositif de mesure de référence, un algorithme d'apprentissage de type réseau de neurones profonds étant ensuite utilisé pour apprendre directement la relation entre les images de la base de données et les cartes d’éloignement correspondantes, comme proposé dans l'article de T. Dumas, P. Trouvé, B. Le Saux, Réseaux de neurones profondeurs pour l'estimation de la profondeur grâce au flou de défocalisation, communication au Colloque GRETSI, 2015.

Les instructions de programme sont adaptées pour corriger un flou de l’image saisie qui est relatif à l’une des couleurs, causé par la défocalisation pour ladite couleur, en fonction de l’un au moins parmi l’estimation de la défocalisation pour ladite couleur et un contenu fréquentiel d’image saisi pour l’une au moins des autres couleurs.

Dans un mode de réalisation particulier, ce traitement repose sur le fait que, grâce au chromatisme axial de l’ensemble objectif complémentaire/objectif initial, pour chaque valeur d’éloignement, une des couleurs de l'image est plus nette que les autres. Il est alors possible de s'appuyer sur cette couleur pour restaurer la netteté des autres couleurs floues. Pour cela, les hautes fréquences de la couleur la plus nette sont ajoutées aux couleurs les plus floues, rehaussant ainsi la netteté dans ces couleurs. En particulier, le choix de la couleur la plus nette peut se faire à partir d'une mesure de netteté effectuée couleur par couleur comme dans l'article de F. Guichard, H. Nguyen, R. Tessières M. Pyanet, I. Tarchouna et F. Cao, Extended depth of filed using sharpness transport across color channels, SPI 2009. Dans un autre mode de réalisation, le choix de la couleur la plus nette utilise la carte d’éloignement estimée préalablement. Pour chaque élément de la scène, la couleur R, V ou B dont le plan de mise au point est le plus proche de la valeur d’éloignement estimée est sélectionné comme la couleur la plus nette, comme dans l'article de P. Trouvé, F. Champagnat, G. Le Besnerais, J. Sabater, T. Avignon et J. Idier, Depth estimation using chromatic aberration and a depth from defocus approach, Applied Optics, 2013.

Les valeurs d’éloignement obtenues pour les éléments de la scène permettent ainsi de constituer une carte d’éloignement de la scène qui peut être utilisée pour de multiples applications : représentation 3D de la scène, scan 3D, utilisation en imagerie médicale, pour la surveillance, etc.

Un kit comprenant l’objectif complémentaire, les moyens de fixation amovible et des moyens pour enregistrer les instructions de programme dans l’unité de traitement peut être vendu séparément de l’appareil de prise de vue, par exemple en tant qu’accessoire de l’appareil de prise de vue.

En outre, un même kit peut s’adapter à des modèles différents d’appareils de prise de vue.

Concernant les moyens pour enregistrer les instructions de programme dans l’unité de traitement, ils peuvent par exemple se présenter sous la forme d’une autorisation d’accès à une plate-forme permettant de télécharger via internet une application ou un logiciel contenant lesdites instructions de programme, ou par exemple sous la forme d’un cédérom contenant lesdites instructions de programme.

Dans tout ce qui a été décrit précédemment, il est fait référence à l’acquisition, au stockage et au traitement d’une image mais il est bien entendu possible d’appliquer l’invention à plusieurs images.

En particulier, dans un mode de réalisation de l’invention, le traitement adapté pour l'estimation de l'éloignement de la scène fusionne les informations d'éloignement obtenues sur la base d'informations de défocalisation des couleurs, avec celles obtenus à l'aide d'algorithmes d'estimation de l'éloignement développés pour des dispositifs imageurs standards, comme par exemple la carte d'éloignement obtenue en utilisant plusieurs images successives de la scène par une approche de SFM (Structure from Motion) proposée dans l'article Sturm, P., and Triggs, B. "A factorization based algorithm for multi-image projective structure and motion." European conférence on computer vision. Springer Berlin Heidelberg, 1996.

Dans un autre mode de réalisation de l'invention, le traitement adapté pour l'estimation de l'éloignement de la scène sur la base d'informations de défocalisation des couleurs utilise plusieurs images de la scène acquises à des instants différents.

Encore dans un autre mode de réalisation de l'invention, le traitement d'estimation des cartes d'éloignement est utilisé sur un ensemble d'images acquises successivement par le dispositif imageur, ce qui produit une séquence de cartes d'éloignement. Cette séquence peut suivant les applications être sauvegardée comme une séquence vidéo.

Claims

REVENDICATIONS

1. Kit pour permettre à un dispositif imageur d’acquérir, en plus d’une image (4) d’une scène imagée (1) qui est formée dans un plan perpendiculaire à une direction de prise de vue, des valeurs d’éloignement qui sont relatives à des éléments de la scène (1), ledit éloignement étant considéré selon la direction de prise de vue, le kit comprenant : - un objectif complémentaire (2), qui est destiné à être maintenu devant un objectif initial (3) d’un appareil de prise de vue en couleurs appartenant au dispositif imageur, et qui est adapté pour augmenter un chromatisme axial de l’image (4) lorsque ladite image (4) est formée à travers l’objectif complémentaire (2) et l’objectif initial (3), par rapport à l’image formée à travers l’objectif initial (3) sans l’objectif complémentaire (2) ; - des moyens de fixation adaptés pour maintenir l’objectif complémentaire (2) devant l’objectif initial (3) de l’appareil de prise de vue, selon un alignement optique dudit objectif complémentaire (2) par rapport à l’objectif initial (3), et de sorte que l’objectif complémentaire (2) soit amovible par rapport à l’appareil de prise de vue ; et - des moyens pour enregistrer dans une unité de traitement appartenant au dispositif imageur et reliée à l’appareil de prise de vue des instructions de programme permettant, lorsque lesdites instructions sont traitées par un processeur de l’unité de traitement, d’obtenir, séparément pour chaque élément de la scène (1), une valeur d’éloignement dudit élément de la scène (1), sur la base d’informations d’une défocalisation des couleurs de l’image (4) de la scène imagée (1). l’augmentation du chromatisme axial produisant des variations de la défocalisation entre des couleurs différentes, pour un même élément de la scène (1), qui sont supérieures par rapport à l’utilisation de l’appareil de prise de vue sans l’objectif complémentaire (2), et les valeurs d’éloignement obtenues pour les éléments de la scène (1) constituant une carte d’éloignement (6) de la scène (1).
2. Kit selon la revendication 1, dans lequel l’objectif complémentaire (2) est adapté en outre pour augmenter un grossissement de l’image (4) lorsque ladite image (4) est formée à travers l’objectif complémentaire (2) et l’objectif initial (3), par rapport à l’image formée à travers l’objectif initial (3) sans l’objectif complémentaire (2).
3. Kit selon la revendication 1 ou 2, dans lequel l’objectif complémentaire (2) comprend deux lentilles (9, 10) formées dans des verres différents, lesdits verres ayant des valeurs respectives d’indice de réfraction qui sont sensiblement identiques pour une longueur d’onde de lumière visible, et ayant des valeurs différentes de nombre d’Abbe.
4. Kit selon la revendication 3, dans lequel les deux lentilles (9, 10) sont collées l’une à l’autre par des faces respectives (11) desdites deux lentilles qui sont parallèles.
5. Kit selon la revendication 4, dans lequel l’une (10) des deux lentilles est plan-convexe, et l’autre (9) des deux lentilles est plan-concave, avec des courbures identiques en valeur absolue pour la face convexe de la lentille plan-convexe et pour la face concave de la lentille plan-concave, et les deux lentilles sont collées par leurs faces respectives (11) convexe et concave, de façon à constituer une lame à faces parallèles (12).
6. Kit selon la revendication 1 ou 2, dans lequel l’objectif complémentaire comprend au moins une lentille diffractive.
7. Kit selon la revendication 6, dans lequel l’objectif complémentaire comprend une lentille diffractive (19) et une lentille réfractive (18) agencées pour former un doublet ayant une valeur nulle de puissance optique, pour une longueur d’onde nominale de la lentille diffractive.
8. Kit selon l’une quelconque des revendications 1 à 7, dans lequel les instructions de programme sont adaptées pour exécuter les étapes suivantes : /a/ obtenir des estimations de la défocalisation pour au moins deux couleurs de l’image (4) de la scène (1), localement pour des éléments séparés dans la scène (1), lesdites estimations de la défocalisation constituant lesdites informations de la défocalisation ; et /b/ séparément pour chaque élément de la scène (1), déduire une valeur d’éloignement dudit élément de la scène (1), à partir des estimations de la défocalisation obtenues pour plusieurs couleurs et pour ledit élément de la scène (1).
9. Kit selon l’une quelconque des revendications 1 à 7, dans lequel les instructions de programme sont adaptées pour estimer des valeurs d'éloignement des éléments de la scène (1) directement à partir de l’image (4) de la scène (1) formée à travers l’objectif complémentaire (2) et l’objectif initial (3), par un traitement issu d'un apprentissage statistique d’un lien entre des images de scènes formées à travers l’objectif complémentaire et l’objectif initial et des cartes d’éloignement correspondant respectivement auxdites scènes, et en prenant en compte lesdites informations de la défocalisation de manière intrinsèque lors de la construction du traitement par apprentissage.
10. Dispositif imageur comprenant : - un appareil de prise de vue en couleurs comprenant un objectif initial et des moyens de stockage numérique d’une image ou d’une séquence d’images (3), par exemple ledit appareil de prise de vue pouvant être intégré à un smartphone ; - un objectif complémentaire (2), qui est monté de manière amovible devant l’objectif initial (3) de l’appareil de prise de vue, et qui est adapté pour augmenter un chromatisme axial d’une image (4) lorsque ladite image (4) est formée à travers l’objectif complémentaire (2) et l’objectif initial (3), par rapport à l’image formée à travers l’objectif initial (3) sans l’objectif complémentaire (2) ; - une unité de traitement relié à l’appareil de prise de vue et comprenant un processeur et des moyens de stockage d’instructions de programme, lesdites instructions de programme permettant, lorsqu’elles sont traitées par le processeur, d’obtenir, séparément pour chaque élément de la scène (1), une valeur d’éloignement dudit élément de la scène (1), sur la base d’informations d’une défocalisation des couleurs de l’image (4) de la scène imagée (1), l’augmentation du chromatisme axial produisant des variations de la défocalisation entre des couleurs différentes, pour un même élément de la scène (1), qui sont supérieures par rapport à l’utilisation de l’appareil de prise de vue sans l’objectif complémentaire (2), et les valeurs d’éloignement obtenues pour les éléments de la scène (1) constituant une carte d’éloignement (6) de la scène (1).
11. Procédé pour acquérir des valeurs d’éloignement relatives à des éléments d’une scène (1), comprenant les étapes suivantes : - fournir un appareil de prise de vue en couleurs comprenant un objectif initial (3) et des moyens de stockage numérique d’une image ou d’une séquence d’images, par exemple ledit appareil de prise de vue pouvant être intégré à un smartphone ; - fixer un objectif complémentaire (2) devant l’objectif initial (3) de l’appareil de prise de vue, l’objectif complémentaire (2) augmentant un chromatisme axial d’une image (4) de la scène (1) saisie par l’appareil de prise de vue lorsque ladite image (4) est formée à travers l’objectif complémentaire (2) et l’objectif initial (3), par rapport à l’image formée à travers l’objectif initial (3) sans l’objectif complémentaire (2) ; et - fournir une unité de traitement relié à l’appareil de prise de vue et comprenant un processeur, le procédé comprenant en outre l’étape suivante exécutée dans l’unité de traitement : -obtenir, séparément pour chaque élément de la scène (1), une valeur d’éloignement dudit élément de la scène (1), sur la base d’informations d’une défocalisation des couleurs de l’image (4) de la scène imagée (1), l’augmentation du chromatisme axial produisant des variations de la défocalisation entre des couleurs différentes, pour un même élément de la scène (1), qui sont supérieures par rapport à l’utilisation de l’appareil de prise de vue sans l’objectif complémentaire (2), et les valeurs d’éloignement obtenues pour les éléments de la scène (1) constituant une carte d’éloignement (6) de la scène (1).