FR3132968A1

FR3132968A1 - Procédé de calibrage d’une caméra plénoptique

Info

Publication number: FR3132968A1
Application number: FR2201564A
Authority: FR
Inventors: Ahmed Nasreddinne BENAICHOUCHE; Franck Michaud
Original assignee: Safran SA
Current assignee: Safran SA
Priority date: 2022-02-22
Filing date: 2022-02-22
Publication date: 2023-08-25

Abstract

L’invention décrit un procédé de calibrage d’une caméra plénoptique, comprenant une étape S1 d’acquisition d’un point objet réel (P_obj_r) d’une mire de calibrage par la caméra plénoptique, une étape S6 de détermination d’un ensemble de rayons lumineux objets (60), à partir de rayons lumineux images (50) associés et de paramètres de projection (Par_Proj) d’un modèle de projection de la caméra plénoptique, une étape S7 de détermination d’un point objet théorique (P_obj_th) associé au point objet réel (P_obj_r), le point objet théorique (P_obj_th) correspondant à un barycentre de l’ensemble des intersections des rayons lumineux objets (60) avec la mire de calibrage, et une étape S8 de calcul d’une erreur de calibrage (Δcal) en fonction d’une position du point objet théorique (P_obj_th) et de la position du point objet réel (P_obj_r). Figure pour l’abrégé : Figure 6

Description

Procédé de calibrage d’une caméra plénoptique

DOMAINE DE L'INVENTION

La présente invention concerne le domaine des caméras plénoptiques. L’invention concerne en particulier le domaine des procédés de calibrage de caméras plénoptiques adaptées pour être utilisées dans la métrologie tridimensionnelle.

ETAT DE LA TECHNIQUE

Une caméra plénoptique permet de représenter en trois dimensions un objet ou une scène à partir d’un ensemble d’images en deux dimensions de l’objet ou de la scène.

Une caméra plénoptique, ainsi qu’illustrée en , comprend une optique principale 1, un capteur photosensible 3, et une matrice (ou réseau) de microlentilles 2 disposée entre l’optique principale 1 et le capteur 3.

L’optique principale 1, telle qu’une lentille, reçoit des rayons lumineux provenant d’un objet. Le capteur photosensible 3 est situé à proximité de la matrice de microlentilles 2, et comprend une surface de détection formée d’une pluralité de pixels disposés en une matrice de pixels.

Ainsi, le centre de chaque microlentille 21 reçoit tous les rayons lumineux issus du point objet conjugué de ce centre, ces rayons présentant des directions différentes. Les paramètres de la caméra, en particulier la distance focale de l’optique principale et celle des éléments optiques, sont choisis de manière à ce que les images formées par les éléments optiques sur le capteur photosensible ne se recouvrent pas.

La microlentille 21 répartit sur plusieurs pixels du capteur photosensible 3 les rayons de directions différentes. Les pixels recevant tous les rayons lumineux issus d'une même microlentille 21 forment un groupe appelé macropixel 31. Un macropixel 31 comprend au moins deux pixels s’étendant dans la direction horizontale et/ou dans la direction verticale.

L'image prise par le capteur contient donc l'information suffisante pour former des images vues selon des points de vue différents. Une caméra plénoptique permet ainsi, avec un seul système compact, de faire un échantillonnage spatial, en position, et angulaire, en orientation, de la distribution des rayons lumineux dans l’espace. Une caméra plénoptique capte ainsi l’information de profondeur du champ lumineux.

Le document WO 2017/042494 décrit une caméra plénoptique présentant un agencement de microlentilles modifié pour augmenter la résolution de la caméra plénoptique, c’est-à-dire pour obtenir un échantillonnage plus dense du volume observé.

L’approximation classique de l’optique géométrique permet de traiter la grande majorité des cas d’étude en imagerie non cohérente et quand les distances caractéristiques sont grandes devant la longueur d’onde de la lumière.

L’approximation de l’optique géométrique remplace la problématique de propagation d’onde électromagnétique par un formalisme équivalent de tracé de rayon lumineux. La longueur d’onde est négligée dans les équations de Maxwell de propagation de l’onde lumineuse. Le trajet de la lumière dans un milieu vérifie l’équation eikonale. Les champs électromagnétiques sont remplacés par des fonctions scalaires, et un rayon lumineux ne garde que l’information de la direction de la propagation de l’énergie : les effets de déphasage dans l’amplitude de l’onde ne sont pas pris en compte et les interférences et la diffraction sont ainsi négligés.

Le front d’onde géométrique issu d’un point objet correspond à la surface d’égale phase de l’onde lumineuse issue du point objet, tous les points du front d’onde géométrique ayant mis le même temps de parcours depuis le point objet.

Dans le cadre de l’optique géométrique, la direction des rayons optiques est perpendiculaire à la direction du gradient de la surface du front d’onde géométrique. La direction de propagation de l’onde, qui est représentée par le tracé des rayons optiques, est orthogonale à la surface de front d’onde en tout point de cette surface.

Lorsque les conditions de Gauss sont respectées, c’est-à-dire à proximité de l’axe optique, donc lorsque les rayons présentent un angle d’incidence faible par rapport à l’axe optique et que le point d’incidence est proche de l’axe optique, l’approximation de Gauss est valable et permet de simplifier les relations mathématiques de l’optique géométrique.

Dans l’approximation de Gauss, les courbures et épaisseurs des optiques sont négligées, le système optique est considéré comme complètement stigmatique, et est uniquement caractérisé par sa focale et les lois de conjugaison de Descartes valables de plan à plan.

Dans l’approximation de Gauss, un point source objet P_obj émet une série de rayon lumineux se propageant en amont du système optique avec un front d’onde d’entrée S_obj. Le front d’onde d’entrée S_obj, après transformation par le système optique représenté par une surface S_lens, résulte en un front d’onde de sortie S_id. Tous les rayons en aval du système optique convergent vers un point image P_im. En d’autres termes, un objet ponctuel résulte en une image ponctuelle. Le front d’onde en sortie d’une optique principale de type lentille convergente S_id est alors sphérique. La surface du front d’onde de sortie S_id correspond à une sphère de référence idéale, centrée sur le point image P_im, ainsi qu’illustré en .

Néanmoins, un système optique n’est en réalité pas stigmatique et conduit à des aberrations optiques. Ainsi, un point objet P_obj émettant une série de rayon lumineux, après transformation par le système optique, ne résulte pas en un point image P_im où convergent tous les rayons, mais en une zone image d’intersection de rayons Z_im plus ou moins étalée. En d’autres termes, l’image d’un objet ponctuel n’est pas un point, mais une zone. Ce phénomène est visible sur les zooms sur les zones d’intersection des rayons lumineux de la .

Le front d’onde géométrique S_th en sortie du système optique n’est alors pas parfaitement sphérique, mais est au contraire déformé par rapport à la sphère de référence idéale S_id d’un système optique sans aberrations. Ainsi qu’illustré en , le front d’onde de sortie S_th peut être décomposé en un front d’onde idéal S_id d’un système optique sans aberrations, et en une fonction d’aberration W.

La fonction d’aberration W est caractéristique d’une surface quelconque qui correspond à l’écart de phase du front d’onde en sortie du système optique S_th par rapport au front d’onde idéal S_id. Autrement dit, l’écart de la surface du front d’onde S_th à la surface sphérique idéale S_id correspond à l’aberration de l’optique. La zone d’étalement d’image Z_im résultant de l’intersection des rayons issus d’un point objet ponctuel P_obj en sortie du système optique est d’autant plus large que l’aberration de l’optique est grande.

La fonction d’aberration W peut être décomposée en des aberrations primaires et des aberrations d’ordre supérieur. Les aberrations primaires comprennent l’aberration sphérique, l’aberration de coma, l’astigmatisme, la courbure de champ de Petzval, et la distorsion.

Les aberrations d’ordre supérieur comprennent par exemple l’aberration optique de profondeur, appelée distorsion de profondeur. La illustre le tracé des rayons d’un ensemble de points objets P_obj appartenant au même plan objet, à travers une lentille 1 présentant une aberration optique de profondeur.

Du fait de la distorsion de profondeur, l’image d’un plan à travers l’optique principale n’est pas un plan, mais une surface courbée. La surface courbée est la surface image du plan objet, issue de l’hypothèse d’approximation de l’intersection des rayons. En d’autres termes, la surface courbée constitue l’ensemble des points de l’espace image P_im correspondant aux images de l’ensemble des points objets P_obj par la lentille 1.

Lorsque les conditions de Gauss sont respectées, c’est-à-dire à proximité de l’axe optique pour des angles d’incidence de quelques degrés seulement, les aberrations d’ordre supérieur peuvent être négligées devant les aberrations primaires. En revanche, lorsque les rayons s’écartent de l’axe optique, par exemple pour des angles d’incidence par rapport à l’axe optique allant de quelques degrés jusqu’à environ 25 degrés, les aberrations d’ordre supérieur ne peuvent plus être négligées.

La fonction d’aberration W peut être décomposée sous la forme d’une série de polynômes, telle que la série de polynômes de Seidel, ou la série de polynômes de Zernike.

Les aberrations primaires correspondent aux aberrations de troisième ordre de la série de polynôme, c’est-à-dire à un développement de la fonction d’aberration W jusqu’à l’ordre 3. Ce développement est valable lorsque les conditions de Gauss sont respectées.

Les aberrations d’ordre supérieur correspondent aux aberrations de cinquième ordre de la série de polynômes, c’est-à-dire à un développement de la fonction d’aberration W au-delà de l’ordre 3, en particulier jusqu’à l’ordre 5. Ce développement représente les aberrations dans le cas où les conditions de Gauss ne sont pas respectées.

Les caméras plénoptiques peuvent être utilisées dans la reconstruction tridimensionnelle, pour la métrologie tridimensionnelle. Elles permettent, par un moyen optique sans contact, de garantir les mesures en vue de contrôler la qualité des produits issus d’un processus de fabrication, par exemple en identifiant les défauts de tolérance géométrique d’un produit en sortie de chaîne de fabrication, etc.

Une caméra plénoptique utilisée pour la métrologie tridimensionnelle doit être calibrée avec une grande précision, afin de conduire à une reconstitution tridimensionnelle de l’objet à contrôler la plus précise possible.

Des procédés connus de calibrage d’une caméra plénoptique sont basés sur la théorie des tracés de rayons. Cette approche est basée sur l’optique géométrique, et est relativement simple à mettre en œuvre.

Certains procédés connus de calibrage négligent les aberrations optiques du système optique, en particulier de l’objectif d’entrée, de la caméra plénoptique. Ces procédés visent principalement à calibrer l’alignement entre la matrice des microlentilles et le capteur de la caméra. Ces procédés de calibrage peuvent être utilisés dans les applications de génération d’images de points de vue et de mises au point variés. Mais ils ne permettent pas un calibrage assez précis pour les applications de métrologie.

D’autres procédés connus de calibrage d’une caméra plénoptique modélisent la distorsion du système optique de la caméra plénoptique, qui est une aberration primaire de la lentille principale. Par exemple, le modèle de la caméra plénoptique décrit dans le document Ihrke, Ivo, John Restrepo, and Lois Mignard-Debise. "Principles of Light Field Imaging: Briefly revisiting 25 years of research." IEEE Signal Processing Magazine 33.5 (2016), prend en compte la distorsion radiale. La précision du calibrage est améliorée par rapport à un modèle ne prenant en compte aucune distorsion, mais reste loin de la précision requise pour des applications métrologiques. En particulier, les images de sous-vues présentes d’autres aberrations non-radiales. Le document WO 2017/198945 A1 propose également un procédé de reconstruction tridimensionnelle à l’aide d’une caméra plénoptique, prenant en compte la distorsion radiale de l’optique d’entrée dans le modèle de la caméra plénoptique.

D’autres modèles de calibrage d’une caméra plénoptique prennent en compte la distorsion radiale et la distorsion tangentielle, qui sont également des aberrations primaires du système optique, qui résultent d’un mauvais alignement entre le capteur et l’optique d’entrée. Le calibrage résultant reste trop imprécis pour être utilisé dans applications métrologiques.

Les procédés connus de calibrage décrits ci-dessus ne tiennent pas compte des aberrations optiques d’ordre supérieur, qui ont un impact sur le calibrage d’une caméra plénoptique. Par conséquent, la précision du calibrage et de la reconstruction tridimensionnelle ultérieure par la caméra plénoptique est insuffisante pour les applications métrologiques. Ces procédés connus ne permettent donc pas d’obtenir des reconstructions 3D de qualité métrologique.

La théorie de la diffraction permet de modéliser les aberrations optiques d’ordre supérieur. Néanmoins, cette théorie de la diffraction est très complexe à mettre dans œuvre. Par conséquent, le calibrage d’une caméra plénoptique ne s’effectue pas avantageusement dans le cadre de la théorie de la diffraction.

Enfin, certains modèles existants de calibrage basés sur le tracé de rayons prennent en compte l’aberration optique de profondeur, ou distorsion de profondeur, qui est une aberration d’ordre supérieur.

Une première catégorie de modèles d’estimation de la distorsion de profondeur est constituée des modèles paramétriques. Ces modèles paramétriques sont basés sur l’hypothèse que l’image d’une source ponctuelle via la lentille principale est un point dans l’espace intermédiaire.

Or, il est connu que cette hypothèse d’intersection des rayons est fausse en cas de présence d’aberration optique. Cela est mis en évidence dans les zooms de la au niveau de l’intersection des rayons. En effet, les rayons provenant d’un point objet et qui sont réfractés par une lentille ne s’intersectent pas en un seul point image, mais en une zone image d’intersection de rayons. Par conséquent, cette hypothèse est une source d’erreur de ces modèles.

Par exemple, le document « On the Calibration of Focused Plenoptic Cameras », Johannsen Ole et al, Heidelberg Collaboratory for Image Processing, Dagstuhl 2012 Seminar on time-of-flight imaging an GCPR 2013 workshop on imaging new modalities, décrit un procédé de calibration. Ce document prend pour hypothèse l’utilisation d’un modèle « lentille mince » pour considérer que tous les rayons provenant d’un même point objet s’intersectent après avoir été imagés par l’optique d’entrée de la caméra plénoptique. L’utilisation de ce modèle entraîne une erreur concernant l’estimation du point virtuel à partir de rayons qui ne s’intersectent pas, et une erreur due à l’ensemble des aberrations optiques non prises en compte dans le modèle « lentille mince ». Le modèle de distorsion de profondeur utilisé dans ce document, qui est une sphère dont le rayon varie linéairement en fonction de la profondeur, ne se base que sur des observations expérimentales et ne garantit aucune généralisation sur d’autres optiques. Ce document se propose donc de décrire un modèle de caméra simplifié, qui ne permet pas de réaliser un calibrage précis en tenant compte des aberrations d’ordre supérieur.

De même, le document « Metric calibration of a focused plenoptic camera based on a 3D calibration target », N. Zeller et al, Karlsruhe University of Applied Sciences, ISPRS annals of photogrammetry, remote sensing and spatial information sciences, se base aussi sur un modèle « lentille mince » qui suppose que tous les rayons provenant d’un même point objet s’intersectent après avoir été imagés par l’optique d’entrée de la caméra plénoptique. Les aberrations traitées ne sont pas non plus des aberrations d’ordre supérieur. Ce document se propose donc également de décrire un modèle de caméra simplifié, qui ne permet pas de réaliser un calibrage précis en tenant compte des aberrations d’ordre supérieur.

Par ailleurs, les modèles paramétriques d’estimation de la distorsion de profondeur considèrent que la courbure de la surface qui approxime les points de l’espace image varie linéairement avec la profondeur. Cette approximation ne correspond pas à la réalité de la loi de conjugaison entre la courbure de la surface image et la profondeur, et génère ainsi des erreurs supplémentaires. Les modèles paramétriques ne conduisent donc pas à une précision de calibrage suffisante pour des applications métrologiques.

Une deuxième catégorie de modèles d’estimation de la distorsion de profondeur est constituée des modèles non paramétriques, reposant sur des tables de correspondance. C’est le cas par exemple du modèle décrit dans Meng, Lingfei, et al. "Object space calibration of plenoptic imaging systems." U.S. Patent No. 9,918,077. 13 Mar. 2018. Une table de correspondance est construite entre chaque pixel du capteur et les caractéristiques de position et de direction du rayon qui lui correspond dans l’espace objet.

Néanmoins, ces modèles non paramétriques à base de tables de correspondance dépendent fortement de la précision de la détection des points de la mire de calibrage sur le capteur et des différents bruits de mesures, car la table de correspondance est construite directement à partir des mesures. De plus, la résolution et la précision de la reconstruction 3D dépend de la densité de données présentes dans la table de correspondance. Enfin, ces méthodes n’offrent pas la possibilité d’analyse des performances du système en fonction des différents paramètres issus du calibrage. Les modèles non paramétriques ne conduisent donc pas non plus à une précision de calibrage suffisante pour des applications métrologiques.

Un but de l’invention est de proposer un procédé de calibrage d’une caméra plénoptique conduisant à une précision de calibrage améliorée.

Un autre but de l’invention est de proposer un procédé de calibrage d’une caméra plénoptique prenant en compte des aberrations optiques primaires et d’ordre supérieur de l’optique principale de la caméra plénoptique.

Un autre but de l’invention est de proposer un procédé de reconstruction tridimensionnelle par une caméra plénoptique présentant une précision de reconstruction améliorée.

Selon un premier aspect, l’invention concerne un procédé de calibrage d’une caméra plénoptique comprenant les étapes suivantes :
S1 : acquisition d’un point objet réel d’une mire de calibrage par la caméra plénoptique, une position du point objet réel étant connue ;
S6 : détermination d’un ensemble de rayons lumineux objets, dans lequel chaque rayon lumineux objet est déterminé à partir d’un rayon lumineux image associé et d’un ensemble de données d’entrée comprenant des paramètres de projection d’un modèle de projection de la caméra plénoptique ;
S7 : détermination d’un point objet théorique associé au point objet réel, le point objet théorique correspondant à un barycentre de l’ensemble des intersections des rayons lumineux objets avec la mire de calibrage ; et
S8 : calcul d’une erreur de calibrage en fonction d’une position du point objet théorique et de la position du point objet réel.

Certaines caractéristiques préférées mais non limitatives du procédé de calibrage décrit ci-dessus sont les suivantes, prises individuellement ou en combinaison :

- le procédé comprend en outre les étapes suivantes, réalisées préalablement à l’étape S6 de détermination de l’ensemble de rayons lumineux objets :
S5 : détermination d’un ensemble de rayons lumineux images, dans lequel chaque rayon lumineux image passe par un pixel respectif d’un ensemble de pixels appartenant à un macropixel d’un capteur photosensible de la caméra plénoptique et par un unique élément optique d’une matrice d’éléments optiques de la caméra plénoptique, ledit unique élément optique étant attribué audit pixel respectif ;
S0 : détermination de plusieurs ensembles de données d’entrée à partir des rayons lumineux images déterminés, chaque ensemble de données d’entré comprenant des paramètres de projection d’un modèle de projection de la caméra plénoptique, dans lequel les paramètres de projection sont représentatifs d’une aberration primaire et d’une aberration d’ordre supérieur d’une optique principale de la caméra plénoptique ;

- le procédé peut comprendre en outre l’étape suivante, réalisée ultérieurement à l’étape S8 de calcul de l’erreur de calibrage :
S9 : détermination de l’ensemble de calibrage correspondant à l’ensemble de données d’entrée minimisant l’erreur de calibrage ;

- le procédé comprend en outre les étapes suivantes, réalisées préalablement à l’étape S1 d’acquisition du point objet réel :
S31 : détermination d’une position relative d'un plan de matrice, sur lequel sont disposés les éléments optiques de la matrice d’éléments optiques, par rapport à un plan de capteur, sur lequel sont disposés les pixels du capteur ;
S32 : attribution à un macropixel du capteur d’un unique élément optique de la matrice d’éléments optiques, à partir de la position relative du plan de matrice par rapport au plan de capteur ; et
S4 : détermination d’un ensemble de pixels du capteur, chaque pixel de l’ensemble de pixels appartenant à un macropixel du capteur et étant associé à l’unique élément optique attribué audit macropixel, chaque pixel de l’ensemble de pixels étant en outre associé à la position image du point objet réel ;

- la mire de calibrage présente une position prédéterminée et une géométrie réelle connue définie par des positions relatives de plusieurs points objets réels les uns par rapport aux autres, les positions des points objets réels sont exprimées dans un repère de la mire de calibrage et les positions des points objets théoriques sont exprimées dans un repère de la caméra plénoptique, et pour chaque ensemble de données d’entrée déterminé à l’étape S0, l’étape S8 de calcul de l’erreur de calibrage comprend les sous-étapes suivantes :
S81 : calcul d’une première erreur de calibrage correspondant à une somme, effectuée sur les plusieurs points objets réels de la mire de calibrage, des distances entre chaque point objet réel et chaque point objet théorique associé ;
S82 : calcul d’une deuxième erreur de calibrage correspondant à une somme, effectuée sur les plusieurs points objets théoriques, d’une somme des distances entre le point objet théorique et chaque rayon lumineux objet correspondant au point objet théorique ; et
S83 : calcul de l’erreur de calibrage pour la position prédéterminée de la mire de calibrage, correspondant à une somme de la première erreur de calibrage et de la deuxième erreur de calibrage ;

- le procédé comprend en outre une étape de déplacement de la mire de calibrage entre plusieurs positions prédéterminées, les positions relatives des plusieurs positions prédéterminées de la mire de calibrage les unes par rapport aux autres étant connues, dans lequel certains des plusieurs points objets sont acquis à l’étape S1 pour plusieurs positions prédéterminées différentes de la mire de calibrage ;

- le procédé comprend en outre les étapes suivantes :
S52 : détermination d’un échantillonnage d’un gradient d’une surface de front d’onde de sortie à partir de l’ensemble de rayons lumineux images déterminé à l’étape S5 ;
S53 : détermination de plusieurs fonctions représentatives de la surface de front d’onde de sortie à partir de l’échantillonnage de gradient déterminé à l’étape S52, chacune desdites plusieurs fonctions représentatives de la surface de front d’onde de sortie correspondant à une somme :
- d’une surface de front d’onde idéale au niveau d’une sortie d’une optique principale sans aberration optique, la surface de front d’onde idéale étant une surface sphérique présentant un rayon de surface sphérique ; et
- d’une fonction d’aberration adaptée pour prendre en compte des aberrations optiques d’ordre primaire et d’ordre supérieur de l’optique principale, la fonction d’aberration étant adaptée pour être décomposée en une série de polynômes ;
l’étape S53 correspondant à une détermination des coefficients associés à des degrés de polynôme de la série de polynômes de la fonction d’aberration jusqu’à un degré représentatif d’une aberration d’ordre supérieur de l’optique principale, les paramètres de projection de chaque ensemble de données d’entrée comprenant les coefficients déterminés à l’étape S53 ;

- les paramètres de projection de chaque ensemble de données d’entrée comprennent :
- le rayon de la surface de front d’onde idéale sphérique (S_id) ;
- les coefficients jusqu’au cinquième degré de la série de polynômes de la fonction d’aberration ; et
- une distance entre l’optique principale et le capteur de la caméra plénoptique ;

- les positions des éléments optiques sur le plan de matrice sont connues, les positions des pixels du capteur sur le plan de capteur sont connues, et la position relative du plan de matrice par rapport au plan de capteur est déterminée à l’étape S3 à partir des étapes suivantes :
S310 : acquisition par la caméra plénoptique d’un objet de référence ;
S320 : détection sur le plan de capteur de l’image de l’objet de référence par la caméra plénoptique ;
S330 : détermination des positions des éléments optiques sur le plan de capteur, à partir de l’image de l’objet de référence détectée à l’étape S320 ;
S340 : détermination d’une transformation géométrique entre le plan de matrice et le plan de capteur, à partir des positions des éléments optiques sur le plan de matrice connues et des positions des éléments optiques sur le plan de capteur déterminées à l’étape S330 ;

- l’étape S340 de détermination de la transformation géométrique entre le plan de matrice et le plan de capteur comprend les étapes suivantes :
S341 : détermination d’une homographie entre le plan de matrice et le plan de capteur ; et
S342 : détermination d’une rotation et/ou d’une translation entre le plan de matrice et le plan de capteur, à partir de l’homographie déterminée à l’étape S35.

- le procédé peut comprendre en outre une étape S41 de détermination d’une position de chaque élément optique attribué à un pixel respectif de l’ensemble déterminé à l’étape S4 sur le plan de capteur, à partir de la position relative du plan de matrice par rapport au plan de capteur déterminée à l’étape S3, chaque rayon lumineux image déterminé à l’étape S5 passant par ledit pixel et ledit élément optique respectif ;

- les éléments optiques sont des microlentilles ou des sténopés.

Selon un deuxième aspect, l’invention concerne un procédé de reconstruction tridimensionnelle d’un objet à l’aide d’une caméra plénoptique, ledit objet comprenant une pluralité de points objets, le procédé comprenant les étapes suivantes :
S100 : calibrage de la caméra plénoptique par détermination d’un ensemble de données d’entrée de calibrage minimisant une erreur de calibrage de la caméra plénoptique à l’aide d’un procédé de calibrage selon le premier aspect ;
pour chaque point objet de l’objet à reconstituer tridimensionnellement :
S101 : acquisition du point objet par la caméra plénoptique ;
S102 : détermination d’une position image du point objet, ladite position image correspondant à une position détectée sur un capteur de la caméra plénoptique de l’image du point objet à travers la caméra plénoptique ;
S104 : détermination d’un ensemble de pixels du capteur, chaque pixel de l’ensemble de pixels appartenant à un macropixel du capteur et étant associé à un unique élément optique d’une matrice d’éléments optiques de la caméra plénoptique, ledit unique élément optique étant attribué à un macropixel du capteur, chaque pixel de l’ensemble de pixels étant en outre associé à la position image du point objet ;
S105 : détermination d’un ensemble de rayons lumineux images, dans lequel chaque rayon lumineux image passe par un pixel respectif de l’ensemble de pixels et par l’unique élément optique attribué audit pixel respectif lors de l’étape S104 ;
S106 : détermination d’un ensemble de rayons lumineux objets, dans lequel chaque rayon lumineux objet est déterminé à partir d’un rayon lumineux image associé déterminé à l’étape S105 et des paramètres projection de l’ensemble de calibrage déterminé à l’étape S100 ; et
S107 : reconstruction tridimensionnelle du point objet, ledit point objet correspondant à un barycentre de l’ensemble des intersections des rayons lumineux objets déterminés à l’étape S106.

Selon un troisième aspect, l’invention concerne un dispositif de reconstruction tridimensionnelle comprenant une caméra plénoptique et un moyen de traitement numérique, la caméra plénoptique comprenant une optique principale, un capteur photosensible et une matrice d’éléments optiques disposée entre l’optique principale et le capteur, la matrice d’éléments optiques comprenant une pluralité d’éléments optiques disposés sur un plan de matrice, le capteur comprenant au moins un macropixel comprenant une pluralité de pixels disposés sur un plan de capteur, le moyen de traitement numérique comprenant un modèle de caméra plénoptique adapté pour être calibré par un procédé de calibrage de la caméra plénoptique selon le premier aspect, le moyen de traitement numérique étant adapté pour mettre en œuvre un procédé de reconstruction tridimensionnelle d’un objet selon le deuxième aspect.

DESCRIPTION DES FIGURES

D’autres caractéristiques, buts et avantages de la présente invention apparaîtront à la lecture de la description détaillée qui va suivre, donnée à titre d’exemple non limitatif, qui sera illustrée par les figures suivantes :

La , déjà commentée, est un schéma illustrant une caméra plénoptique.

La , déjà commentée, est un schéma illustrant des tracés des rayons à partir d’un front d’onde pour un système optique idéal sans aberrations optiques.

La , déjà commentée, est un schéma illustrant des tracés des rayons à partir d’un front d’onde pour un système optique réel avec aberrations optiques.

La , déjà commentée, est un schéma illustrant une approche classique de modélisation d’une aberration optique d’ordre supérieur.

La est un schéma illustrant des caractéristiques fondamentales d’une caméra plénoptique d’un dispositif de reconstruction tridimensionnelle selon un mode de réalisation de l’invention.

La est un schéma illustrant une matrice d’éléments optiques d’une caméra plénoptique d’un dispositif de reconstruction tridimensionnelle selon un mode de réalisation de l’invention.

La est un schéma illustrant une position relative d’une matrice d’éléments optiques par rapport à un capteur d’une caméra plénoptique d’un dispositif de reconstruction tridimensionnelle selon un mode de réalisation de l’invention.

La est un schéma illustrant une image d’un objet de référence acquis par une caméra plénoptique d’un dispositif de reconstruction tridimensionnelle selon un mode de réalisation de l’invention.

La est un schéma fonctionnel illustrant une détermination d’un point objet théorique dans un procédé de calibrage selon un mode de réalisation de l’invention.

La est un schéma fonctionnel illustrant une détermination d’un ensemble de données d’entrée minimisant une erreur de calibrage dans un procédé de calibrage selon un mode de réalisation de l’invention.

La est un schéma fonctionnel illustrant une détermination d’une position relative d’un plan de matrice par rapport à un plan de capteur dans un procédé de calibrage selon un mode de réalisation de l’invention.

La est un schéma fonctionnel illustrant une détermination d’une transformation géométrique entre le plan de matrice et le plan de capteur dans un procédé de calibrage selon un mode de réalisation de l’invention.

La est un schéma fonctionnel illustrant des étapes d’un procédé de reconstruction tridimensionnelle d’un objet selon un mode de réalisation de l’invention.

La est un schéma illustrant un tracé de rayons à partir d’un point image et une surface de front d’onde d’entrée et de sortie, respectivement pour un système optique idéal sans aberrations optiques, et pour un système optique réel avec aberrations optiques.

DESCRIPTION DETAILLEE DE L'INVENTION

Un procédé de calibrage d’une caméra plénoptique est partiellement illustré à titre d’exemple non limitatif en . La caméra plénoptique, ainsi qu’illustré à titre d’exemple sur la , peut comprendre une optique principale 1, un capteur photosensible 3 et une matrice d’éléments optiques 2 disposée entre l’optique principale 1 et le capteur 3, la matrice d’éléments optiques 2 comprenant une pluralité d’éléments optiques 21 disposés sur un plan de matrice Pmat, le capteur 3 comprenant au moins un macropixel 31 comprenant une pluralité de pixels disposés sur un plan de capteur Pcapt.

Le procédé de calibrage comprend les étapes suivantes :
S1 : acquisition d’un point objet réel P_obj_r d’une mire de calibrage par la caméra plénoptique, une position du point objet réel P_obj_r étant connue ;
S6 : détermination d’un ensemble de rayons lumineux objets 60, dans lequel chaque rayon lumineux objet 60 est déterminé à partir d’un rayon lumineux image 50 associé et d’un ensemble de données d’entrée E comprenant des paramètres de projection Par_Proj d’un modèle de projection de la caméra plénoptique ;
S7 : détermination d’un point objet théorique P_obj_th associé au point objet réel P_obj_r, le point objet théorique P_obj_th correspondant à un barycentre de l’ensemble des intersections des rayons lumineux objets 60 avec la mire de calibrage ; et
S8 : calcul d’une erreur de calibrage Δcal en fonction d’une position du point objet théorique P_obj_th et de la position du point objet réel P_obj_r.

L’étape S1 peut comprendre une acquisition de plusieurs points objets réels P_obj_r de la mire de calibrage par la caméra plénoptique, les positions relatives des points objets réels P_obj_r les uns par rapport aux autres étant connues. L’étape S2 est alors une étape de détermination de plusieurs positions images P_im des plusieurs points objets réels P_obj_r, chaque position image P_im correspondant à une position détectée sur le capteur 3 de l’image d’un point objet réel P_obj_r respectif à travers la caméra plénoptique. L’erreur de calibrage Δcal est alors calculée à l’étape S8 en fonction des positions des plusieurs points objets théoriques P_obj_th déterminées pour chacun des plusieurs points objets réels P_obj_r, et des positions des plusieurs points objets réels P_obj_r associés.

Chaque rayon lumineux objet 60 est déterminé à l’étape S6 à partir d’un rayon lumineux image 50 associé déterminé à l’étape S5 et des paramètres de projection Par_Proj de l’ensemble de données d’entrée E déterminé à l’étape S0. Le point objet théorique P_obj_th associé au point objet réel P_obj_r peut être déterminé par triangulation des rayons lumineux objets 60 déterminés à l’étape S6.

Le procédé de calibrage peut comprendre en outre les étapes suivantes, réalisées préalablement à l’étape S6 de détermination de l’ensemble de rayons lumineux objets 60 :
S5 : détermination d’un ensemble de rayons lumineux images 50, dans lequel chaque rayon lumineux image 50 passe par un pixel respectif d’un ensemble de pixels appartenant à un macropixel 31 d’un capteur photosensible 3 de la caméra plénoptique et par un unique élément optique 21 d’une matrice d’éléments optiques 2 de la caméra plénoptique, ledit unique élément optique 21 étant attribué audit pixel respectif ;
S0 : détermination de plusieurs ensembles de données d’entrée E à partir des rayons lumineux images 50 déterminés, chaque ensemble de données d’entré E comprenant des paramètres de projection Par_Proj d’un modèle de projection de la caméra plénoptique, dans lequel les paramètres de projection Par_Proj sont représentatifs d’une aberration primaire et d’une aberration d’ordre supérieur d’une optique principale 1 de la caméra plénoptique ;
et dans lequel le procédé comprend en outre l’étape suivante, réalisée ultérieurement à l’étape S8 de calcul de l’erreur de calibrage Δcal :
S9 : détermination de l’ensemble de calibrage E_min correspondant à l’ensemble de données d’entrée E minimisant l’erreur de calibrage Δcal.

Le procédé de calibrage peut comprendre en outre les étapes suivantes, réalisées préalablement à l’étape S1 d’acquisition du point objet réel P_ob_r :
S31 : détermination d’une position relative d'un plan de matrice Pmat, sur lequel sont disposés les éléments optiques 21 de la matrice d’éléments optiques 2, par rapport à un plan de capteur Pcapt, sur lequel sont disposés les pixels du capteur 3 ;
S32 : attribution à un macropixel 31 du capteur 3 d’un unique élément optique 21 de la matrice d’éléments optiques 2, à partir de la position relative du plan de matrice Pmat par rapport au plan de capteur Pcapt ; et
S4 : détermination d’un ensemble de pixels 3 du capteur 3, chaque pixel de l’ensemble de pixels appartenant à un macropixel 31 du capteur 3 et étant associé à l’unique élément optique 21 attribué audit macropixel 31, chaque pixel de l’ensemble de pixels étant en outre associé à la position image P_im du point objet réel P_obj_r.

Les étapes du procédé de calibrage peuvent être réalisées dans tout ordre envisageable.

La position du point objet réel P_obj_r, respectivement du point objet théorique P_obj_th, peut correspondre à des coordonnées cartésiennes en trois dimensions x_obj_r, y_ob_r, z_obj_r, respectivement x_obj_th, y_ob_th, z_obj_th du point objet réel P_obj_r, respectivement du point objet théorique P_obj_th.

Le modèle de projection de la caméra plénoptique est adapté pour déterminer la position du point objet théorique P_obj_th, qui correspond à un objet du point image P_im déterminé sur le capteur 3, à partir de l’ensemble de données d’entrée E défini. En d’autres termes, le modèle de projection de la caméra plénoptique est adapté pour reconstituer, à partir du point image P_im, le point objet théorique P_obj_th associé, c’est-à-dire pour effectuer une projection inverse du point image P_im observé à travers la caméra plénoptique, pour déduire le point objet associé.

La projection inverse du point image P_im à travers la caméra plénoptique est déterminée à partir d’un modèle de caméra plénoptique prenant en compte des aberrations d’ordre supérieur de l’optique principale 1, via les paramètres de projection Par_Proj. Le calibrage résultant tient donc compte, dans le modèle de projection de la caméra plénoptique, des aberrations géométriques primaires ainsi que des aberrations optiques d’ordre supérieur de l’optique principale 1 de la caméra plénoptique.

Un tel procédé de calibrage de caméra plénoptique permet de mieux modéliser les aberrations optiques du système optique de l’optique principale 1, y compris les aberrations optiques d’ordre supérieur.

En tenant compte des aberrations d’ordre supérieur, le procédé de calibrage permet d’obtenir des reconstructions tridimensionnelles présentant une meilleure précision, notamment des reconstructions tridimensionnelles de qualité métrologique. Le procédé permet ainsi d’améliorer la précision du calibrage et de la reconstruction tridimensionnelle par la caméra plénoptique, et de fournir un calibrage présentant une précision compatible d’une utilisation de la caméra plénoptique dans la métrologie tridimensionnelle.

Le procédé permet de calculer l’erreur de calibrage Δcal associée à chaque ensemble de données d’entrée E. Ainsi, l’ensemble de calibrage E_min comprenant les paramètres de projection Par_Proj minimisant l’erreur de calibrage Δcal peut être déterminé. Cet ensemble de calibrage E_min minimisant l’erreur de calibrage Δcal correspond au meilleur calibrage du modèle de projection de la caméra plénoptique.

De plus, le procédé décrit est générique et peut s’appliquer à toute caméra plénoptique.

Le fait d’utiliser le tracé de rayons lumineux inverses, c’est-à-dire partant du point image P_im pour obtenir le point objet théorique P_obj_th, permet d’augmenter encore la précision des reconstitutions tridimensionnelles ultérieures par la caméra plénoptique. L’erreur de calibrage Δcal est calculée au niveau de la mire de calibrage et les paramètres de projection Par_Proj du modèle de calibrage sont donc optimisés de sorte à minimiser les erreurs de reconstitution tridimensionnelle directement dans l’espace objet. La reconstitution du point objet théorique P_obj_th à partir du point image P_im observé sur le capteur 3 effectuée dans le procédé de calibrage, correspond à la reconstitution tridimensionnelle d’un objet effectuée par la caméra plénoptique une fois calibrée. Ainsi, le modèle de projection de la caméra plénoptique, en particulier l’ensemble de calibrage E_min, permet de caractériser la caméra plénoptique et également de connaître l’erreur lors de la reconstitution tridimensionnelle ultérieure.

Le fait d’utiliser le tracé de rayons lumineux inverses permet en outre de simplifier le procédé de calibrage. En effet, les rayons lumineux images 50 sont directement obtenus sans avoir à calculer une surface de front d’onde entière. La surface de front d’onde peut être reconstituée à partir des rayons lumineux images 50 appartenant à l’ensemble de rayons lumineux images 50.

Le modèle de projection de la caméra plénoptique peut être basé sur le tracé de rayons lumineux inverses à travers la caméra plénoptique. Les paramètres de projection Par_Proj peuvent correspondre à des coefficients représentatifs d’une surface de front d’onde servant au tracé de rayons lumineux inverses. La projection inverse du point image P_im à travers la caméra plénoptique est ainsi déterminée à partir du tracé de rayons lumineux inverses à partir de l’ensemble de paramètres de projection Par_Proj prenant en compte les aberrations d’ordre supérieur de l’optique principale 1, et correspond au point objet théorique P_obj_th.

Plusieurs points objets réels P_obj_r de la mire de calibrage peuvent être acquis, afin de détecter les plusieurs positions images correspondantes sur le capteur 3 de chacun des plusieurs points objets réels P_obj_r de la mire de calibrage. En parallèle, plusieurs positions de points objets théoriques P_obj_th respectives sont déterminés par le biais du modèle de projection de la caméra plénoptique, en fonction de l’ensemble de données d’entrée E déterminé à l’étape S0. Le calcul de l’erreur de calibrage Δcal est être effectué en fonction de la comparaison des plusieurs positions des points objets théoriques P_obj_th et des plusieurs positions des points objets réels P_obj_r respectifs associés, pour chaque ensemble de données d’entrée E.

Ce procédé de calibrage permet ainsi d’améliorer la robustesse et la précision de la détermination de calibrage E_min minimisant l’erreur de calibrage Δcal du modèle de projection de la caméra plénoptique, donc d’améliorer la robustesse et la précision du calibrage de la caméra plénoptique.

Le nombre de points objets réels P_obj_r de la mire de calibrage peut être adapté en fonction du nombre de paramètres de projection Par_Proj de l’ensemble données d’entrée à déterminer. Plus le nombre de points objets réels P_obj_r de la mire de calibrage est important, plus la détermination correspondante de l’ensemble données d’entrée est robuste, c’est-à-dire plus la convergence de l’algorithme d’optimisation est établie, donc plus le calibrage du modèle de projection de la caméra plénoptique est précis. Par exemple, au moins 25 points objets réels P_obj_r de la mire de calibrage peuvent être acquis.

Le procédé de calibrage est donc simple à mettre en œuvre. La complexité du procédé de calibrage est similaire à la complexité d’un procédé de calibrage basé sur les modèles de tracé des rayons sans tenir compte des aberrations d’ordre supérieur.

Notions préliminaires

Un axe optique z désigne un axe le long duquel sont positionnés les différents éléments optiques 21 de la caméra plénoptique, notamment un axe le long duquel sont positionnés l’optique principale 1, la matrice d’éléments optiques 2, et le capteur photosensible 3.

Un rayon lumineux est représenté par une droite dans un plan passant par l’axe optique z. Une direction d’un rayon lumineux désigne une incidence, c’est-à-dire un angle, du rayon lumineux par rapport à l’axe optique z.

Un centre d'un élément optique 21 est un point particulier de l’élément optique 21 tel qu'un rayon lumineux incident en ce point particulier n'est pas dévié, ses parties incidentes et émergentes étant parallèles entre elles.

Dans la suite de la demande, le terme d’image est utilisé pour désigner l’ensemble du ou des point(s) image(s) P_im d’un point objet réel P_obj_r à travers la caméra plénoptique. Un point objet acquis par la caméra plénoptique est en effet susceptible de générer plusieurs points images. Par exemple, le terme de position image P_im du point objet réel P_obj_r est utilisé pour désigner l’ensemble des points images P_im du point objet réel P_obj_r à travers la caméra plénoptique, la position image P_im pouvant comprendre un ou plusieurs points, voire une zone de l’espace. Le ou les point(s) image(s) P_im d’un point objet réel P_obj_r peuvent être imagés par un ou plusieurs éléments optiques 21 de la matrice d’éléments optiques 2, et l’image P_im peut être formée sur un ou plusieurs macropixel 31(s) du capteur 3. En particulier, l’image P_im du point objet réel P_obj_r peut être formée sur plusieurs pixels de plusieurs macropixels 31 du capteur 3 de la caméra plénoptique. La position image P_im comprend alors la position de l’ensemble des pixels des macropixels 31 du capteur 3 sur lesquels sont formée l’image du point objet réel P_obj_r.

Caméra plénoptique

La illustre un exemple de caractéristiques principales d’un système optique, en particulier de l’optique principale 1 de la caméra plénoptique.

L’optique principale 1 peut être un système optique complexe, comprenant une pluralité d’éléments optiques. En particulier, l’optique principale 1 peut être formée d’une lentille ou d’une combinaison de lentilles.

Le système optique de l’optique principale 1 comprend un plan focal objet F et un plan focal image F’. L’optique principale 1 reçoit des rayons lumineux provenant d’un point objet.

Le système optique de l’optique principale 1 comprend une pupille d’entrée 11, qui correspond au diaphragme du système optique qui limite le rayonnement lumineux en provenance d’un objet. L’optique principale 1 comprend également une pupille de sortie 12, qui correspond à l’image de la pupille d’entrée 11 par l’optique principale 1.

La pupille d’entrée 11 est positionnée au niveau d’une entrée de l’optique principale 1. La pupille de sortie 12 est positionnée au niveau d’une sortie de l’optique principale 1. La pupille d’entrée 11 peut être située en une position z = 0 de l’axe optique z. La pupille d’entrée 11 est située en amont de la pupille de sortie 12 sur l’axe optique z.

La matrice d’éléments optiques 2, ou réseau d’éléments optiques, peut comprendre une pluralité d’éléments optiques 21, comme représenté sur la . En particulier, les centres des éléments optiques 21 peuvent être alignés de sorte à former des lignes et des colonnes d’éléments optiques 21, ainsi qu’illustré à titre d’exemple non limitatif en .

La pluralité d’éléments optiques 21 est disposée dans un plan de matrice Pmat, comme illustré en . Les éléments optiques 21 sont ainsi disposés de manière coplanaire. Les positions des centres des éléments optiques 21 dans le plan de matrice Pmat sont connues.

Dans un premier exemple de réalisation, les éléments optiques 21 sont des microlentilles. Le centre optique d’une microlentille est le point d'intersection entre un plan de la microlentille et l'axe optique z. Les microlentilles peuvent être sphériques ou avoir une forme plus complexe permettant une jonction entre deux microlentilles adjacentes. Les microlentilles ont typiquement un diamètre de l'ordre d'une fraction de millimètre. Le modèle de type « sténopé » (en anglais « pinhole ») est utilisé pour les microlentilles, du fait de leurs faibles dimensions.

Dans un deuxième exemple de réalisation, les éléments optiques 21 sont des sténopés. Le centre optique d’un sténopé est le centre d’un trou de sténopé. La matrice d’éléments optiques 2 est une surface plane opaque dans laquelle sont ménagés des trous de très faible diamètre, typiquement espacés de l'ordre d'une fraction de millimètre.

La matrice d’éléments optiques 2 peut être disposé dans le plan focal image F’ de l’optique principale 1, ou hors de ce plan focal image F’. La matrice d’éléments optiques 2 peut être disposée à proximité du capteur photosensible 3.

Le capteur photosensible 3 comprend au moins un macropixel 31 comprenant une pluralité de pixels disposés sur un plan de capteur Pcapt. Chaque pixel du capteur 3 reçoit la lumière d'un seul rayon lumineux via l’optique principale 1. Chaque macropixel 31 du capteur 3 reçoit tous les rayons lumineux issus d’un même élément optique 21, le macropixel 31 correspondant au groupe formé par tous les pixels du capteur 3 recevant les rayons lumineux issus dudit même élément optique 21. Un macropixel 31 comprend au moins deux pixels s’étendant dans la direction horizontale et/ou dans la direction verticale. Les macropixels 31 du capteur 3 peuvent être situés dans le même plan de capteur Pcapt. La pluralité de pixels des différents macropixels 31 du capteur 3 forme ainsi le plan de capteur Pcapt, ou surface de détection du capteur 3. Les positions des pixels dans le plan de capteur Pcapt sont connues. La matrice d’éléments optiques 2 peut être disposée sensiblement parallèlement au capteur 3.

Le capteur photosensible 3 capte la lumière reçue pour produire une image. Le capteur photosensible 3 peut être un capteur 3 matriciel, typiquement une matrice CCD. Le capteur photosensible 3 peut être un composant électronique photosensible composé de photosites adaptés pour convertir un rayonnement électromagnétique (UV, visible ou IR) en un signal électrique analogique. Ce signal est ensuite numérisé par moyen de traitement numérique 4, tel qu’un convertisseur analogique-numérique, pour obtenir une image numérique composée de pixels, chaque pixel correspondant à un photosite du capteur photosensible 3.

Points objets réels et mire de calibrage

Le point objet réel P_obj_r est un point source d’intérêt destiné à être acquis par la caméra plénoptique et dont l’image est destinée à être détectée sur le capteur 3.

Les positions relatives des points objets réels P_obj_r les uns par rapport aux autres sont connue préalablement au calibrage de la caméra plénoptique. Les points objets réels P_obj_r sont situés en amont de l’entrée de l’optique principale 1, c’est-à-dire en amont de la pupille d’entrée 11, sur l’axe optique z.

Les points objets réels P_obj_r sont des points d’une mire de calibrage. Une mire de calibrage est une surface plane comprenant plusieurs points objets réels P_obj_r. La mire de calibrage peut être disposée dans tout plan de l’optique principale 1, y compris par exemple dans un plan focal objet F de l’optique principale 1. La mire de calibrage peut être située sensiblement à une distance où seront situés les objets à reconstruire tridimensionnellement une fois le calibrage de la caméra plénoptique effectué.

La mire de calibrage peut présenter une position prédéterminée. Des positions relatives de plusieurs positions prédéterminées différentes de la mire de calibrage les unes par rapport aux autres sont connues.

Une géométrie réelle de la mire de calibrage est définie par des positions relatives de plusieurs points objets réels P_obj_r les uns par rapport aux autres. La géométrie réelle de la mire de calibrage est connue.

Pour une position prédéterminée de la mire de calibrage, une position de l’image de la mire de calibrage sur le capteur 3, correspondant à l’ensemble des points images de la mire de calibrage à travers la caméra plénoptique, peut être détectée.

La mire de calibrage peut être un damier. Les points objets réels P_obj_r sont alors les coins du damier. Des méthodes connues peuvent être utilisées pour détecter les coins du damier sur le capteur 3 de la caméra plénoptique.

En variante, la mire de calibrage peut être une grille de points. Les points objets réels P_obj_r sont alors les centres des points de la grille. La détection des centres des points sur le capteur 3 peut être effectuée par exemple par seuillage de l’image puis calcul des centroïdes des composantes connexes. Les points objets réels P_obj_r de la grille de points doivent être suffisamment séparés pour pouvoir faire l’appariement entre les différents points images détectés sur le capteur 3 et les différents points objets réels P_obj_r de la mire de calibrage.

En variante, la mire de calibrage peut être un écran plat LCD ou LED comprenant une pluralité de pixels répartis en lignes et en colonnes. Ces pixels sont donc répartis sur une surface plane. La distance entre les lignes et la distance entre les colonnes de pixels sont des données connues. En effet, ce sont des données de fabrication de l’écran. Les pixels de l’écran constituent les points objets réels P_obj_r de la mire de calibrage. Lors du calibrage, un seul pixel de l’écran est allumé à la fois, de sorte qu’un seul point objet réel P_obj_r est imagé à la fois par la caméra plénoptique, les étapes du procédé de calibrage étant successivement répétées pour plusieurs pixels allumés successivement de l’écran plat LCD ou LED.

En variante, la mire de calibrage peut être un écran avec codage. Chaque pixel de l’écran envoie une séquence de code binaire qui contient le numéro de la ligne et de la colonne du pixel dans l’écran, c’est-à-dire la position du pixel dans l’écran. Tous les pixels sont allumés en même temps, en fonction du code correspondant à chaque pixel. Le code correspondant à chaque pixel correspond à l’allumage d’un seul pixel à la fois, le pixel présentant un numéro de ligne et de colonne spécifique et formant le point objet réel P_obj_r à imager par la caméra plénoptique. Par exemple, exemple le code peut être un code binaire, des franges sinusoïdales, etc. Une telle mire de calibrage permet d’automatiser et d’augmenter la rapidité du procédé de calibrage de la caméra plénoptique.

Répétition des étapes pour plusieurs points objets réels et/ou pour plusieurs positions prédéterminées de la mire de calibrage

Pour une position prédéterminée de la mire de calibrage, plusieurs points objets réels P_obj_r de la mire de calibrage peuvent être acquis.

Le procédé peut comprendre une étape de déplacement de la mire de calibrage entre plusieurs positions prédéterminées, les positions relatives des plusieurs positions prédéterminées de la mire de calibrage les unes par rapport aux autres étant connues. Certains des plusieurs points objets P_obj_r sont acquis à l’étape S1 pour plusieurs positions prédéterminées différentes de la mire de calibrage.

La caméra plénoptique peut acquérir une série d’images de la mire de calibrage, chaque image correspondant à une position prédéterminée spécifique de la mire de calibrage, dont la position relative par rapport aux autres positions prédéterminées de la mire de calibrage est connue.

La mire de calibrage peut être déplacée en rotation et/ou en translation. Des platines motorisées peuvent être utilisées pour déplacer la mire de calibrage entre les différentes positions prédéterminées. Alors, seule une première position de la mire de calibrage doit être déterminée en absolu. Les autres positions de la mire de calibrage sont déterminées en relatif par rapport à cette première position via les platines motorisées.

Calibrer la caméra plénoptique à partir de plusieurs positions prédéterminées de la mire de calibrage permet d’améliorer la robustesse et la précision de la détermination de l’ensemble de calibrage E_min minimisant l’erreur de calibrage Δcal du modèle de projection de la caméra plénoptique, donc d’améliorer la robustesse et la précision du calibrage de la caméra plénoptique.

Le nombre de positions prédéterminés de la mire de calibrage peut être adapté en fonction du nombre de paramètres de projection Par_Proj de l’ensemble données d’entrée à déterminer. Plus le nombre de positions prédéterminées de la mire de calibrage est important, plus la détermination correspondante de l’ensemble données d’entrée est robuste, donc plus le calibrage du modèle de projection de la caméra plénoptique est précis.

Dans un exemple de réalisation, la mire de calibrage est un écran et le procédé de calibrage se déroule de la manière suivante.

L’écran est placé devant la caméra plénoptique dans une position initiale d’écran. La position initiale d’écran n’est pas connue, et sera déterminée lors de l’estimation de l’ensemble de données d’entrée E minimisant l’erreur de calibrage Δcal. Un seul pixel de l’écran, formant le point objet réel P_obj_r et correspondant à une position de pixel donnée de l’écran, est allumé. La position relative du pixel par rapport aux autres pixels de l’écran est connue.

Une image du pixel allumé est acquise à partir de la caméra plénoptique lors de l’étape S1. L’image acquise formée sur le capteur 3 est noire, excepté au niveau du ou des macropixel(s) 31 correspondant(s) à la projection sur le capteur 3 du pixel de l’écran qui est allumé. Ainsi, la détection du point image P_im lors de l’étape S2 est effectuée immédiatement, sans traitement de détection et de correspondance.

L’étape d’allumage d’un pixel et d’acquisition du pixel allumé est répétée pour plusieurs pixels de l’écran différents, voir pour tous les pixels de l’écran. Les pixels de l’écran qui sont ainsi allumés successivement constituent les points objets réels P_obj_r, qui sont aussi appelés points d’intérêt de la mire de calibrage.

La mire de calibrage est ensuite déplacée. Pour chaque position de la mire de calibrage, les étapes d’allumage des points d’intérêt de la mire de calibrage et d’acquisition des points objets réels P_obj_r correspondants sont effectuées.

La mire de calibrage peut être déplacée par exemple en 25 positions d’écran différentes, et comprendre 100 points objets réels P_obj_r différents correspondants à 100 points d’intérêt de la mire de calibrage. En variante, la mire de calibrage peut être déplacée en entre 15 et 20 positions d’écran différentes, et comprendre 50 points objets réels P_obj_r différents.

S31 : détermination d’une position relative du plan de matrice par rapport au plan de capteur

La matrice d’éléments optiques 2 comprend une pluralité d’éléments optiques 21 disposés sur un plan de matrice Pmat, les positions de centres des éléments optiques 21 sur le plan de matrice Pmat étant connues. Le modèle géométrique de la matrice d’éléments optiques 2 est connu. En d’autres termes, les coordonnées des centres des éléments optiques 21 dans le repère du plan de matrice Pmat, et les distances entre les centres des éléments optiques 21 de la matrice d’éléments optiques 2, sont connues.

Le capteur 3 comprend une pluralité de pixels disposés sur un plan de capteur Pcapt, les positions des pixels sur le plan de capteur Pcapt étant connues.

Le plan de matrice Pmat peut être sensiblement parallèle au plan de capteur Pcapt, ou peut présenter une position relative non nulle par rapport au plan de capteur Pcapt, ainsi qu’illustré à titre d’exemple non limitatif en , c’est-à-dire peut ne pas être parfaitement parallèle au plan de capteur Pcapt.

La position relative du plan de matrice Pmat par rapport au plan de capteur Pcapt peut être déterminée à l’étape S31 à partir des étapes suivantes, ainsi qu’illustré à titre d’exemple non limitatif en et en :
S310 : acquisition par la caméra plénoptique d’un objet de référence ;
S320 : détection sur le plan de capteur Pcapt de l’image 5 de l’objet de référence par la caméra plénoptique ;
S330 : détermination des positions des centres des éléments optiques 21 sur le plan de capteur Pcapt, à partir de l’image 5 de l’objet de référence détectée à l’étape S320 ;
S340 : détermination d’une transformation géométrique Tmat/capt entre le plan de matrice Pmat et le plan de capteur Pcapt, à partir des positions des centres d’éléments optiques 21 sur le plan de matrice Pmat connues et des positions des centres d’éléments optiques 21 sur le plan de capteur Pcapt déterminées à l’étape S330.

Ce modèle permet de déterminer la position des centres des éléments optiques 21 dans le repère lié au plan du capteur 3. En d’autres termes, il s’agit de déterminer la position de la matrice d’éléments optiques 2 dans le repère défini par le capteur photosensible 3 de la caméra plénoptique.

L’étape S31 de détermination de la position relative du plan de matrice Pmat par rapport au plan de capteur Pcapt peut être réalisée une seule fois, préalablement aux autres étapes du procédé de calibrage. L’étape 31 nécessite l’acquisition d’une image uniforme.

La position de chaque centre d’élément optique 21 dans le plan de matrice Pmat étant connue, la position de la matrice d’éléments optiques 2 peut être déterminée à l’étape S330 par la projection des centres des éléments optiques 21 sur le capteur 3. En d’autres termes, la détection de la projection sur le capteur 3 de chaque centre d’élément optique 21 dans le repère lié au capteur 3 permet de déterminer la position relative entre le plan lié aux éléments optiques 21 Pmat et le plan lié au capteur 3 Pcapt.

L’objet de référence acquis lors de l’étape S310 peut être une surface plane située dans le plan de matrice Pmat, les images des centres des éléments optiques 21 étant formées dans un même plan qui correspond au plan de capteur Pcapt.

L’objet de référence acquis lors de l’étape S310 peut être une surface plane de couleur uniforme. La illustre à titre d’exemple non limitatif une image 5 d’un tel objet de référence acquis par la caméra plénoptique. Par exemple, l’objet de référence peut être une feuille de papier blanc, un rétroéclairage, un écran LCD avec tous les pixels allumés avec la même valeur de niveau de gris, etc.

La détermination de la position des centres des éléments optiques 21 réalisée à l’étape S330 peut correspondre à une détermination de la position des centres des éléments optiques 21 dans le repère lié au capteur 3, c’est-à-dire dans le plan de capteur Pcapt. Les positions des centres des éléments optiques 21 de la matrice d’éléments optiques 2 dans le plan de capteur Pcapt peuvent être déterminées à l’étape S330 par segmentation de l’image acquise puis détermination des centres de chaque ellipse.

La transformation géométrique Tmat/capt entre le plan de matrice Pmat et le plan de capteur Pcapt déterminée à l’étape S340 correspond à la transformation géométrique à appliquer entre les centres des éléments optiques 21 et leurs projections sur le capteur 3, pour passer de la position de chacun des centres des éléments optiques 21 au point correspondant dans l’image formée sur le capteur 3, c’est-à-dire pour passer du plan de matrice Pmat au plan de capteur Pcapt.

L’étape S340 de détermination de la transformation géométrique Tmat/capt entre le plan de matrice Pmat et le plan de capteur Pcapt peut comprendre les étapes suivantes, ainsi qu’illustré à titre d’exemple non limitatif en :
S341 : détermination d’une homographie entre le plan de matrice Pmat et le plan de capteur Pcapt ;
S342 : détermination d’une rotation et/ou d’une translation entre le plan de matrice Pmat et le plan de capteur Pcapt à partir de l’homographie déterminée à l’étape S341.

La transformation Tmat/capt est alors une homographie, à partir de laquelle il est possible de déterminer la position, en termes de rotation et de translation, d’un plan par rapport à l’autre. L’homographie entre les positions des centres déterminées dans le plan de capteur Pcapt grâce à l’acquisition d’image de la caméra plénoptique, et les positions des centres des éléments optiques 21 dans le plan de matrice Pmat, qui sont connues, est alors déterminée.

L’homographie peut correspondre à une rotation et/ou à une translation entre le plan de matrice Pmat et le plan de capteur Pcapt. La translation suivant l’axe optique z est déterminée à un facteur près lorsque la position de l’objectif principal n’est pas encore déterminée.

La position relative du plan de matrice Pmat par rapport au plan de capteur Pcapt peut être déterminée à partir de la transformation géométrique Tmat/capt déterminée.

S32 : attribution à un macropixel d’un unique élément optique

L’étape S32 d’attribution à chaque macropixel 31 du capteur 3 de l’unique centre d’élément optique 21 est réalisée à partir de la position relative du plan de matrice Pmat par rapport au plan de capteur Pcapt déterminée à l’étape S31.

L’étape S32 d’attribution à chaque macropixel 31 du capteur 3 de l’unique centre d’élément optique 21 peut être réalisée une seule fois, après l’étape S31 et préalablement aux autres étapes du procédé de calibrage. L’étape 32 nécessite l’acquisition d’une image uniforme.

Ainsi, le procédé de calibrage permet d’associer, à un macropixel 31 du capteur 3 donné correspondant à un groupe de pixels du capteur 3, un unique élément optique 21 qui correspond à ce macropixel 31.

L’étape S32 peut être réalisée pour chaque macropixel 31 du capteur 3, afin d’attribuer à chaque macropixel 31 du capteur 3 un unique élément optique 21 correspondant, les différents macropixels 31 du capteur 3 étant attribués à différents éléments optiques 21.

Ainsi, chaque pixel du macropixel 31 du capteur 3 est associé à un unique élément optique 21, un rayon passant par ledit pixel du macropixel 31 du capteur 3 passant également par ledit unique élément optique 21.

Le procédé permet donc d’effectuer une cartographie entre les pixels du capteur 3 et les éléments optiques 21 qui lui correspondent. Dans le cas où les éléments optiques 21 sont des microlentilles, le procédé permet de déterminer la cartographie pixel-microlentille.

Le procédé de calibrage peut comprendre en outre une étape S33 de détermination d’une position du centre de l’élément optique 21 attribué au pixel du capteur 3 sur le plan de capteur Pcapt.

La position du centre de l’élément optique 21 est déterminée grâce à la détermination de la transformation Tmat/capt entre le plan de matrice Pmat et le plan de capteur Pcapt déterminée à l’étape S330.

S4 : détermination de l’ensemble de pixels du capteur

L’étape S4 permet d’associer, à chaque pixel d’un macropixel 31 du capteur 3 sur lequel est détectée l’image du point objet réel P_obj_r, un unique élément optique 21.

S5 : détermination de rayons lumineux images

La propagation des rayons lumineux est effectuée en partant des pixels du capteur 3 vers la scène imagée.

Chaque rayon lumineux image 50 passe par un pixel respectif de l’ensemble de pixels du capteur 3 déterminé à l’étape S4 et par l’unique élément optique 21 attribué audit pixel respectif lors de l’étape S32. Ainsi, pour un unique pixel du capteur 3 associé à la position image P_im du point objet réel P_obj_r, un unique rayon lumineux image 50 correspondant est tracé. Le nombre de rayons lumineux images 50 déterminés à l’étape S5 correspond au nombre de pixels du capteur 3 formant la position image P_im du point objet réel P_obj_r.

En d’autres termes, le pixel du capteur 3 fournit une première position du rayon lumineux au niveau du capteur 3. La position de l’élément optique 21 associé au pixel du capteur 3 fournit une deuxième position du rayon lumineux image 50 au niveau de la matrice d’éléments optiques 2. Le rayon lumineux image 50 correspond à la droite passant par la première position et la deuxième position du rayon lumineux image 50.

La position et la direction de chaque rayon lumineux image 50 de l’ensemble de rayons lumineux images 50 sont ainsi déduites de la position image P_im du point objet réel P_obj_r déterminée à l’étape S2 et de l’attribution des macropixels 31 aux éléments optiques 21 réalisée à l’étape S32.

S0 : détermination de plusieurs ensembles de données d’entrée

Les étapes S4 à S8 du procédé de calibrage sont répétées pour différents ensembles de données d’entrée E du modèle de projection de la caméra plénoptique.

Un ensemble de données d’entrée E peut être déterminé en fonction de l’ensemble de rayons lumineux images 50 déterminé à l’étape S5. L’ensemble de données d’entrée E est déterminé de sorte à permettre de reconstituer avec précision, via le modèle de la caméra plénoptique et à partir des plusieurs points objets réels P_obj_r acquis lors de l’étape S1 et dont les positions relatives pra rapport à la caméra plénoptique sont connues, les plusieurs points objets théoriques P_obj_th correspondants, c’est-à-dire de sorte à permettre d’obtenir des points objets théoriques P_obj_th, qui soient les plus proches possible des points objets réels P_obj_r correspondantes selon des critères de proximité décrits ci-dessous. Plusieurs ensembles de données d’entrée E sont ainsi déterminés, et l’ensemble de calibrage E_min correspond à l’ensemble de données d’entrée E qui minimise l’erreur de calibrage Δcal.

Un ensemble de données d’entrée E(i) d’une itération courante (i-ème itération) peut être déterminé en fonction de l’erreur de calibrage Δcal associée à l’ensemble de données d’entrée E(i-1) déterminé pour lors d’une itération précédente (i-1ème itération). Plus particulièrement, un algorithme d’optimisation peut être utilisé de sorte à optimiser un temps de détermination d’un ensemble de calibrage E_min susceptible de minimiser l’erreur de calibrage Δcal, en vue de réduire le temps de calibrage. De tels algorithmes d’optimisation, tels que l’algorithme de Levenberg Marquardt, sont bien connus de l’homme du métier.

En variante, les différents paramètres de projection Par_Proj de l’ensemble de données d’entrée E peuvent être déterminés par des balayages avec des pas donnés, sur des gammes de valeurs de paramètre définies.

S52 : détermination d’un échantillonnage d’un gradient d’une surface de front d’onde de sortie

Le procédé de calibrage peut comprendre en outre une étape S52 de détermination d’un échantillonnage d’un gradient d’une surface de front d’onde de sortie S_sor à partir de l’ensemble de rayons lumineux images 50 déterminé à l’étape S5.

Une direction de chaque rayon lumineux image 50 est perpendiculaire au gradient de la surface de front d’onde de sortie S_sor en un point donné de la surface de front d’onde de sortie S_sor. En effet, les rayons lumineux images 50 se propagent perpendiculairement au gradient de la surface de front d’onde de sortie S_sor en sortie de la pupille de sortie 12 de l’optique principale 1.

Un échantillonnage du gradient de la surface de front d’onde de sortie S_sor peut ainsi être déterminé à partir de la direction des rayons lumineux images 50 déterminés à l’étape S5. L’échantillonnage du gradient comprend un nombre de points correspondant au nombre de rayons lumineux images 50 déterminés à l’étape S5. L’échantillonnage du gradient de la surface de front d’onde de sortie S_sor prend en compte les aberrations primaires et d’ordre supérieur de l’optique principale 1.

S53 : détermination d’une surface de front d’onde de sortie

Le procédé de calibrage peut comprendre en outre une étape S53 de détermination de plusieurs fonctions représentatives de la surface de front d’onde de sortie S_sor à partir de l’échantillonnage de gradient déterminé à l’étape S52.

Chacune desdites plusieurs fonctions représentatives de la surface de front d’onde de sortie peut être une surface tridimensionnelle déterminée par décomposition d’une fonction représentative de la surface de front d’onde de sortie S_sor en une série de polynômes orthogonaux.

Chacune desdites plusieurs fonctions représentatives de la surface de front d’onde de sortie S_sor correspond à une somme :
- d’une surface de front d’onde idéale S_id au niveau d’une sortie d’une optique principale 1 sans aberration optique, la surface de front d’onde idéale S_id étant une surface sphérique présentant un rayon de surface sphérique ; et
- d’une fonction d’aberration W adaptée pour prendre en compte des aberrations optiques d’ordre primaire et d’ordre supérieur de l’optique principale 1, la fonction d’aberration W étant adaptée pour être décomposée en une série de polynômes.

En d’autres termes, la surface de front d’onde de sortie S_sor issue du point objet réel P_obj_r au niveau de la pupille de sortie 12 de l’optique principale 1 de la caméra plénoptique peut s’écrire : S_sor = S_id + W.

L’étape S53 correspond à une détermination des coefficients associés à des degrés de polynôme de la série de polynômes de la fonction d’aberration W jusqu’à un degré représentatif d’une aberration d’ordre supérieur de l’optique principale 1. Les paramètres de projection Par_Proj de chaque ensemble de données d’entrée E comprennent les coefficients déterminés à l’étape 53.

Les plusieurs fonctions représentatives de la surface de front d’onde de sortie S_sor sont ainsi déterminées à partir du tracé de l’ensemble des rayons lumineux images 50, et prennent en compte les aberrations primaires et d’ordre supérieur de l’optique principale 1.

Par exemple, plusieurs fonctions représentatives de la surface de front d’onde de sortie S_sor différentes peuvent être déterminées, chaque fonction représentative de la surface de front d’onde de sortie S_sor présentant un gradient sensiblement égal au gradient déterminé à l’étape S52 en chaque point de l’échantillonnage de gradients déterminé à l’étape S52. En alternative, une surface de front d’onde de sortie S_sor peut correspondre à une surface de front d’onde qui minimise une distance totale avec l’ensemble des points de l’échantillonnage de gradient déterminé à l’étape S52 selon un critère de minimisation donné. Les fonctions représentatives de la surface de front d’onde de sortie S_sor peuvent être déterminés selon les méthodes exposées dans le document Janssen, A. J. E. M. "Zernike expansion of derivatives and Laplacians of the Zernike circle polynomials."JOSA A31.7 (2014): 1604-1613.

La surface de front d’onde idéale S_id représente une surface de front d’onde géométrique d’un front d’onde géométrique qui serait obtenu par passage des rayons lumineux issus du point objet réel P_obj_r à travers une optique principale parfaite ne présentant aucune distorsion.

La surface de front d’onde idéale S_id peut correspondre à une somme de la surface de front d’onde d’entrée S_en et d’une surface représentant l’optique principale S_lens. Ainsi, la surface de front d’onde de sortie S_sor peut s’écrire : S_sor = S_id + W.

La surface représentant l’optique principale S_lens et la fonction d’aberration W étant identiques pour tous les points objets réels P_obj_r acquis, l’acquisition d’un nombre suffisant de points objets réels P_obj_r par la caméra plénoptique permet de déterminer les coefficients de la série de polynômes de la fonction d’aberration W, donc les paramètres de projection Par_Proj l’ensemble de données d’entrée E du modèle de projection de la caméra, avec une précision suffisante, et ainsi de déterminer des objets théoriques associés à chaque point objet réel P_obj_r avec une précision suffisante. Les paramètres des plusieurs ensembles de données d’entrée E sont déterminés à partir de la connaissance de la surface de front d’onde de sortie S_sor, et de la relation S_sor = S_id + W. Les points objets réels P_obj_r acquis peuvent correspondre à plusieurs points objets réels P_obj_r d’une mire de calibrage, et/ou à des points objets réels P_obj_r acquis pour plusieurs positions prédéterminées de la mire de calibrage.

La illustre un exemple de tracé de rayons à partir de la propagation d’un front d’onde dans le cas d’absence d’aberrations, c’est-à-dire dans le cas où les aberrations optiques sont négligées. Dans ce cas, la surface de front d’onde en sortie de la pupille de sortie 12 de l’optique principale 1, qui correspond à la surface de sortie idéale S_id indiquée en pointillés dans la , est une sphère parfaite.

Pour une optique parfaite de focale f ne présentant aucune distorsion, la surface idéale S_id correspond à un front d’onde sphérique en sortie de l’optique parfaite convergent à la distance f, et s’écrit : .

La illustre en outre un exemple de tracé de rayons à partir de la propagation d’un front d’onde dans le cas de présence d’aberrations, c’est-à-dire dans le cas où les aberrations optiques ne sont pas négligées. Dans ce cas, la surface de front d’onde en sortie de la pupille de sortie 12 de l’optique principale 1, c’est-à-dire la surface de front d’onde de sortie S_sor, est une surface de forme arbitraire, qui est la somme de la surface de sortie idéale S_id d’une optique parfaite, et de la fonction d’aberration W.

La fonction d’aberration W peut être décomposée en une série de polynôme de Seidel. La théorie de Seidel formalise sous forme d’une série de polynômes la fonction d’aberration W. En variante, la fonction d’aberration W peut être décomposée en une série de polynôme de Zernike.

Les paramètres de projection Par_Proj de chaque ensemble de données d’entrée € peuvent comprendre :
- le rayon de la surface de front d’onde idéale sphérique S_id ;
- les coefficients jusqu’au cinquième degré de la série de polynômes de la fonction d’aberration W ; et/ou ;
- une distance entre l’optique principale 1 et le capteur 3 de la caméra plénoptique.

Ainsi, les paramètres de projection Par_Proj du modèle de projection de la caméra plénoptique sont représentatifs non seulement des aberrations d’ordre primaire de l’optique principale 1, qui correspondent à un développement de la fonction d’aberration W jusqu’à l’ordre 3, mais également des aberrations d’ordre supérieur, qui correspondent à un développement de la fonction d’aberration W au-delà de l’ordre 3, en particulier jusqu’à l’ordre 5. En outre, la distance entre l’optique principale 1 et le capteur 3 est susceptible de différer de la distance annoncée dans les données de fabrication. Plusieurs ensembles de données d’entrée E présentant plusieurs distances différentes entre l’optique principale 1 et le capteur 3 peuvent ainsi être déterminés en vue de calculer l’erreur de calibrage Δcal.

S6 : détermination de rayons lumineux objets

Chaque rayon lumineux objet 60 est déterminé à l’étape S6, à partir de chaque rayon lumineux image 50 correspondant et d’un ensemble de données d’entrée déterminé à l’étape S0.

Ainsi, pour chaque ensemble de données d’entrée E des plusieurs ensembles de données d’entrée E déterminés à l’étape S0, un ensemble de rayons lumineux objets 60 correspondant est déterminé à l’étape S6.

En effet, les paramètres de projection Par_Proj permettent de reconstituer, à partir du tracé des rayons lumineux images 50, une surface de front d’onde de sortie S_sor calculée par une solution algorithmique, et qui modélise les aberrations d’ordre supérieur de l’optique principale 1. Les rayons lumineux objets 60 peuvent alors être reconstitués à partir de la surface de front d’onde de sortie S_sor calculée pour chaque ensemble de calibrage E parmi les plusieurs ensembles de calibrage E déterminés à l’étape S0.

En particulier, le procédé de calibrage peut comprendre en outre une étape de propagation de la surface de front d’onde de sortie S_sor déterminée jusqu’à l’optique principale 1 de la caméra plénoptique, en particulier jusqu’à la surface S_lens représentant l’optique principale 1. La surface de front d’onde de sortie S_sor déterminée et propagée correspond à une surface de front d’onde géométrique issue du point objet réel P_obj_r au niveau d’une sortie de l’optique principale 1 de la caméra plénoptique, c’est-à-dire au niveau de la pupille de sortie 12 de l’optique principale 1 sur l’axe optique z. La surface de front d’onde de sortie S_sor prend en compte les aberrations primaires et d’ordre supérieur de l’optique principale 1.

La surface de front d’onde idéale en entrée de l’optique principale 1 de la caméra plénoptique peut être sensiblement sphérique et converger sensiblement vers le point objet théorique P_obj_th. Le procédé peut comprendre en outre une étape de propagation de la surface de front d’onde idéale en entrée de l’optique principale 1 depuis une surface de l’optique principale S_lens de la caméra plénoptique jusqu’à la mire de calibrage.

Chaque rayon lumineux objet 60 peut être tracé à partir de la surface de front d’onde idéale en entrée de l’optique principale 1 déterminée, le rayon lumineux objet 60 passant par un point prédéterminé de la surface de front d’onde idéale en entrée de l’optique principale 1 et étant de direction perpendiculaire au gradient de la surface de front d’onde idéale en entrée de l’optique principale 1 en ce point prédéterminé.

S7 : Détermination du point objet théorique

La position du point objet théorique P_obj_th sur la mire de calibrage est calculée à partir du tracé des rayons lumineux objets 60.

En théorie, le point objet réel P_obj_r correspond à un objet ponctuel. Néanmoins, dans la pratique, les rayons lumineux objets 60, obtenus à partir de l’image du point objet réel P_obj_r sur le capteur 3, ne convergent pas en un objet ponctuel unique, mais en une zone de l’espace autour du point objet à reconstituer.

Le point objet théorique P_obj_th associé au point objet réel P_obj_r peut être déterminé par triangulation des rayons lumineux objets 60 déterminés à l’étape S6. En d’autres termes, la position du point objet théorique P_obj_th correspond à la position d’un point qui minimise une somme des distances entre ce point et l’ensemble des droites correspondants aux rayons lumineux objets 60 déterminés à l’étape S6. La triangulation peut être réalisée au sens des moindres carrés.

Ainsi, l’ensemble des plusieurs points objets théoriques P_obj_th associés aux plusieurs points objets réels P_obj_r peuvent être reconstruits, puis comparés à l’ensemble des plusiuers points objets réels P_obj_r associés, par similarité entre deux nuages de points 3D.

S8 : calcul de l’erreur de calibrage, et S9 : détermination de l’ensemble de calibrage

La position de chaque point objet théorique P_obj_th est comparée à la position de chaque point objet réel P_obj_r associé, afin de calculer une erreur de calibrage Δcal.

L’erreur de calibrage Δcal est associée à l’ensemble de données d’entrée E déterminé à l‘étape S0, c’est-à-dire aux paramètres de projection Par_Proj du modèle de projection à partir desquels les rayons lumineux objets 60 sont calculés. Le point objet théorique P_obj_th peut être estimé par triangulation à partir des rayons lumineux objets 60.

L’erreur de calibrage Δcal peut notamment prendre en compte une différence entre les positions des points objets théoriques P_obj_th et les positions des points objets réels P_obj_r associés, le procédé comprenant une étape de comparaison entre les positions des points objets théoriques P_obj_th et les positions des points objets réels P_obj_r associés. Ainsi, l’ensemble des positions des points objets théoriques P_obj_th, obtenues en utilisant les paramètre de projection Par_proj, estimés par intersection des rayons 60, est comparée à l’ensemble des points objets réels P_obj_r de la mire de calibrage pour en déduire l’erreur de calibrage Δcal.

En outre, l’erreur de calibrage Δcal peut prendre en compte un critère de qualité d’intersection des rayons lumineux objets 50.

Ainsi qu’illustré à titre d’exemple non limitatif en , l’erreur de calibrage Δcal est calculée pour chacun des ensembles de données d’entrée E définis à l’étape S0, une erreur de calibrage Δcal étant associée à chaque ensemble de donnée d’entrée E.

L’ensemble de calibrage E_min correspond à l’ensemble de données d’entrée conduisant à l’erreur de calibrage Δcal minimale, c’est-à-dire à l’ensemble de données d’entrée optimisant le modèle de projection de la caméra plénoptique. Pour cet ensemble de calibrage E_min, l’erreur de calibrage Δcal est minimisée, et la précision du calibrage est donc optimisée. Les paramètres de projection Par_Proj de l’ensemble de calibrage E_min permettent ainsi une reconstitution précise du point objet réel P_obj_r, qui prend en compte une aberration primaire et une aberration d’ordre supérieur de l’optique principale 1.

Ce critère de calibrage par minimisation de l’erreur de calibrage Δcal correspond à la minimisation de la moyenne de la distance entre la reconstitution d’un point objet théorique P_obj_th à partir d’un point image P_im par le modèle de la caméra plénoptique, et le point objet réel P_obj_r de la mire de calibrage.

La mire de calibrage présente une position prédéterminée et une géométrie réelle connue définie par des positions relatives de plusieurs points objets réels P_obj_r les uns par rapport aux autres. Les positions des points objets réels P_obj_r sont exprimées dans un repère de la mire de calibrage et les positions des points objets théoriques P_obj_th sont exprimés dans un repère de la caméra plénoptique.

Pour chaque ensemble de données d’entrée E déterminé à l’étape S0, l’étape S8 de calcul de l’erreur de calibrage Δcal peut comprendre les sous-étapes suivantes :
S81 : calcul d’une première erreur de calibrage δcal1 correspondant à une somme, effectuée sur les plusieurs points objets réels P_obj_r de la mire de calibrage, des distances entre chaque point objet réel P_obj_r et chaque point objet théorique P_obj_th associé ;
S82 : calcul d’une deuxième erreur de calibrage δcal2 correspondant à une somme, effectuée sur les plusieurs points objets théoriques P_obj_th, d’une somme des distances entre le point objet théorique P_obj_th et chaque rayon lumineux objet 60 correspondant au point objet théorique P_obj_th ; et
S83 : calcul de l’erreur de calibrage Δcal pour la position prédéterminée de la mire de calibrage, correspondant à une somme de la première erreur de calibrage δcal1 et de la deuxième erreur de calibrage δcal2.

La première erreur de calibrage δcal1 correspond à une erreur de recalage entre le repère de la mire de calibrage et le repère de la caméra plénoptique. En effet, minimiser la première erreur de calibrage δcal1 revient à déterminer une transformation géométrique entre le repère de la mire de calibrage et le repère de la caméra plénoptique, par exemple une rotation et/ou une translation entre le repère de la mire de calibrage et le repère de la caméra plénoptique, qui minimise les distances entre les points objets réels P_obj_r et les points objets théoriques P_obj_th. La première erreur de calibrage δcal1 est en outre représentative d’une distance entre une géométrie théorique de la mire de calibrage définie par des positions relatives des points objets théoriques P_obj_th déterminés et la géométrie réelle de la mire de calibrage. Ainsi, la première erreur de calibrage δcal1 est représentative de la contrainte géométrique de la mire de calibrage, c’est-à-dire de la reconstitution par le modèle de la caméra comprenant l’ensemble de données d’entrée E déterminé à l’étape S0 de la géométrie de la mire de calibrage. La première erreur de calibrage δcal1 correspond à une erreur entre une géométrie de la mire connue et une géométrie de la mire estimée par intersection des rayons lumineux objets 60, c’est-à-dire par comparaison de deux nuages de points. Les distances relatives entre les points objets théoriques P_obj_th doivent être sensiblement identiques aux distances relatives entre les points objets réels P_obj_r.

Pour l’ensemble de calibrage E_min, les positions des points objets théoriques P_obj_th obtenues par le modèle de projection de la caméra plénoptique sont de façon générale les plus proches des positions des points objets réels P_obj_r acquis par la caméra plénoptique, et la géométrie théorique de la mire de calibrage reconstitue de façon générale avec la meilleure précision la géométrie réelle de la mire de calibrage. En d’autres termes, le nuage de points correspondant à l’ensemble des points objets réels P_obj_r utilisés pour la calibration doit correspondre sensiblement au nuage de points correspondant à l’ensemble des points objets théoriques P_obj_th déterminés.

La deuxième erreur de calibrage δcal2 correspond à une erreur sur la qualité d’intersection des rayons lumineux objets 60, calculée pour l’ensemble des rayons lumineux objets 60. En effet, les rayons lumineux objets 60 sont supposés s’intersecter parfaitement en un unique point. Ainsi, la somme des distances entre les intersections des rayons lumineux objets 60 correspondants aux points objets théoriques P_obj_th et la mire de calibrage constituent la deuxième erreur de calibrage δcal2. La deuxième erreur de calibrage est indépendante des points objets réels P_obj_r. Ainsi, la deuxième erreur de calibrage δcal2 peut être exprimée par l’équation suivante :

où :

représente le nombre de points objets théoriques P_obj_th,

représente le nombre de rayon lumineux objets 60 associés au ième point objet théorique P_obj_th, et

représente une distance entre le point objet théorique P_obj_th et le jème rayon lumineux objet 60 associé au ième point objet théorique P_obj_th.

Lorsque l’ensemble de données d’entrée E comprend en outre un paramètre de projection Par_Proj correspondant à une distance entre l’optique principale 1 et le capteur 3, la distance de calibrage, correspondant à la distance de l’ensemble de calibrage E_min, correspond sensiblement à une distance réelle entre l’optique principale 1 et le capteur 3.

L’ensemble de calibrage E_min peut correspondre à l’ensemble de paramètres minimisant l’expression suivante :

où :
N représente le nombre de postions prédéterminées de la mire de calibrage,
M représente le nombre de points objets réels P_obj_r de la mire de calibrage,
représente le nombre d’éléments optiques 21 qui observent le j-ème point objet réel P_obj_r de la i-ème position prédéterminée de la mire de calibrage,
d()représente une distance, en l’occurrence calculée entre les points objets réels P_obj_r détectés et les points objets théoriques P_obj_th déterminés par le modèle de la caméra plénoptique,
représente la k-ème position du j-ème pixel de la i-ème position prédéterminée de la mire de calibrage,
Parreprésente un vecteur contenant l’ensemble des paramètres de projection Par_Proj de l’ensemble de données d’entrée E à déterminer dans le procédé de calibr ge ; par exemple,Parpeut contenir le rayon de la surface de front d’onde idéale sphérique S_id et/ou les coefficients jusqu’au cinquième degré de la série de polynômes de la fonction d’aberration W et/ou une distance entre l’optique principale 1 et le capteur 3,
représente la rotation de la mire de calibrage dans sa i-ème position prédéterminée,
représente la translation de la mire de calibrage dans sa i-ème position prédéterminée, et
représente l’intersection des rayons lumineux objets 60 au niveau de la mire de calibrage.
Ce critère permet de mesurer la qualité d’intersection des rayons pour l’ensemble des points de la mire de calibrage aux différentes positions prédéterminées de la mire de calibrage.

Procédé de reconstitution tridimensionnelle

Un procédé de reconstruction tridimensionnelle d’un objet à l’aide d’une caméra plénoptique, ledit objet comprenant une pluralité de points objets, comprend les étapes suivantes, ainsi qu’illustré à titre d’exemple non limitatif en :
S100 : calibrage de la caméra plénoptique par détermination d’un ensemble de données d’entrée E de calibrage E_min minimisant une erreur de calibrage Δcal de la caméra plénoptique à l’aide d’un procédé de calibrage selon le premier aspect ;
pour chaque point objet de l’objet à reconstruire tridimensionnellement :
S101 : acquisition du point objet par la caméra plénoptique ;
S102 : détermination d’une position image du point objet, ladite position image correspondant à une position détectée sur un capteur 3 de la caméra plénoptique de l’image du point objet à travers la caméra plénoptique ;
S104 : détermination d’un ensemble de pixels du capteur 3, chaque pixel de l’ensemble de pixels appartenant à un macropixel 31 du capteur 3 et étant associé à un unique élément optique 21 d’une matrice d’éléments optiques 2 de la caméra plénoptique, ledit unique élément optique 21 étant attribué à un macropixel 31 du capteur 3, chaque pixel de l’ensemble de pixels étant en outre associé à la position image du point objet réel ;
S105 : détermination d’un ensemble de rayons lumineux images 50, dans lequel chaque rayon lumineux image 50 passe par un pixel respectif de l’ensemble de pixels et par l’unique élément optique 21 attribué audit pixel respectif lors de l’étape S104 ;
S106 : détermination d’un ensemble de rayons lumineux objets 60, dans lequel chaque rayon lumineux objet 60 est déterminé à partir d’un rayon lumineux image 50 associé déterminé à l’étape S105 et des paramètres de projection Par_Proj de l’ensemble de calibrage E_min déterminé à l’étape S100 ; et
S107 : reconstruction tridimensionnelle du point objet, ledit point objet correspondant à un barycentre de l’ensemble des intersections des rayons lumineux objets 60 déterminés à l’étape S106.

L’étape S106 peut comprendre un calcul d’une surface de front d’onde de sortie S_sor et/ou d’une surface de front d’onde d’entrée S_en et le cas échéant d’un gradient de surface de front d’onde de sortie S_sor et/ou d’un gradient de surface de front d’onde d’entrée S_en, à partir du modèle de projection de la caméra plénoptique avec l’ensemble de calibrage E_min déterminé à l’étape S100. Chaque rayon lumineux objet 60 peut correspondre à l’objet du rayon lumineux image 50 associé à travers l’optique principale 1 de la caméra plénoptique.

Les étapes du procédé sont répétées pour chaque point objet de l’objet à reconstituer tridimensionnellement, afin de procéder à la reconstitution tridimensionnelle de l’objet entier.

Le rayon partant du pixel du capteur 3 passe par le centre d’élément optique 21 associé au pixel lors de l’étape S32, la position du centre d’élément optique 21 étant le cas échéant déterminée à l’étape S33.

La reconstitution tridimensionnelle peut être effectuée à l’étape S107 par triangulation, c’est-à-dire par intersection des rayons. L’intersection de ces rayons peut être calculée au sens des moindres carrés.

De même que pour le procédé de calibrage, la propagation des rayons pour la reconstitution tridimensionnelle est effectuée en partant des pixels du capteur 3 vers la scène imagée. La reconstitution tridimensionnelle au moyen du procédé décrit ci-dessus présente des avantages de précision de reconstitution avec une qualité lui permettant d’être utilisée pour la métrologie tridimensionnelle, du fait de la précision obtenue via le procédé de calibrage décrit ci-dessus.

Dispositif de reconstitution tridimensionnelle

Un dispositif de reconstitution tridimensionnelle peut comprendre une caméra plénoptique et un moyen de traitement numérique 4.

La caméra plénoptique comprend une optique principale 1, un capteur photosensible 3 et une matrice d’éléments optiques 2 disposée entre l’optique principale 1 et le capteur 3, la matrice d’éléments optiques 2 comprenant une pluralité d’éléments optiques 21 disposés sur un plan de matrice Pmat, le capteur 3 comprenant au moins un macropixel 31 comprenant une pluralité de pixels disposés sur un plan de capteur Pcapt. La caméra plénoptique peut comprendre un ou une combinaison des éléments décrits ci-dessus.

Le moyen de traitement numérique 4 ou calculateur de traitement numérique, comprend un modèle de caméra plénoptique adapté pour être calibré par un procédé de calibrage de la caméra plénoptique tel que décrit ci-dessus. Le moyen de traitement numérique 4 est adapté pour mettre en œuvre un procédé de reconstruction tridimensionnelle d’un objet tel que décrit ci-dessus.

Le moyen de traitement numérique 4 est ainsi adapté pour fournir une reconstruction tridimensionnelle d’une scène objet imagée à partir des données, c’est-à-dire des valeurs des pixels, d’une image ou d’une série d’images de la scène fournies en sortie par la caméra, en fonction de l’ensemble de calibrage E_min Param de la caméra plénoptique.

En d’autres termes, le moyen de traitement numérique 4 est configuré pour déterminer, à partir d'un ensemble d'images fournies par le capteur photosensible 3, une distance entre un point objet et la caméra plénoptique.

En particulier, le moyen de traitement numérique 4 est adapté pour associer entre eux les pixels différents qui correspondent à un même point objet.

D’autres modes de réalisation peuvent être envisagés et une personne du métier peut facilement modifier les modes ou exemples de réalisation exposés ci-dessus ou en envisager d’autres tout en restant dans la portée de l’invention.

Claims

Procédé de calibrage d’une caméra plénoptique comprenant les étapes suivantes :
S1 : acquisition d’un point objet réel (P_obj_r) d’une mire de calibrage par la caméra plénoptique, une position du point objet réel (P_obj_r) étant connue ;
S6 : détermination d’un ensemble de rayons lumineux objets (60), dans lequel chaque rayon lumineux objet (60) est déterminé à partir d’un rayon lumineux image (50) associé et d’un ensemble de données d’entrée (E) comprenant des paramètres de projection (Par_Proj) d’un modèle de projection de la caméra plénoptique ;
S7 : détermination d’un point objet théorique (P_obj_th) associé au point objet réel (P_obj_r), le point objet théorique (P_obj_th) correspondant à un barycentre de l’ensemble des intersections des rayons lumineux objets (60) avec la mire de calibrage ; et
S8 : calcul d’une erreur de calibrage (Δcal) en fonction d’une position du point objet théorique (P_obj_th) et de la position du point objet réel (P_obj_r).
Procédé selon la revendication 1 comprenant en outre les étapes suivantes, réalisées préalablement à l’étape S6 de détermination de l’ensemble de rayons lumineux objets (60) :
S5 : détermination d’un ensemble de rayons lumineux images (50), dans lequel chaque rayon lumineux image (50) passe par un pixel respectif d’un ensemble de pixels appartenant à un macropixel (31) d’un capteur photosensible (3) de la caméra plénoptique et par un unique élément optique (21) d’une matrice d’éléments optiques (2) de la caméra plénoptique, ledit unique élément optique (21) étant attribué audit pixel respectif ;
S0 : détermination de plusieurs ensembles de données d’entrée (E) à partir des rayons lumineux images (50) déterminés, chaque ensemble de données d’entré (E) comprenant des paramètres de projection (Par_Proj) d’un modèle de projection de la caméra plénoptique, dans lequel les paramètres de projection (Par_Proj) sont représentatifs d’une aberration primaire et d’une aberration d’ordre supérieur d’une optique principale (1) de la caméra plénoptique ;
et dans lequel le procédé comprend en outre l’étape suivante, réalisée ultérieurement à l’étape S8 de calcul de l’erreur de calibrage (Δcal) :
S9 : détermination de l’ensemble de calibrage (E_min) correspondant à l’ensemble de données d’entrée (E) minimisant l’erreur de calibrage (Δcal).
Procédé selon la revendication 2, comprenant en outre les étapes suivantes, réalisées préalablement à l’étape S1 d’acquisition du point objet réel (P_ob_r) :
S31 : détermination d’une position relative d'un plan de matrice (Pmat), sur lequel sont disposés les éléments optiques (21) de la matrice d’éléments optiques (2), par rapport à un plan de capteur (Pcapt), sur lequel sont disposés les pixels du capteur (3) ;
S32 : attribution à un macropixel (31) du capteur (3) d’un unique élément optique (21) de la matrice d’éléments optiques (2), à partir de la position relative du plan de matrice (Pmat) par rapport au plan de capteur (Pcapt) ; et
S4 : détermination d’un ensemble de pixels (3) du capteur (3), chaque pixel de l’ensemble de pixels appartenant à un macropixel (31) du capteur (3) et étant associé à l’unique élément optique (21) attribué audit macropixel (31), chaque pixel de l’ensemble de pixels étant en outre associé à la position image (P_im) du point objet réel (P_obj_r).
Procédé de calibrage selon la revendication 2 ou la revendication 3, la mire de calibrage présentant une position prédéterminée et une géométrie réelle connue définie par des positions relatives de plusieurs points objets réels (P_obj_r) les uns par rapport aux autres, les positions des points objets réels (P_obj_r) étant exprimées dans un repère de la mire de calibrage et les positions des points objets théoriques (P_obj_th) étant exprimées dans un repère de la caméra plénoptique, dans lequel pour chaque ensemble de données d’entrée (E) déterminé à l’étape S0, l’étape S8 de calcul de l’erreur de calibrage (Δcal) comprend les sous-étapes suivantes :
S81 : calcul d’une première erreur de calibrage (δcal1) correspondant à une somme, effectuée sur les plusieurs points objets réels (P_obj_r) de la mire de calibrage, des distances entre chaque point objet réel (P_obj_r) et chaque point objet théorique (P_obj_th) associé ;
S82 : calcul d’une deuxième erreur de calibrage (δcal2) correspondant à une somme, effectuée sur les plusieurs points objets théoriques (P_obj_th), d’une somme des distances entre le point objet théorique (P_obj_th) et chaque rayon lumineux objet (60) correspondant au point objet théorique (P_obj_th) ; et
S83 : calcul de l’erreur de calibrage pour la position prédéterminée de la mire de calibrage, correspondant à une somme de la première erreur de calibrage (δcal1) et de la deuxième erreur de calibrage (δcal2).
Procédé de calibrage d’une caméra plénoptique selon l’une quelconque des revendications précédentes, comprenant une étape de déplacement de la mire de calibrage entre plusieurs positions prédéterminées, les positions relatives des plusieurs positions prédéterminées de la mire de calibrage les unes par rapport aux autres étant connues, dans lequel certains des plusieurs points objets (P_obj_r) sont acquis à l’étape S1 pour plusieurs positions prédéterminées différentes de la mire de calibrage.
Procédé de calibrage d’une caméra plénoptique selon l’une quelconque des revendications précédentes, comprenant en outre les étapes suivantes :
S52 : détermination d’un échantillonnage d’un gradient d’une surface de front d’onde de sortie (S_sor) à partir de l’ensemble de rayons lumineux images (50) déterminé à l’étape S5 ;
S53 : détermination de plusieurs fonctions représentatives de la surface de front d’onde de sortie (S_sor) à partir de l’échantillonnage de gradient déterminé à l’étape S52, chacune desdites plusieurs fonctions représentatives de la surface de front d’onde de sortie (S_sor) correspondant à une somme :
- d’une surface de front d’onde idéale (S_id) au niveau d’une sortie d’une optique principale (1) sans aberration optique, la surface de front d’onde idéale (S_id) étant une surface sphérique présentant un rayon de surface sphérique ; et
- d’une fonction d’aberration (W) adaptée pour prendre en compte des aberrations optiques d’ordre primaire et d’ordre supérieur de l’optique principale (1), la fonction d’aberration (W) étant adaptée pour être décomposée en une série de polynômes ;
l’étape S53 correspondant à une détermination des coefficients associés à des degrés de polynôme de la série de polynômes de la fonction d’aberration (W) jusqu’à un degré représentatif d’une aberration d’ordre supérieur de l’optique principale (1), les paramètres de projection (Par_Proj) de chaque ensemble de données d’entrée (E) comprenant les coefficients déterminés à l’étape S53.
Procédé de calibrage d’une caméra plénoptique selon la revendication 6, dans lequel les paramètres de projection (Par_Proj) de chaque ensemble de données d’entrée (E) comprennent :
- le rayon de la surface de front d’onde idéale sphérique (S_id) ;
- les coefficients jusqu’au cinquième degré de la série de polynômes de la fonction d’aberration (W) ; et
- une distance entre l’optique principale (1) et le capteur (3) de la caméra plénoptique.
Procédé de calibrage d’une caméra plénoptique selon la revendication 3 prise en combinaison avec l’une quelconque des revendications 4 à 7, dans lequel les positions des éléments optiques (21) sur le plan de matrice (Pmat) sont connues, les positions des pixels du capteur (3) sur le plan de capteur (Pcapt) sont connues, et dans lequel la position relative du plan de matrice (Pmat) par rapport au plan de capteur (Pcapt) est déterminée à l’étape S3 à partir des étapes suivantes :
S310 : acquisition par la caméra plénoptique d’un objet de référence ;
S320 : détection sur le plan de capteur (Pcapt) de l’image (5) de l’objet de référence par la caméra plénoptique ;
S330 : détermination des positions des éléments optiques (21) sur le plan de capteur (Pcapt), à partir de l’image (5) de l’objet de référence détectée à l’étape S320 ;
S340 : détermination d’une transformation géométrique (Tmat/capt) entre le plan de matrice (Pmat) et le plan de capteur (Pcapt), à partir des positions des éléments optiques (21) sur le plan de matrice (Pmat) connues et des positions des éléments optiques (21) sur le plan de capteur (Pcapt) déterminées à l’étape S330 ;
et dans lequel le procédé peut comprendre en outre une étape S41 de détermination d’une position de chaque élément optique (21) attribué à un pixel respectif de l’ensemble déterminé à l’étape S4 sur le plan de capteur (Pcapt), à partir de la position relative du plan de matrice (Pmat) par rapport au plan de capteur (Pcapt) déterminée à l’étape S3, chaque rayon lumineux image (50) déterminé à l’étape S5 passant par ledit pixel et ledit élément optique (21) respectif.
Procédé de reconstruction tridimensionnelle d’un objet à l’aide d’une caméra plénoptique, ledit objet comprenant une pluralité de points objets, le procédé comprenant les étapes suivantes :
S100 : calibrage de la caméra plénoptique par détermination d’un ensemble de données d’entrée de calibrage (E_min) minimisant une erreur de calibrage (Δcal) de la caméra plénoptique à l’aide d’un procédé de calibrage selon l’une quelconque des revendications précédentes ;
pour chaque point objet de l’objet à reconstituer tridimensionnellement :
S101 : acquisition du point objet par la caméra plénoptique ;
S102 : détermination d’une position image du point objet, ladite position image correspondant à une position détectée sur un capteur (3) de la caméra plénoptique de l’image du point objet à travers la caméra plénoptique ;
S104 : détermination d’un ensemble de pixels du capteur (3), chaque pixel de l’ensemble de pixels appartenant à un macropixel (31) du capteur (3) et étant associé à un unique élément optique (21) d’une matrice d’éléments optiques (2) de la caméra plénoptique, ledit unique élément optique (21) étant attribué à un macropixel (31) du capteur (3), chaque pixel de l’ensemble de pixels étant en outre associé à la position image du point objet ;
S105 : détermination d’un ensemble de rayons lumineux images (50), dans lequel chaque rayon lumineux image (50) passe par un pixel respectif de l’ensemble de pixels et par l’unique élément optique (21) attribué audit pixel respectif lors de l’étape S104 ;
S106 : détermination d’un ensemble de rayons lumineux objets (60), dans lequel chaque rayon lumineux objet (60) est déterminé à partir d’un rayon lumineux image (50) associé déterminé à l’étape S105 et des paramètres projection (Par_Proj) de l’ensemble de calibrage (E_min) déterminé à l’étape S100 ; et
S107 : reconstruction tridimensionnelle du point objet, ledit point objet correspondant à un barycentre de l’ensemble des intersections des rayons lumineux objets (60) déterminés à l’étape S106.
Dispositif de reconstruction tridimensionnelle comprenant une caméra plénoptique et un moyen de traitement numérique (4), la caméra plénoptique comprenant une optique principale (1), un capteur photosensible (3) et une matrice d’éléments optiques (2) disposée entre l’optique principale (1) et le capteur (3), la matrice d’éléments optiques (2) comprenant une pluralité d’éléments optiques (21) disposés sur un plan de matrice (Pmat), le capteur (3) comprenant au moins un macropixel (31) comprenant une pluralité de pixels disposés sur un plan de capteur (Pcapt), le moyen de traitement numérique comprenant un modèle de caméra plénoptique adapté pour être calibré par un procédé de calibrage de la caméra plénoptique selon l’une quelconque des revendications 1 à 8, le moyen de traitement numérique (4) étant adapté pour mettre en œuvre un procédé de reconstruction tridimensionnelle d’un objet selon la revendication 9.