FR3115626A1

FR3115626A1 - Process for calibrating a plenoptic camera

Info

Publication number: FR3115626A1
Application number: FR2010948A
Authority: FR
Inventors: Ahmed Nasreddinne BENAICHOUCHE; Franck Michaud
Original assignee: Safran SA
Current assignee: Safran SA
Priority date: 2020-10-26
Filing date: 2020-10-26
Publication date: 2022-04-29

Abstract

L’invention décrit un procédé de calibrage d’une caméra plénoptique, comprenant les étapes suivantes :S2 : détermination d’une position image réelle (P_im_r) d’un point objet de calibrage (P_obj) acquis par la caméra plénoptique ; S4 : définition de plusieurs ensembles de données d’entrée (E) comprenant des paramètres de projection (Par_Proj) représentatifs d’une aberration primaire et d’une aberration d’ordre supérieur de l’optique principale (1), et des paramètres de position (Par_Pos) d’un point objet de modélisation (P_mod) ; S6 : calcul d’une position image théorique (P_im_th) du point objet de modélisation (P_mod) à partir d’un tracé de rayon lumineux et d’une position relative de la matrice d’éléments optiques (2) par rapport au capteur (3) (Pmat/Pcapt); etS7 : calcul d’une erreur de calibrage δcal entre la position image théorique (P_im_th) et la position image réelle (P_im_r). Figure pour l’abrégé : Fig. 6The invention describes a method for calibrating a plenoptic camera, comprising the following steps: S2: determination of a real image position (P_im_r) of a calibration object point (P_obj) acquired by the plenoptic camera; S4: definition of several sets of input data (E) including projection parameters (Par_Proj) representative of a primary aberration and a higher order aberration of the main optics (1), and parameters of position (Par_Pos) of a modeling object point (P_mod); S6: calculation of a theoretical image position (P_im_th) of the modeling object point (P_mod) from a light ray trace and a relative position of the matrix of optical elements (2) with respect to the sensor ( 3) (Pmat/Pcapt); andS7: calculation of a calibration error δcal between the theoretical image position (P_im_th) and the real image position (P_im_r). Figure for the abstract: Fig. 6

Description

Process for calibrating a plenoptic camera

DOMAINE DE L'INVENTIONFIELD OF THE INVENTION

La présente invention concerne le domaine des caméras plénoptiques, qui sont des caméras adaptées pour acquérir une scène en trois dimensions à partir d’images en deux dimensions. L’invention concerne en particulier le domaine des procédés de calibrage de caméras plénoptiques adaptées pour être utilisées dans la métrologie tridimensionnelle.The present invention relates to the field of plenoptic cameras, which are cameras suitable for acquiring a three-dimensional scene from two-dimensional images. The invention relates in particular to the field of methods for calibrating plenoptic cameras suitable for use in three-dimensional metrology.

ETAT DE LA TECHNIQUESTATE OF THE ART

Une caméra plénoptique permet de représenter en trois dimensions un objet ou une scène à partir d’un ensemble d’images en deux dimensions de l’objet ou de la scène.A plenoptic camera makes it possible to represent an object or a scene in three dimensions from a set of two-dimensional images of the object or scene.

Une caméra plénoptique, ainsi qu’illustrée en , comprend une optique principale 1, un capteur photosensible 3, et une matrice (ou réseau) de microlentilles 2 disposée entre l’optique principale 1 et le capteur 3.A plenoptic camera, as shown in , comprises a main lens 1, a photosensitive sensor 3, and a matrix (or network) of microlenses 2 placed between the main lens 1 and the sensor 3.

L’optique principale 1, telle qu’une lentille, reçoit des rayons lumineux provenant d’un objet. Le capteur photosensible 3 est situé à proximité de la matrice de microlentilles 2, et comprend une surface de détection formée d’une pluralité de pixels disposés en une matrice de pixels.The main optic 1, such as a lens, receives light rays coming from an object. The photosensitive sensor 3 is located close to the matrix of microlenses 2, and comprises a detection surface formed by a plurality of pixels arranged in a matrix of pixels.

Ainsi, le centre de chaque microlentille 21 reçoit tous les rayons lumineux issus du point objet conjugué de ce centre, ces rayons présentant des directions différentes. Les paramètres de la caméra, en particulier la distance focale de l’optique principale et celle des éléments optiques, sont choisis de manière à ce que les images formées par les éléments optiques sur le capteur photosensible ne se recouvrent pas.Thus, the center of each microlens 21 receives all the light rays originating from the object point conjugate with this center, these rays having different directions. The camera parameters, in particular the focal length of the main optics and that of the optical elements, are chosen so that the images formed by the optical elements on the photosensitive sensor do not overlap.

La microlentille 21 répartit sur plusieurs pixels du capteur photosensible 3 les rayons de directions différentes. Les pixels recevant tous les rayons lumineux issus d'une même microlentille 21 forment un groupe appelé macropixel 31. Un macropixel 31 comprend au moins deux pixels s’étendant dans la direction horizontale et/ou dans la direction verticale.The microlens 21 distributes the rays of different directions over several pixels of the photosensitive sensor 3. The pixels receiving all the light rays coming from the same microlens 21 form a group called macropixel 31. A macropixel 31 comprises at least two pixels extending in the horizontal direction and/or in the vertical direction.

L'image prise par le capteur contient donc l'information suffisante pour former des images vues selon des points de vue différents. Une caméra plénoptique permet ainsi, avec un seul système compact, de faire un échantillonnage spatial, en position, et angulaire, en orientation, de la distribution des rayons lumineux dans l’espace. Une caméra plénoptique capte ainsi l’information de profondeur du champ lumineux.The image taken by the sensor therefore contains sufficient information to form images seen from different points of view. A plenoptic camera thus makes it possible, with a single compact system, to perform spatial sampling, in position, and angular, in orientation, of the distribution of light rays in space. A plenoptic camera thus captures the depth information of the light field.

Le document WO 2017/042494 décrit une caméra plénoptique présentant un agencement de microlentilles modifié pour augmenter la résolution de la caméra plénoptique, c’est-à-dire pour obtenir un échantillonnage plus dense du volume observé.Document WO 2017/042494 describes a plenoptic camera having a modified microlens arrangement to increase the resolution of the plenoptic camera, that is to say to obtain a denser sampling of the observed volume.

L’approximation classique de l’optique géométrique permet de traiter la grande majorité des cas d’étude en imagerie non cohérente et quand les distances caractéristiques sont grandes devant la longueur d’onde de la lumière.The classical approximation of geometric optics makes it possible to deal with the vast majority of cases of study in non-coherent imaging and when the characteristic distances are large compared to the wavelength of light.

L’approximation de l’optique géométrique remplace la problématique de propagation d’onde électromagnétique par un formalisme équivalent de tracé de rayon lumineux. La longueur d’onde est négligée dans les équations de Maxwell de propagation de l’onde lumineuse. Le trajet de la lumière dans un milieu vérifie l’équation eikonale. Les champs électromagnétiques sont remplacés par des fonctions scalaires, et un rayon lumineux ne garde que l’information de la direction de la propagation de l’énergie : les effets de déphasage dans l’amplitude de l’onde ne sont pas pris en compte et les interférences et la diffraction sont ainsi négligés.The geometric optics approximation replaces the problem of electromagnetic wave propagation by an equivalent formalism of light ray tracing. Wavelength is neglected in Maxwell's equations of light wave propagation. The path of light in a medium verifies the eikonal equation. The electromagnetic fields are replaced by scalar functions, and a light ray only keeps the information of the direction of the propagation of the energy: the effects of phase shift in the amplitude of the wave are not taken into account and interference and diffraction are thus neglected.

Le front d’onde géométrique issu d’un point objet correspond à la surface d’égale phase de l’onde lumineuse issue du point objet, tous les points du front d’onde géométrique ayant mis le même temps de parcours depuis le point objet.The geometric wave front coming from an object point corresponds to the surface of equal phase of the light wave coming from the object point, all the points of the geometric wave front having taken the same travel time from the object point .

Dans le cadre de l’optique géométrique, la direction des rayons optiques est perpendiculaire à la direction du gradient de la surface du front d’onde géométrique. La direction de propagation de l’onde, qui est représentée par le tracé des rayons optiques, est orthogonale à la surface de front d’onde en tout point de cette surface.In geometric optics, the direction of optical rays is perpendicular to the gradient direction of the surface of the geometric wavefront. The direction of wave propagation, which is represented by the optical ray trace, is orthogonal to the wavefront surface at any point on that surface.

Lorsque les conditions de Gauss sont respectées, c’est-à-dire à proximité de l’axe optique, donc lorsque les rayons présentent un angle d’incidence faible par rapport à l’axe optique et que le point d’incidence est proche de l’axe optique, l’approximation de Gauss est valable et permet de simplifier les relations mathématiques de l’optique géométrique.When the Gaussian conditions are respected, i.e. close to the optical axis, so when the rays have a low angle of incidence with respect to the optical axis and the point of incidence is close of the optical axis, the Gaussian approximation is valid and makes it possible to simplify the mathematical relations of geometrical optics.

Dans l’approximation de Gauss, les courbures et épaisseurs des optiques sont négligées, le système optique est considéré comme complètement stigmatique, et est uniquement caractérisé par sa focale et les lois de conjugaison de Descartes valables de plan à plan.In the Gauss approximation, the curvatures and thicknesses of the optics are neglected, the optical system is considered completely stigmatic, and is uniquely characterized by its focal length and Descartes' conjugation laws valid from plane to plane.

Dans l’approximation de Gauss, un point source objet P_obj émet une série de rayon lumineux se propageant en amont du système optique avec un front d’onde d’entrée S_obj. Le front d’onde d’entrée S_obj, après transformation par le système optique représenté par une surface S_lens, résulte en un front d’onde de sortie S_id. Tous les rayons en aval du système optique convergent vers un point image P_im. En d’autres termes, un objet ponctuel résulte en une image ponctuelle. Le front d’onde en sortie d’une optique principale de type lentille convergente S_id est alors sphérique. La surface du front d’onde de sortie S_id correspond à une sphère de référence idéale, centrée sur le point image P_im, ainsi qu’illustré en .In the Gaussian approximation, an object source point P_obj emits a series of light rays propagating upstream of the optical system with an input wavefront S_obj. The input wavefront S_obj, after transformation by the optical system represented by a surface S_lens, results in an output wavefront S_id. All the rays downstream of the optical system converge towards an image point P_im. In other words, a point object results in a point image. The wavefront at the output of a main optic of the converging lens type S_id is then spherical. The surface of the output wavefront S_id corresponds to an ideal reference sphere, centered on the image point P_im, as illustrated in .

Néanmoins, un système optique n’est en réalité pas stigmatique et conduit à des aberrations optiques. Ainsi, un point objet P_obj émettant une série de rayon lumineux, après transformation par le système optique, ne résulte pas en un point image P_im où convergent tous les rayons, mais en une zone image d’intersection de rayons Z_im plus ou moins étalée. En d’autres termes, l’image d’un objet ponctuel n’est pas un point, mais une zone. Ce phénomène est visible sur les zooms sur les zones d’intersection des rayons lumineux de la .Nevertheless, an optical system is actually not stigmatic and leads to optical aberrations. Thus, an object point P_obj emitting a series of light rays, after transformation by the optical system, does not result in an image point P_im where all the rays converge, but in a more or less spread out ray intersection image zone Z_im. In other words, the image of a point object is not a point, but an area. This phenomenon is visible on the zooms on the zones of intersection of the light rays of the .

Le front d’onde géométrique S_th en sortie du système optique n’est alors pas parfaitement sphérique, mais est au contraire déformé par rapport à la sphère de référence idéale S_id d’un système optique sans aberrations. Ainsi qu’illustré en , le front d’onde de sortie S_th peut être décomposé en un front d’onde idéal S_id d’un système optique sans aberrations, et en une fonction d’aberration W.The geometric wavefront S_th at the output of the optical system is then not perfectly spherical, but on the contrary is deformed with respect to the ideal reference sphere S_id of an optical system without aberrations. As illustrated in , the output wavefront S_th can be decomposed into an ideal wavefront S_id of an aberration-free optical system, and into an aberration function W.

La fonction d’aberration W est caractéristique d’une surface quelconque qui correspond à l’écart de phase du front d’onde en sortie du système optique S_th par rapport au front d’onde idéal S_id. Autrement dit, l’écart de la surface du front d’onde S_th à la surface sphérique idéale S_id correspond à l’aberration de l’optique. La zone d’étalement d’image Z_im résultant de l’intersection des rayons issus d’un point objet ponctuel P_obj en sortie du système optique est d’autant plus large que l’aberration de l’optique est grande.The aberration function W is characteristic of any surface which corresponds to the phase difference of the wavefront at the output of the optical system S_th with respect to the ideal wavefront S_id. In other words, the deviation of the surface of the wave front S_th from the ideal spherical surface S_id corresponds to the aberration of the optics. The image spreading zone Z_im resulting from the intersection of the rays coming from a punctual object point P_obj at the output of the optical system is all the wider as the aberration of the optics is great.

La fonction d’aberration W peut être décomposée en des aberrations primaires et des aberrations d’ordre supérieur. Les aberrations primaires comprennent l’aberration sphérique, l’aberration de coma, l’astigmatisme, la courbure de champ de Petzval, et la distorsion.The aberration function W can be decomposed into primary aberrations and higher order aberrations. Primary aberrations include spherical aberration, coma aberration, astigmatism, Petzval field curvature, and distortion.

Les aberrations d’ordre supérieur comprennent par exemple l’aberration optique de profondeur, appelée distorsion de profondeur. La illustre le tracé des rayons d’un ensemble de points objets P_obj appartenant au même plan objet, à travers une lentille 1 présentant une aberration optique de profondeur.Higher order aberrations include for example optical depth aberration, called depth distortion. There illustrates the tracing of the rays of a set of object points P_obj belonging to the same object plane, through a lens 1 exhibiting an optical depth aberration.

Du fait de la distorsion de profondeur, l’image d’un plan à travers l’optique principale n’est pas un plan, mais une surface courbée. La surface courbée est la surface image du plan objet, issue de l’hypothèse d’approximation de l’intersection des rayons. En d’autres termes, la surface courbée constitue l’ensemble des points de l’espace image P_im correspondant aux images de l’ensemble des points objets P_obj par la lentille 1.Due to depth distortion, the image of a plane through the main lens is not a plane, but a curved surface. The curved surface is the image surface of the object plane, resulting from the approximation hypothesis of the intersection of the rays. In other words, the curved surface constitutes the set of points in the image space P_im corresponding to the images of the set of object points P_obj by lens 1.

Lorsque les conditions de Gauss sont respectées, c’est-à-dire à proximité de l’axe optique pour des angles d’incidence de quelques degrés seulement, les aberrations d’ordre supérieur peuvent être négligées devant les aberrations primaires. En revanche, lorsque les rayons s’écartent de l’axe optique, par exemple pour des angles d’incidence par rapport à l’axe optique allant de quelques degrés jusqu’à environ 25 degrés, les aberrations d’ordre supérieur ne peuvent plus être négligées.When the conditions of Gauss are respected, that is to say close to the optical axis for angles of incidence of only a few degrees, the aberrations of higher order can be neglected in front of the primary aberrations. On the other hand, when the rays deviate from the optical axis, for example for angles of incidence with respect to the optical axis ranging from a few degrees up to about 25 degrees, the higher order aberrations can no longer be neglected.

La fonction d’aberration W peut être décomposée sous la forme d’une série de polynômes, telle que la série de polynômes de Seidel, ou la série de polynômes de Zernike.The aberration function W can be decomposed in the form of a series of polynomials, such as the series of polynomials of Seidel, or the series of polynomials of Zernike.

Les aberrations primaires correspondent aux aberrations de troisième ordre de la série de polynôme, c’est-à-dire à un développement de la fonction d’aberration W jusqu’à l’ordre 3. Ce développement est valable lorsque les conditions de Gauss sont respectées.The primary aberrations correspond to the third order aberrations of the polynomial series, i.e. to a development of the aberration function W up to order 3. This development is valid when the Gaussian conditions are respected.

Les aberrations d’ordre supérieur correspondent aux aberrations de cinquième ordre de la série de polynômes, c’est-à-dire à un développement de la fonction d’aberration W au-delà de l’ordre 3, en particulier jusqu’à l’ordre 5. Ce développement représente les aberrations dans le cas où les conditions de Gauss ne sont pas respectées.The higher order aberrations correspond to the fifth order aberrations of the series of polynomials, i.e. to a development of the aberration function W beyond the order 3, in particular up to l 'order 5. This expansion represents the aberrations in the case where the Gaussian conditions are not respected.

Les caméras plénoptiques peuvent être utilisées dans la reconstruction tridimensionnelle, pour la métrologie tridimensionnelle. Elles permettent, par un moyen optique sans contact, de garantir les mesures en vue de contrôler la qualité des produits issus d’un processus de fabrication, par exemple en identifiant les défauts de tolérance géométrique d’un produit en sortie de chaîne de fabrication, etc.Plenoptic cameras can be used in three-dimensional reconstruction, for three-dimensional metrology. They allow, by a non-contact optical means, to guarantee the measurements in order to control the quality of the products resulting from a manufacturing process, for example by identifying the geometric tolerance defects of a product at the end of the production line, etc

Une caméra plénoptique utilisée pour la métrologie tridimensionnelle doit être calibrée avec une grande précision, afin de conduire à une reconstitution tridimensionnelle de l’objet à contrôler la plus précise possible.A plenoptic camera used for three-dimensional metrology must be calibrated with great precision, in order to lead to the most precise three-dimensional reconstruction of the object to be controlled.

Des procédés actuels de calibrage d’une caméra plénoptique sont basés sur la théorie des tracés de rayons. Cette approche est basée sur l’optique géométrique, et est relativement simple à mettre en œuvre.Current methods of calibrating a plenoptic camera are based on ray tracing theory. This approach is based on geometric optics, and is relatively simple to implement.

Certains procédés actuels de calibrage négligent les aberrations optiques du système optique, en particulier de l’objectif d’entrée, de la caméra plénoptique. Ces procédés visent principalement à calibrer l’alignement entre la matrice des microlentilles et le capteur de la caméra. Ces procédés de calibrage peuvent être utilisés dans les applications de génération d’images de points de vue et de mises au point variés. Mais ils ne permettent pas un calibrage assez précis pour les applications de métrologie.Some current calibration methods neglect the optical aberrations of the optical system, in particular of the input lens, of the plenoptic camera. These processes are mainly aimed at calibrating the alignment between the array of microlenses and the camera sensor. These calibration methods can be used in applications for generating images of various points of view and focus. But they do not allow a precise enough calibration for metrology applications.

D’autres procédés actuels de calibrage d’une caméra plénoptique modélisent la distorsion du système optique de la caméra plénoptique, qui est une aberration primaire de la lentille principale. Par exemple, le modèle de la caméra plénoptique décrit dans le document Ihrke, Ivo, John Restrepo, and Lois Mignard-Debise. "Principles of Light Field Imaging: Briefly revisiting 25 years of research." IEEE Signal Processing Magazine 33.5 (2016), prend en compte la distorsion radiale. La précision du calibrage est améliorée par rapport à un modèle ne prenant en compte aucune distorsion, mais reste loin de la précision requise pour des applications métrologiques. En particulier, les images de sous-vues présentes d’autres aberrations non-radiales. Le document WO 2017/198945 A1 propose également un procédé de reconstruction tridimensionnelle à l’aide d’une caméra plénoptique, prenant en compte la distorsion radiale de l’optique d’entrée dans le modèle de la caméra plénoptique.Other current methods of calibrating a plenoptic camera model the distortion of the optical system of the plenoptic camera, which is a primary aberration of the main lens. For example, the plenoptic camera model described in Ihrke, Ivo, John Restrepo, and Lois Mignard-Debise. "Principles of Light Field Imaging: Briefly revisiting 25 years of research." IEEE Signal Processing Magazine 33.5 (2016), takes radial distortion into account. Calibration accuracy is improved compared to a model that takes no distortion into account, but remains far from the accuracy required for metrological applications. In particular, subview images present other non-radial aberrations. Document WO 2017/198945 A1 also proposes a three-dimensional reconstruction method using a plenoptic camera, taking into account the radial distortion of the input optics in the model of the plenoptic camera.

D’autres modèles de calibrage d’une caméra plénoptique prennent en compte la distorsion radiale et la distorsion tangentielle, qui sont également des aberrations primaires du système optique, qui résultent d’un mauvais alignement entre le capteur et l’optique d’entrée. Le calibrage résultant reste trop imprécis pour être utilisé dans applications métrologiques.Other models for calibrating a plenoptic camera take into account radial distortion and tangential distortion, which are also primary aberrations of the optical system, which result from misalignment between the sensor and the input optics. The resulting calibration remains too imprecise to be used in metrological applications.

Les procédés actuels de calibrage décrits ci-dessus ne tiennent pas compte des aberrations optiques d’ordre supérieur, qui ont un impact sur le calibrage d’une caméra plénoptique. Par conséquent, la précision du calibrage et de la reconstruction tridimensionnelle ultérieure par la caméra plénoptique est insuffisante pour les applications métrologiques. Ces procédés actuels ne permettent donc pas d’obtenir des reconstructions 3D de qualité métrologique.The current calibration methods described above do not account for higher order optical aberrations, which impact the calibration of a plenoptic camera. Therefore, the accuracy of calibration and subsequent three-dimensional reconstruction by the plenoptic camera is insufficient for metrological applications. These current processes therefore do not make it possible to obtain 3D reconstructions of metrological quality.

La théorie de la diffraction permet de modéliser les aberrations optiques d’ordre supérieur. Néanmoins, cette théorie de la diffraction est très complexe à mettre dans œuvre. Par conséquent, le calibrage d’une caméra plénoptique ne s’effectue pas dans le cadre de la théorie de la diffraction.Diffraction theory is used to model higher order optical aberrations. Nevertheless, this diffraction theory is very complex to implement. Therefore, the calibration of a plenoptic camera is not done within the framework of diffraction theory.

Enfin, certains modèles existants de calibrage basés sur le tracé de rayons prennent en compte l’aberration optique de profondeur, ou distorsion de profondeur, qui est une aberration d’ordre supérieur.Finally, some existing ray-tracing based calibration models take into account optical depth aberration, or depth distortion, which is a higher order aberration.

Une première catégorie de modèles d’estimation de la distorsion de profondeur est constituée des modèles paramétriques. Ces modèles paramétriques sont basés sur l’hypothèse que l’image d’une source ponctuelle via la lentille principale est un point dans l’espace intermédiaire.A first category of depth distortion estimation models consists of parametric models. These parametric models are based on the assumption that the image of a point source through the main lens is a point in interspace.

Or, il est connu que cette hypothèse d’intersection des rayons est fausse en cas de présence d’aberration optique. Cela est mis en évidence dans les zooms de la au niveau de l’intersection des rayons. En effet, les rayons provenant d’un point objet et qui sont réfractés par une lentille ne s’intersectent pas en un seul point image, mais en une zone image d’intersection de rayons. Par conséquent, cette hypothèse est une source d’erreur de ces modèles.However, it is known that this hypothesis of intersection of the rays is false in the event of the presence of optical aberration. This is highlighted in the zooms of the at the intersection of the rays. Indeed, the rays coming from an object point and which are refracted by a lens do not intersect in a single image point, but in an image zone of intersection of rays. Therefore, this assumption is a source of error in these models.

Par ailleurs, les modèles paramétriques d’estimation de la distorsion de profondeur considèrent que la courbure de la surface qui approxime les points de l’espace image varie linéairement avec la profondeur. Cette approximation ne correspond pas à la réalité de la loi de conjugaison entre la courbure de la surface image et la profondeur, et génère ainsi des erreurs supplémentaires. Les modèles paramétriques ne conduisent donc pas à une précision de calibrage suffisante pour des applications métrologiques.On the other hand, the parametric models for estimating the depth distortion consider that the curvature of the surface which approximates the points of the image space varies linearly with the depth. This approximation does not correspond to the reality of the conjugation law between the curvature of the image surface and the depth, and thus generates additional errors. Parametric models therefore do not lead to sufficient calibration accuracy for metrological applications.

Une deuxième catégorie de modèles d’estimation de la distorsion de profondeur est constituée des modèles non paramétriques, reposant sur des tables de correspondance. C’est le cas par exemple du modèle décrit dans Meng, Lingfei, et al. "Object space calibration of plenoptic imaging systems." U.S. Patent No. 9,918,077. 13 Mar. 2018. Une table de correspondance est construite entre chaque pixel du capteur et les caractéristiques de position et de direction du rayon qui lui correspond dans l’espace objet.A second category of depth distortion estimation models consists of non-parametric models, based on correspondence tables. This is the case, for example, of the model described in Meng, Lingfei, et al. "Object space calibration of plenoptic imaging systems." U.S. Patent No. 9,918,077. Mar. 13, 2018. A correspondence table is built between each pixel of the sensor and the position and direction characteristics of the ray that corresponds to it in object space.

Néanmoins, ces modèles non paramétriques à base de tables de correspondance dépendent fortement de la précision de la détection des points de la mire de calibrage sur le capteur et des différents bruits de mesures, car la table de correspondance est construite directement à partir des mesures. De plus, la résolution et la précision de la reconstruction 3D dépend de la densité de données présentes dans la table de correspondance. Enfin, ces méthodes n’offrent pas la possibilité d’analyse des performances du système en fonction des différents paramètres issus du calibrage. Les modèles non paramétriques ne conduisent donc pas non plus à une précision de calibrage suffisante pour des applications métrologiques.Nevertheless, these non-parametric models based on correspondence tables strongly depend on the precision of the detection of the points of the calibration target on the sensor and on the various measurement noises, because the correspondence table is built directly from the measurements. Moreover, the resolution and the precision of the 3D reconstruction depends on the density of data present in the correspondence table. Finally, these methods do not offer the possibility of analyzing the performance of the system according to the different parameters resulting from the calibration. Non-parametric models therefore also do not lead to sufficient calibration accuracy for metrological applications.

Un but de l’invention est de proposer un procédé de calibrage d’une caméra plénoptique conduisant à une précision de calibrage améliorée.An object of the invention is to propose a method for calibrating a plenoptic camera leading to improved calibration precision.

Un autre but de l’invention est de proposer un procédé de calibrage d’une caméra plénoptique prenant en compte des aberrations optiques primaires et d’ordre supérieur de l’optique principale de la caméra plénoptique,Another object of the invention is to propose a method for calibrating a plenoptic camera taking into account primary and higher order optical aberrations of the main optics of the plenoptic camera,

Un autre but de l’invention est de proposer un procédé de reconstruction tridimensionnelle par une caméra plénoptique présentant une précision de reconstruction améliorée.Another object of the invention is to propose a method of three-dimensional reconstruction by a plenoptic camera having improved reconstruction precision.

Selon un premier aspect, l’invention concerne un procédé de calibrage d’une caméra plénoptique, la caméra plénoptique comprenant une optique principale, un capteur photosensible et une matrice d’éléments optiques disposée entre l’optique principale et le capteur, le procédé de calibrage comprenant les étapes suivantes :
S1 : acquisition d’un point objet de calibrage par la caméra plénoptique ;
S2 : détermination d’une position image réelle du point objet de calibrage, ladite position image réelle correspondant à une position réelle détectée sur le capteur de l’image du point objet de calibrage à travers la caméra plénoptique ;
S3 : détermination d’une position relative de la matrice d’éléments optiques par rapport au capteur ;
S4 : définition de plusieurs ensembles de données d’entrée, chaque ensemble de données d’entrée comprenant des paramètres de projection d’un modèle de projection de la caméra plénoptique et des paramètres de position d’un point objet de modélisation, dans lequel les paramètres de projection sont représentatifs d’une aberration primaire et d’une aberration d’ordre supérieur de l’optique principale ;
le procédé comprenant en outre les étapes suivantes, réalisées pour chaque ensemble de données d’entrée défini à l’étape S4 :
S5 : détermination d’un tracé d’un rayon lumineux issu du point objet de modélisation en sortie de l’optique principale, à partir des paramètres de projection et des paramètres de position définis à l’étape S4 ;
S6 : calcul d’une position image théorique du point objet de modélisation, ladite position image théorique correspondant à une position sur le capteur de l’image du point objet de modélisation à travers la caméra plénoptique, calculée à partir du tracé du rayon lumineux déterminé à l’étape S5 et de la position relative de la matrice d’éléments optiques par rapport au capteur déterminée à l’étape S3 ; et
S7 : calcul d’une erreur de calibrage correspondant à une distance entre la position image théorique calculée à l’étape S6 et la position image réelle déterminée à l’étape S2, ladite erreur de calibrage étant associée à l’ensemble de données d’entrée défini à l’étape S4.According to a first aspect, the invention relates to a method for calibrating a plenoptic camera, the plenoptic camera comprising a main lens, a photosensitive sensor and a matrix of optical elements arranged between the main lens and the sensor, the method of calibration comprising the following steps:
S1: acquisition of a calibration object point by the plenoptic camera;
S2: determination of a real image position of the calibration object point, said real image position corresponding to a real position detected on the sensor of the image of the calibration object point through the plenoptic camera;
S3: determination of a relative position of the matrix of optical elements with respect to the sensor;
S4: definition of several sets of input data, each set of input data comprising projection parameters of a projection model of the plenoptic camera and position parameters of a modeling object point, in which the projection parameters are representative of primary aberration and higher order aberration of the main optics;
the method further comprising the following steps, performed for each set of input data defined in step S4:
S5: determination of a plot of a light ray coming from the modeling object point at the output of the main optics, from the projection parameters and the position parameters defined in step S4;
S6: calculation of a theoretical image position of the modeling object point, said theoretical image position corresponding to a position on the sensor of the image of the modeling object point through the plenoptic camera, calculated from the tracing of the determined light ray in step S5 and the relative position of the array of optical elements with respect to the sensor determined in step S3; And
S7: calculation of a calibration error corresponding to a distance between the theoretical image position calculated in step S6 and the real image position determined in step S2, said calibration error being associated with the data set of input defined in step S4.

Certaines caractéristiques préférées mais non limitatives du procédé de calibrage décrit ci-dessus sont les suivantes, prises individuellement ou en combinaison :Some preferred but non-limiting characteristics of the calibration method described above are the following, taken individually or in combination:

- les étapes sont répétées pour plusieurs positions du point objet de calibrage et plusieurs ensembles de données d’entrée, dans lequel pour chaque ensemble de données d’entrée défini à l’étape E4, le procédé comprend les étapes suivantes :
S8 : calcul d’une somme des erreurs de calibrage associées audit ensemble de données d’entrée, les erreurs de calibrage étant déterminées pour chaque position du point objet de calibrage, ladite somme étant appelée erreur totale de calibrage (Δcal) ;
S9 : détermination de l’ensemble de données d’entrée minimisant l’erreur totale de calibrage .- the steps are repeated for several positions of the calibration object point and several sets of input data, in which for each set of input data defined in step E4, the method comprises the following steps:
S8: calculating a sum of the calibration errors associated with said set of input data, the calibration errors being determined for each position of the calibration object point, said sum being called total calibration error (Δcal);
S9: determination of the input data set minimizing the total calibration error.

- l’étape S5 de détermination d’un tracé de rayon lumineux comprend les étapes suivantes :
S51 : détermination d’une surface de front d’onde de sortie, correspondant à une surface de front d’onde issue du point objet de modélisation au niveau d’une sortie de l’optique principale de la caméra plénoptique, à partir de l’ensemble de données d’entrée défini à l’étape S4;
S52 : calcul d’un gradient de la surface de front d’onde de sortie déterminée à l’étape S51 ;
S53 : calcul d’un tracé d’un rayon lumineux en sortie de l’optique principale, ledit tracé de rayon lumineux étant tel que, pour un point donné de la surface de front d’onde de sortie déterminée à l’étape S51, une direction du rayon lumineux est perpendiculaire au gradient de la surface de front d’onde de sortie déterminé à l’étape S52 en ce point donné ;- step S5 for determining a light ray trace comprises the following steps:
S51: determination of an output wavefront surface, corresponding to a wavefront surface coming from the modeling object point at the level of an output of the main optics of the plenoptic camera, from the input data set defined in step S4;
S52: calculating a gradient of the output wavefront area determined in step S51;
S53: calculation of a trace of a light ray at the output of the main optics, said trace of light ray being such that, for a given point of the output wavefront surface determined in step S51, a direction of the light ray is perpendicular to the gradient of the output wavefront surface determined in step S52 at that given point;

- l’étape S51 de détermination de la surface de front d’onde de sortie comprend une étape de décomposition d’une fonction représentative de la surface de front d’onde de sortie en une série de polynômes, ladite série de polynôme comprenant des coefficients associés aux degrés du polynôme, et les paramètres de projection comprennent des coefficients de la série de polynômes jusqu’à un degré du polynôme représentatif d’une aberration primaire et d’une aberration d’ordre supérieur de l’optique principale ;- the step S51 for determining the output wavefront surface comprises a step of decomposing a function representative of the output wavefront surface into a series of polynomials, said series of polynomials comprising coefficients associated with the degrees of the polynomial, and the projection parameters comprise coefficients of the series of polynomials up to a degree of the polynomial representative of a primary aberration and a higher order aberration of the main optics;

- la fonction représentative de la surface de front d’onde de sortie correspond à une somme :
- d’une surface de front d’onde idéale au niveau d’une sortie d’une optique principale sans aberration optique, la surface de front d’onde idéale étant une surface sphérique présentant un rayon de surface sphérique ; et
- d’une fonction d’aberration adaptée pour prendre en compte des aberrations optiques d’ordre primaire et d’ordre supérieur de l’optique principale, la fonction d’aberration étant adaptée pour être décomposée en une série de polynômes,
et les paramètres de projection comprennent :
- le rayon de la surface de front d’onde idéale sphérique (S_id); et
- les coefficients jusqu’au cinquième degré de la série de polynômes de la fonction d’aberration ;- the function representative of the output wavefront surface corresponds to a sum:
- an ideal wavefront surface at the level of an output of a main optic without optical aberration, the ideal wavefront surface being a spherical surface having a spherical surface radius; And
- an aberration function adapted to take into account primary and higher order optical aberrations of the main optics, the aberration function being adapted to be broken down into a series of polynomials,
and projection parameters include:
- the radius of the spherical ideal wavefront surface (S_id); And
- the coefficients up to the fifth degree of the series of polynomials of the aberration function;

- les éléments optiques sont des microlentilles.- the optical elements are microlenses.

- la matrice d’éléments optiques comprend une pluralité d’éléments optiques disposés sur un plan de matrice, les positions de centres des éléments optiques sur le plan de matrice étant connues, dans lequel le capteur comprend une pluralité de pixels disposés sur un plan de capteur, les positions des pixels sur le plan de capteur étant connues, et la position relative de la matrice d’éléments optiques par rapport au capteur est déterminée à l’étape S3 à partir des étapes suivantes :
S31 : acquisition par la caméra plénoptique d’un objet de référence ;
S32 : détection sur le plan de capteur de l’image de l’objet de référence par la caméra plénoptique ;
S33 : détermination des positions des centres des éléments optiques sur le plan de capteur, à partir de l’image de l’objet de référence détectée à l’étape S32 ;
S34 : détermination d’une transformation géométrique entre le plan de matrice et le plan de capteur, à partir des positions des centres d’éléments optiques sur le plan de matrice connues et des positions des centres d’éléments optiques sur le plan de capteur déterminées à l’étape S33 ;- the array of optical elements comprises a plurality of optical elements arranged on an array plane, the positions of centers of the optical elements on the array plane being known, wherein the sensor comprises a plurality of pixels arranged on a plane of sensor, the positions of the pixels on the sensor plane being known, and the relative position of the array of optical elements with respect to the sensor is determined in step S3 from the following steps:
S31: acquisition by the plenoptic camera of a reference object;
S32: detection on the sensor plane of the image of the reference object by the plenoptic camera;
S33: determination of the positions of the centers of the optical elements on the sensor plane, from the image of the reference object detected in step S32;
S34: determination of a geometric transformation between the array plane and the sensor plane, from the known positions of the centers of optical elements on the array plane and the positions of the centers of optical elements on the determined sensor plane in step S33;

- le procédé comprend en outre les étapes suivantes, réalisées à partir de la position relative de la matrice d’éléments optiques par rapport au capteur déterminée à l’étape S3 :
S35 : attribution à chaque pixel du capteur d’un unique centre d’élément optique de la matrice d’éléments optiques ;
S36 : détermination d’une position du centre de l’élément optique attribué au pixel du capteur sur le plan de capteur ;
dans lequel le tracé de rayon lumineux déterminé à l’étape S5 passe par un centre d’élément optique dont la position est déterminée à l’étape S36, pour former une image sur le pixel du capteur auquel le centre de l’élément optique est attribué à l’étape S35, la position image théorique étant calculée à l’étape S6 à partir de ladite image formée sur le pixel du capteur.- the method further comprises the following steps, carried out from the relative position of the array of optical elements with respect to the sensor determined in step S3:
S35: allocation to each pixel of the sensor of a single optical element center of the matrix of optical elements;
S36: determining a position of the center of the optical element assigned to the sensor pixel on the sensor plane;
wherein the light ray trace determined in step S5 passes through an optical element center whose position is determined in step S36, to form an image on the sensor pixel to which the optical element center is assigned in step S35, the theoretical image position being calculated in step S6 from said image formed on the pixel of the sensor.

- l’étape S34 de détermination de la transformation géométrique entre le plan de matrice et le plan de capteur comprend les étapes suivantes :
S341 : détermination d’une homographie entre le plan de matrice et le plan de capteur ;
S342 : détermination d’une rotation et/ou d’une translation entre le plan de matrice et le plan de capteur partir de l’homographie déterminée à l’étape S341.- step S34 for determining the geometric transformation between the matrix plane and the sensor plane comprises the following steps:
S341: determination of a homography between the matrix plane and the sensor plane;
S342: determination of a rotation and/or a translation between the matrix plane and the sensor plane from the homography determined in step S341.

Selon un deuxième aspect, l’invention concerne un procédé de reconstruction tridimensionnelle d’un objet à l’aide d’une caméra plénoptique, la caméra plénoptique comprenant une optique principale, un capteur photosensible, et une matrice d’éléments optiques disposée entre l’optique principale et le capteur, la matrice d’éléments optiques comprenant une pluralité d’éléments optiques, le capteur comprenant une pluralité de pixels, le procédé comprenant les étapes suivantes :
S21 : détermination d’un ensemble de données de calibrage minimisant une erreur de calibrage de la caméra plénoptique à l’aide d’un procédé selon l’une des revendications 1 à 9 ;
pour chaque point objet de l’objet à reconstruire tridimensionnellement :
S22 : acquisition du point objet par la caméra plénoptique ;
S23 : détermination d’un ensemble de pixels du capteur correspondant à des éléments optiques différents et au même point objet ;
S24 : calcul d’un gradient d’une surface de front d’onde issue du point objet au niveau d’une sortie de l’optique principale de la caméra plénoptique, à partir du modèle de projection de la caméra plénoptique avec l’ensemble de données de calibrage défini à l’étape S21 ;
S25 : pour l’ensemble de pixels du capteur déterminé à l’étape S23, détermination des rayons lumineux passant par les centres des éléments optiques correspondants et perpendiculaires au gradient de la surface de front d’onde déterminé à l’étape S24 ;
S26 : détermination des rayons lumineux en entrée de l’optique principale de la caméra plénoptique, à partir des rayons lumineux déterminés à l’étape S25 ;
S27 : reconstruction tridimensionnelle du point objet par triangulation des rayons lumineux en entrée de l’optique principale de la caméra plénoptique.According to a second aspect, the invention relates to a method for the three-dimensional reconstruction of an object using a plenoptic camera, the plenoptic camera comprising a main lens, a photosensitive sensor, and a matrix of optical elements arranged between the main optics and the sensor, the array of optical elements comprising a plurality of optical elements, the sensor comprising a plurality of pixels, the method comprising the following steps:
S21: determination of a set of calibration data minimizing a calibration error of the plenoptic camera using a method according to one of Claims 1 to 9;
for each object point of the object to be reconstructed three-dimensionally:
S22: acquisition of the object point by the plenoptic camera;
S23: determination of a set of sensor pixels corresponding to different optical elements and to the same object point;
S24: calculation of a gradient of a wavefront surface coming from the object point at the level of an output of the main optics of the plenoptic camera, from the projection model of the plenoptic camera with the set calibration data defined in step S21;
S25: for the set of pixels of the sensor determined in step S23, determination of the light rays passing through the centers of the corresponding optical elements and perpendicular to the gradient of the wavefront surface determined in step S24;
S26: determination of the light rays at the input of the main optics of the plenoptic camera, from the light rays determined in step S25;
S27: three-dimensional reconstruction of the object point by triangulation of the light rays entering the main optics of the plenoptic camera.

Selon un troisième aspect, l’invention concerne un dispositif de reconstruction tridimensionnelle comprenant une caméra plénoptique et un moyen de traitement numérique, la caméra plénoptique comprenant une optique principale, un capteur photosensible, et une matrice d’éléments optiques disposée entre l’optique principale et le capteur, le moyen de traitement numérique étant adapté pour mettre en œuvre un procédé de reconstruction tridimensionnelle d’un objet selon le deuxième aspect.According to a third aspect, the invention relates to a three-dimensional reconstruction device comprising a plenoptic camera and a digital processing means, the plenoptic camera comprising a main lens, a photosensitive sensor, and a matrix of optical elements placed between the main lens and the sensor, the digital processing means being adapted to implement a three-dimensional reconstruction method of an object according to the second aspect.

DESCRIPTION DES FIGURESDESCRIPTION OF FIGURES

D’autres caractéristiques, buts et avantages de la présente invention apparaîtront à la lecture de la description détaillée qui va suivre, donnée à titre d’exemple non limitatif, qui sera illustrée par les figures suivantes :Other characteristics, objects and advantages of the present invention will appear on reading the detailed description which follows, given by way of non-limiting example, which will be illustrated by the following figures:

La , déjà commentée, est un schéma illustrant une caméra plénoptique.
There , already commented, is a diagram illustrating a plenoptic camera.

Les figures 2a et 2b, déjà commentées, sont des schémas illustrant des tracés des rayons à partir d’un front d’onde, respectivement pour un système optique idéal sans aberrations optiques, et pour un système optique réel avec aberrations optiques.

FIGS. 2a and 2b, already commented on, are diagrams illustrating ray tracings from a wavefront, respectively for an ideal optical system without optical aberrations, and for a real optical system with optical aberrations.

La , déjà commentée, est un schéma illustrant une approche classique de modélisation d’une aberration optique d’ordre supérieur.
There , already commented, is a diagram illustrating a classic approach to modeling a higher order optical aberration.

La est un schéma illustrant des caractéristiques fondamentales d’une caméra plénoptique d’un dispositif de reconstruction tridimensionnelle selon un mode de réalisation de l’invention.
There is a diagram illustrating fundamental characteristics of a plenoptic camera of a three-dimensional reconstruction device according to one embodiment of the invention.

La est un schéma illustrant une matrice d’éléments optiques d’une caméra plénoptique d’un dispositif de reconstruction tridimensionnelle selon un mode de réalisation de l’invention.
There is a diagram illustrating a matrix of optical elements of a plenoptic camera of a three-dimensional reconstruction device according to one embodiment of the invention.

La est un schéma illustrant une position relative d’une matrice d’éléments optiques par rapport à un capteur d’une caméra plénoptique d’un dispositif de reconstruction tridimensionnelle selon un mode de réalisation de l’invention.
There is a diagram illustrating a relative position of an array of optical elements with respect to a sensor of a plenoptic camera of a three-dimensional reconstruction device according to one embodiment of the invention.

La est un schéma illustrant une image d’un objet de référence acquis par une caméra plénoptique d’un dispositif de reconstruction tridimensionnelle selon un mode de réalisation de l’invention.
There is a diagram illustrating an image of a reference object acquired by a plenoptic camera of a three-dimensional reconstruction device according to one embodiment of the invention.

La est un schéma fonctionnel illustrant un calcul d’une erreur de calibrage dans un procédé de calibrage selon un mode de réalisation de l’invention.
There is a functional diagram illustrating a calculation of a calibration error in a calibration method according to an embodiment of the invention.

La est un schéma fonctionnel illustrant une détermination d’une position image théorique dans un procédé de calibrage selon un mode de réalisation de l’invention.
There is a functional diagram illustrating a determination of a theoretical image position in a calibration method according to an embodiment of the invention.

La est un schéma fonctionnel illustrant une détermination d’une position relative d’une matrice d’éléments optiques par rapport à un capteur dans un procédé de calibrage selon un mode de réalisation de l’invention.
There is a functional diagram illustrating a determination of a relative position of an array of optical elements with respect to a sensor in a calibration method according to an embodiment of the invention.

La est un schéma fonctionnel illustrant une détermination d’une transformation géométrique entre le plan de matrice et le plan de capteur dans un procédé de calibrage selon un mode de réalisation de l’invention.
There is a block diagram illustrating a determination of a geometric transformation between the array plane and the sensor plane in a calibration method according to one embodiment of the invention.

La est un schéma fonctionnel illustrant une détermination d’un ensemble de données d’entrée minimisant l’erreur totale de calibrage dans un procédé de calibrage selon un mode de réalisation de l’invention.
There is a block diagram illustrating a determination of an input data set minimizing the total calibration error in a calibration method according to one embodiment of the invention.

La est un schéma fonctionnel illustrant des étapes d’un procédé de reconstruction tridimensionnelle d’un objet selon un mode de réalisation de l’invention.
There is a functional diagram illustrating the steps of a method for the three-dimensional reconstruction of an object according to one embodiment of the invention.

DESCRIPTION DETAILLEE DE L'INVENTIONDETAILED DESCRIPTION OF THE INVENTION

Un procédé de calibrage d’une caméra plénoptique est illustré à titre d’exemple en . La caméra plénoptique, ainsi qu’illustré à titre d’exemple sur la , comprend une optique principale 1, un capteur photosensible 3 et une matrice d’éléments optiques 2 disposée entre l’optique principale 1 et le capteur 3.An exemplary method for calibrating a plenoptic camera is illustrated in . The plenoptic camera, as illustrated by way of example on the , comprises a main lens 1, a photosensitive sensor 3 and a matrix of optical elements 2 arranged between the main lens 1 and the sensor 3.

Le procédé de calibrage de la caméra plénoptique comprend les étapes suivantes :
S1 : acquisition d’un point objet de calibrage P_obj par la caméra plénoptique ;
S2 : détermination d’une position image réelle P_im_r du point objet de calibrage P_obj, ladite position image réelle P_im_r correspondant à une position réelle détectée sur le capteur 3 de l’image du point objet de calibrage P_obj à travers la caméra plénoptique ;
S3 : détermination d’une position relative de la matrice d’éléments optiques 2 par rapport au capteur 3 Pmat/Pcapt ;The plenoptic camera calibration process includes the following steps:
S1: acquisition of a calibration object point P_obj by the plenoptic camera;
S2: determination of a real image position P_im_r of the calibration object point P_obj, said real image position P_im_r corresponding to a real position detected on the sensor 3 of the image of the calibration object point P_obj through the plenoptic camera;
S3: determination of a relative position of the matrix of optical elements 2 with respect to the sensor 3 Pmat/Pcapt;

Le procédé comprend en outre une étape S4 de définition de plusieurs ensembles de données d’entrée E, chaque ensemble de données d’entrée E comprenant des paramètres de projection Par_Proj d’un modèle de projection de la caméra plénoptique et des paramètres de position Par_Pos d’un point objet de modélisation P_mod. Les paramètres de projection Par_Proj sont représentatifs d’une aberration primaire et d’une aberration d’ordre supérieur de l’optique principale 1.The method further comprises a step S4 of defining several sets of input data E, each set of input data E comprising projection parameters Par_Proj of a projection model of the plenoptic camera and position parameters Par_Pos of a modeling object point P_mod. The projection parameters Par_Proj are representative of a primary aberration and a higher order aberration of the main optics 1.

Les paramètres de position Par_pos peuvent correspondre à une position du point objet de modélisation P_mod, plus particulièrement peuvent correspondre à des coordonnées cartésiennes en trois dimensions (x_mod, y_mod, z_mod) du point objet de modélisation P_mod.The position parameters Par_pos can correspond to a position of the modeling object point P_mod, more particularly can correspond to Cartesian coordinates in three dimensions (x_mod, y_mod, z_mod) of the modeling object point P_mod.

Les paramètres de projection Par_Proj peuvent correspondre à des coefficients représentatifs d’une surface de front d’onde servant au tracé des rayons lumineux en provenance du point objet de modélisation P_mod.The projection parameters Par_Proj can correspond to coefficients representative of a wavefront surface used to plot the light rays coming from the modeling object point P_mod.

Le procédé comprenant en outre les étapes suivantes, réalisées pour chaque ensemble de données d’entrée E défini à l’étape S4 :
S5 : détermination d’un tracé d’un rayon lumineux issu du point objet de modélisation P_mod en sortie de l’optique principale 1, à partir des paramètres de projection Par_Proj et des paramètres de position Par_Pos définis à l’étape S4 ;
S6 : calcul d’une position image théorique P_im_th du point objet de modélisation P_mod, ladite position image théorique P_im_th correspondant à une position sur le capteur 3 de l’image du point objet de modélisation P_mod à travers la caméra plénoptique, calculée à partir du tracé du rayon lumineux déterminé à l’étape S5 et de la position relative de la matrice d’éléments optiques 2 par rapport au capteur 3 Pmat/Pcapt déterminée à l’étape S3 ; et
S7 : calcul d’une erreur de calibrage δcal correspondant à une distance entre la position image théorique P_im_th calculée à l’étape S6 et la position image réelle P_im_r déterminée à l’étape S2, ladite erreur de calibrage δcal étant associée à l’ensemble de données d’entrée E défini à l’étape S4.The method further comprising the following steps, performed for each set of input data E defined in step S4:
S5: determination of a path of a light ray from the modeling object point P_mod at the output of the main lens 1, from the projection parameters Par_Proj and the position parameters Par_Pos defined in step S4;
S6: calculation of a theoretical image position P_im_th of the modeling object point P_mod, said theoretical image position P_im_th corresponding to a position on the sensor 3 of the image of the modeling object point P_mod through the plenoptic camera, calculated from the tracing of the light ray determined in step S5 and of the relative position of the matrix of optical elements 2 with respect to the sensor 3 Pmat/Pcapt determined in step S3; And
S7: calculation of a calibration error δcal corresponding to a distance between the theoretical image position P_im_th calculated in step S6 and the real image position P_im_r determined in step S2, said calibration error δcal being associated with the set input data E defined in step S4.

Le procédé décrit permet d’effectuer le calibrage d’une caméra plénoptique en déterminant un ensemble de données d’entrée E comprenant des paramètres de projection Par_Proj du modèle de projection de la caméra plénoptique et des paramètres de position Par_Pos d’un point objet de modélisation P_mod.The method described makes it possible to perform the calibration of a plenoptic camera by determining a set of input data E comprising projection parameters Par_Proj of the projection model of the plenoptic camera and position parameters Par_Pos of a point object of modeling P_mod.

Le modèle de projection de la caméra plénoptique est adapté pour calculer la position image théorique P_im_th correspondant à une image du point objet de modélisation P_mod à travers la caméra plénoptique, à partir de l’ensemble de données d’entrée E défini. En d’autres termes, le modèle de projection de la caméra plénoptique est adapté pour déterminer la projection d’un point objet de modélisation P_mod sur le capteur 3 de la caméra plénoptique.The plenoptic camera projection model is adapted to calculate the theoretical image position P_im_th corresponding to an image of the modeling object point P_mod through the plenoptic camera, from the defined input data set E. In other words, the plenoptic camera projection model is adapted to determine the projection of a modeling object point P_mod on sensor 3 of the plenoptic camera.

La projection d’un point objet de modélisation P_mod à travers la caméra plénoptique est déterminée à partir d’un tracé de rayons prenant en compte des aberrations d’ordre supérieur, via les paramètres de modélisation P_mod. Le calibrage résultant tient donc compte, dans le modèle de projection de la caméra plénoptique, des aberrations géométriques primaires ainsi que des aberrations optiques d’ordre supérieur de l’optique principale de la caméra plénoptique.The projection of a P_mod modeling object point through the plenoptic camera is determined from a ray trace taking into account higher order aberrations, via the P_mod modeling parameters. The resulting calibration therefore takes into account, in the projection model of the plenoptic camera, the primary geometric aberrations as well as the higher order optical aberrations of the main optics of the plenoptic camera.

Un tel procédé de calibrage de caméra plénoptique permet de mieux modéliser les aberrations optiques du système optique de l’optique principale 1, y compris les aberrations optiques d’ordre supérieur.Such a plenoptic camera calibration method makes it possible to better model the optical aberrations of the optical system of the main optic 1, including the higher order optical aberrations.

En tenant compte des aberrations d’ordre supérieur, ce procédé de calibrage permet d’obtenir des reconstructions tridimensionnelles présentant une meilleure précision, notamment des reconstructions tridimensionnelles de qualité métrologique. Le procédé permet ainsi d’améliorer la précision du calibrage et de la reconstruction tridimensionnelle par la caméra plénoptique, et de fournir un calibrage présentant une précision compatible d’une utilisation de la caméra plénoptique dans la métrologie tridimensionnelle.By taking into account higher-order aberrations, this calibration process makes it possible to obtain three-dimensional reconstructions with better precision, in particular three-dimensional reconstructions of metrological quality. The method thus makes it possible to improve the precision of the calibration and of the three-dimensional reconstruction by the plenoptic camera, and to provide a calibration having a precision compatible with the use of the plenoptic camera in three-dimensional metrology.

Le modèle de projection de la caméra plénoptique est basé sur le tracé de rayons à travers la caméra plénoptique. Le modèle calcule la position image théorique P_im_th d’un point objet de modélisation P_mod par la caméra plénoptique, en déterminant un tracé de rayon à partir d’un ensemble de paramètres de projection Par_Proj prenant en compte les aberrations d’ordre supérieur de l’optique principale 1 et de paramètres de position Par_pos du point objet de modélisation P_mod.The plenoptic camera projection model is based on ray tracing through the plenoptic camera. The model calculates the theoretical image position P_im_th of a modeling object point P_mod by the plenoptic camera, by determining a ray tracing from a set of projection parameters Par_Proj taking into account the higher order aberrations of the main lens 1 and position parameters Par_pos of the modeling object point P_mod.

Le procédé de calibrage est donc simple à mettre en œuvre. La complexité du procédé de calibrage est similaire à la complexité d’un procédé de calibrage basé sur les modèles de tracé des rayons sans tenir compte des aberrations d’ordre supérieur.The calibration method is therefore simple to implement. The complexity of the calibration process is similar to the complexity of a calibration process based on ray tracing models without considering higher order aberrations.

Le procédé permet de calculer l’erreur de calibrage δcal associée à chaque ensemble de données d’entrée E. Ainsi, l’ensemble de données d’entrée E_min, correspondant aux paramètres de projection Par_Proj et aux paramètres de position P_pos minimisant l’erreur de calibrage δcal, peut être déterminé. Cet ensemble de données d’entrée E_min minimisant l’erreur de calibrage δcal correspond au meilleur calibrage du modèle de projection de la caméra plénoptique.The method makes it possible to calculate the calibration error δcal associated with each set of input data E. Thus, the set of input data E_min, corresponding to the projection parameters Par_Proj and to the position parameters P_pos minimizing the error calibration δcal, can be determined. This set of input data E_min minimizing the calibration error δcal corresponds to the best calibration of the plenoptic camera projection model.

Enfin, le procédé décrit est générique et peut s’appliquer à toute caméra plénoptique.Finally, the process described is generic and can be applied to any plenoptic camera.

Notions préliminairesPreliminary notions

Un axe optique z désigne un axe le long duquel sont positionnés les différents éléments optiques de la caméra plénoptique, notamment un axe le long duquel sont positionnés l’optique principale 1, la matrice d’éléments optiques 2, et le capteur photosensible 3.An optical axis z designates an axis along which the various optical elements of the plenoptic camera are positioned, in particular an axis along which the main optics 1, the matrix of optical elements 2, and the photosensitive sensor 3 are positioned.

Un rayon lumineux est représenté par une droite dans un plan passant par l’axe optique z. Une direction d’un rayon lumineux désigne une incidence, c’est-à-dire un angle, du rayon lumineux par rapport à l’axe optique z.A light ray is represented by a straight line in a plane passing through the optical axis z. A direction of a light ray designates an incidence, that is to say an angle, of the light ray with respect to the optical axis z.

Le centre d'un élément optique est un point particulier de l’élément optique tel qu'un rayon lumineux incident en ce point n'est pas dévié, ses parties incidentes et émergentes étant parallèles entre elles.The center of an optical element is a particular point of the optical element such that an incident light ray at this point is not deflected, its incident and emerging parts being parallel to each other.

Dans la suite de la demande, le terme d’image est utilisé pour désigner l’ensemble du ou des point(s) image(s) d’un point objet à travers la caméra plénoptique. Un point objet acquis par la caméra plénoptique est en effet susceptible de générer plusieurs points images. Par exemple, le terme de position image réelle P_im_r du point objet de calibrage P_obj est utilisé pour désigner l’ensemble des points images du point objet de calibrage P_obj à travers la caméra plénoptique, la position image réelle P_im_r pouvant comprendre un ou plusieurs points, voire une zone de l’espace. Le ou les point(s) image(s) d’un point objet peuvent être imagés par un ou plusieurs éléments optiques 21, et l’image peut être formée sur un ou plusieurs macropixel(s) 31 du capteur 3.In the remainder of the application, the term image is used to designate all of the image point(s) of an object point through the plenoptic camera. An object point acquired by the plenoptic camera is indeed capable of generating several image points. For example, the term real image position P_im_r of the calibration object point P_obj is used to designate all of the image points of the calibration object point P_obj through the plenoptic camera, the real image position P_im_r possibly comprising one or more points, even a zone of space. The image point(s) of an object point can be imaged by one or more optical elements 21, and the image can be formed on one or more macropixel(s) 31 of the sensor 3.

Caméra plénoptiquePlenoptic camera

La illustre un exemple de caractéristiques principales d’un système optique, en particulier de l’optique principale 1 de la caméra plénoptique.There illustrates an example of the main characteristics of an optical system, in particular of the main lens 1 of the plenoptic camera.

L’optique principale 1 peut être un système optique complexe, comprenant une pluralité d’éléments optiques. En particulier, l’optique principale 1 peut être formée d’une lentille ou d’une combinaison de lentilles.The main optics 1 can be a complex optical system, comprising a plurality of optical elements. In particular, the main optics 1 can be formed by a lens or a combination of lenses.

Le système optique de l’optique principale 1 comprend un plan focal objet F et un plan focal image F’. L’optique principale 1 reçoit des rayons lumineux provenant d’un point objet P_obj.The optical system of the main lens 1 comprises an object focal plane F and an image focal plane F'. The main optic 1 receives light rays coming from an object point P_obj.

Le système optique de l’optique principale 1 comprend une pupille d’entrée 11, qui correspond au diaphragme du système optique qui limite le rayonnement lumineux en provenance d’un objet. L’optique principale 1 comprend également une pupille de sortie 12, qui correspond à l’image de la pupille d’entrée 11 par l’optique principale 1.The optical system of the main optics 1 comprises an entrance pupil 11, which corresponds to the diaphragm of the optical system which limits the light radiation coming from an object. The main optic 1 also includes an exit pupil 12, which corresponds to the image of the entrance pupil 11 by the main optic 1.

La pupille d’entrée 11 est positionnée au niveau d’une entrée de l’optique principale 1. La pupille de sortie 12 est positionnée au niveau d’une sortie de l’optique principale 1. La pupille d’entrée 11 peut être située en une position z = 0 de l’axe optique z. La pupille d’entrée 11 est située en amont de la pupille de sortie 12 sur l’axe optique z.The entrance pupil 11 is positioned at the level of an entrance of the main optics 1. The exit pupil 12 is positioned at the level of an exit of the main optics 1. The entrance pupil 11 can be located at a position z=0 of the optical axis z. The entrance pupil 11 is located upstream of the exit pupil 12 on the optical axis z.

La matrice d’éléments optiques 2, ou réseau d’éléments optiques, peut comprendre une pluralité d’éléments optiques 21, comme représenté sur la . En particulier, les centres des éléments optiques 21 peuvent être alignés de sorte à former des lignes et des colonnes d’éléments optiques 21, ainsi qu’illustré à titre d’exemple non limitatif en .The array of optical elements 2, or array of optical elements, may comprise a plurality of optical elements 21, as shown in the . In particular, the centers of the optical elements 21 can be aligned so as to form rows and columns of optical elements 21, as illustrated by way of nonlimiting example in .

La pluralité d’éléments optiques 21 peut être disposée dans un plan de matrice Pmat, comme illustré à titre d’exemple en . Les éléments optiques 21 sont alors disposés de manière coplanaire. Les positions des centres des éléments optiques 21 dans le plan de matrice Pmat sont connues.The plurality of optical elements 21 can be arranged in a matrix plane Pmat, as illustrated by way of example in . The optical elements 21 are then arranged in a coplanar manner. The positions of the centers of the optical elements 21 in the matrix plane Pmat are known.

Dans un premier exemple de réalisation, les éléments optiques 21 sont des microlentilles. Le centre optique d’une microlentille 21 est le point d'intersection entre un plan de la microlentille 21 et l'axe optique z. Les microlentilles 21 peuvent être sphériques ou avoir une forme plus complexe permettant une jonction entre deux microlentilles 21 adjacentes. Les microlentilles 21 ont typiquement un diamètre de l'ordre d'une fraction de millimètre.In a first embodiment, the optical elements 21 are microlenses. The optical center of a microlens 21 is the point of intersection between a plane of the microlens 21 and the optical axis z. The microlenses 21 can be spherical or have a more complex shape allowing a junction between two adjacent microlenses 21. The microlenses 21 typically have a diameter of the order of a fraction of a millimeter.

Dans un deuxième exemple de réalisation, les éléments optiques 21 sont des sténopés. Le centre optique d’un sténopé 21 est le centre d’un trou de sténopé 21. La matrice d'éléments optiques 2 est une surface plane opaque dans laquelle sont ménagés des trous 21 de très faible diamètre, typiquement espacés de l'ordre d'une fraction de millimètre.In a second embodiment, the optical elements 21 are pinholes. The optical center of a pinhole 21 is the center of a pinhole 21. The matrix of optical elements 2 is an opaque planar surface in which are formed holes 21 of very small diameter, typically spaced of the order of a fraction of a millimeter.

La matrice d’éléments optiques 2 peut être disposé dans le plan focal image F’ de l’optique principale 1, ou hors de ce plan focal image F’. La matrice d’éléments optiques 2 peut être disposée à proximité du capteur photosensible 3.The matrix of optical elements 2 can be placed in the image focal plane F′ of the main optics 1, or outside this image focal plane F′. The matrix of optical elements 2 can be placed close to the photosensitive sensor 3.

Le capteur photosensible 3 comprend une pluralité de pixels. Les pixels du capteur 3 sont alignés de sorte à former des lignes et des colonnes. Chaque pixel du capteur 3 reçoit la lumière d'un seul rayon lumineux via l’optique principale 1.The photosensitive sensor 3 comprises a plurality of pixels. The pixels of sensor 3 are aligned so as to form rows and columns. Each sensor pixel 3 receives light from a single light ray through the main optics 1.

La pluralité de pixels peut être disposée dans un plan de capteur Pcapt. La pluralité de pixels du capteur 3 forme alors le plan de capteur Pcapt, ou surface de détection du capteur 3. Les positions des pixels dans le plan de capteur Pcapt sont connues.The plurality of pixels may be arranged in a sensor plane Pcapt. The plurality of pixels of the sensor 3 then form the sensor plane Pcapt, or detection surface of the sensor 3. The positions of the pixels in the sensor plane Pcapt are known.

La matrice d’éléments optiques 2 peut être disposée sensiblement parallèlement au capteur 3. Dans le cas où les éléments optiques 21 sont disposés dans un plan de matrice Pmat, le plan de matrice Pmat peut être sensiblement parallèle au plan de capteur Pcapt.The matrix of optical elements 2 may be arranged substantially parallel to the sensor 3. In the case where the optical elements 21 are arranged in a matrix plane Pmat, the matrix plane Pmat may be substantially parallel to the sensor plane Pcapt.

Le capteur photosensible 3 capte la lumière reçue pour produire une image. Le capteur photosensible 3 est un capteur matriciel, typiquement une matrice CCD. Le capteur photosensible 3 peut être un composant électronique photosensible composé de photosites adaptés pour convertir un rayonnement électromagnétique (UV, visible ou IR) en un signal électrique analogique. Ce signal est ensuite numérisé par moyen de traitement numérique 4, tel qu’un convertisseur analogique-numérique, pour obtenir une image numérique composée de pixels, chaque pixel correspondant à un photosite du capteur photosensible 3.The photosensitive sensor 3 captures the light received to produce an image. The photosensitive sensor 3 is a matrix sensor, typically a CCD matrix. The photosensitive sensor 3 can be a photosensitive electronic component composed of photosites suitable for converting electromagnetic radiation (UV, visible or IR) into an analog electrical signal. This signal is then digitized by digital processing means 4, such as an analog-digital converter, to obtain a digital image composed of pixels, each pixel corresponding to a photosite of the photosensitive sensor 3.

Procédé de calibrage de la caméra plénoptiquePlenoptic Camera Calibration Process

Définitions préliminaires : point objet de calibrage P_obj et mire de calibragePreliminary definitions: calibration object point P_obj and calibration target

Le point objet de calibrage P_obj est un point source d’intérêt destiné à être acquis par la caméra plénoptique et dont l’image est destinée à être détectée sur le capteur 3.The calibration object point P_obj is a source point of interest intended to be acquired by the plenoptic camera and whose image is intended to be detected on sensor 3.

La position du point objet de calibrage P_obj n’est pas connue préalablement au calibrage de la caméra plénoptique. Le point objet de calibrage P_obj est situé en amont de l’entrée de l’optique principale 1, c’est-à-dire en amont de la pupille d’entrée 11 sur l’axe optique z.The position of the calibration object point P_obj is not known prior to the calibration of the plenoptic camera. The calibration object point P_obj is located upstream of the entrance to the main optics 1, that is to say upstream of the entrance pupil 11 on the optical axis z.

Le point objet de calibrage P_obj peut être un point d’une mire de calibrage.The calibration object point P_obj can be a point of a calibration target.

Une mire de calibrage est une surface plane. La mire de calibrage peut être disposée dans tout plan de l’optique principale 1, y compris par exemple dans un plan focal objet F de l’optique principale 1.A calibration target is a flat surface. The calibration target can be arranged in any plane of the main optics 1, including for example in an object focal plane F of the main optics 1.

La géométrie de la mire de calibrage, donc la position du point objet de calibrage P_obj sur la mire de calibrage, est connue.The geometry of the calibration chart, therefore the position of the calibration object point P_obj on the calibration chart, is known.

La mire de calibrage peut contenir un ou plusieurs points objets de calibrage P_obj. Pour une position donnée de la mire de calibrage, une position de l’image de la mire de calibrage sur le capteur 3 est détectée. Il est rappelé que le terme de position de l’image de la mire de calibrage est utilisé pour désigner l’ensemble des points images de la mire de calibrage à travers la caméra plénoptique.The calibration target can contain one or more calibration object points P_obj. For a given position of the calibration pattern, a position of the image of the calibration pattern on sensor 3 is detected. It is recalled that the term position of the image of the calibration chart is used to designate all the image points of the calibration chart through the plenoptic camera.

Un ou plusieurs points objets de calibrage P_obj peuvent être acquis, une ou plusieurs positions images réelles P_im_r correspondantes étant déterminées.One or more calibration object points P_obj can be acquired, one or more corresponding real image positions P_im_r being determined.

Pour une position donnée d’une mire de calibrage comprenant plusieurs points objets de calibrage P_obj, les étapes du procédé de calibrage peuvent être répétées pour chacun des différents points objets de calibrage P_obj de la mire de calibrage. Ainsi, pour chaque position de la mire de calibrage, une série de points objets de calibrage P_obj sont acquis, et les positions de leurs images réelles respectives P_im_r sur le capteur 3 sont détectées.For a given position of a calibration pattern comprising several calibration object points P_obj, the steps of the calibration method can be repeated for each of the different calibration object points P_obj of the calibration pattern. Thus, for each position of the calibration pattern, a series of calibration object points P_obj are acquired, and the positions of their respective real images P_im_r on the sensor 3 are detected.

En parallèle, les positions des images théoriques respectives P_im_th des points objets de modélisation P_mod des différents ensembles de données d’entrée E définis à l’étape S4 sont calculées par le biais du modèle de projection de la caméra plénoptique, en fonction des paramètres de projection Par_Proj et des paramètres de position Par_Pos.In parallel, the positions of the respective theoretical images P_im_th of the modeling object points P_mod of the different sets of input data E defined in step S4 are calculated through the projection model of the plenoptic camera, according to the parameters of projection Par_Proj and position parameters Par_Pos.

La comparaison de la position image réelle P_im_r et de la position image théorique P_im_th peut être effectuée pour chacun des points objets de calibrage P_obj de la mire de calibrage. Un ensemble de données d’entrée E peut alors être défini pour chaque point objet de calibrage P_obj.The comparison of the real image position P_im_r and of the theoretical image position P_im_th can be performed for each of the calibration object points P_obj of the calibration chart. A set of input data E can then be defined for each calibration object point P_obj.

Calibrer la caméra plénoptique à partir de plusieurs points objets de calibrage P_obj permet d’améliorer la robustesse de la détermination de l’ensemble de données d’entrée E du modèle de projection de la caméra plénoptique.Calibrating the plenoptic camera from several calibration object points P_obj improves the robustness of the determination of the input data set E of the projection model of the plenoptic camera.

La mire de calibrage peut être un damier. Les points objets de calibrage P_obj sont alors les coins du damier. Des méthodes connues peuvent être utilisées pour détecter les coins du damier sur le capteur de la caméra plénoptique.The calibration pattern can be a checkerboard. The calibration object points P_obj are then the corners of the checkerboard. Known methods can be used to detect the corners of the checkerboard on the plenoptic camera sensor.

En variante, la mire de calibrage peut être une grille de points. Les points objets de calibrage P_obj sont alors les centres des points de la grille. La détection des centres des points sur le capteur peut être effectuée par exemple par seuillage de l’image puis calcul des centroïdes des composantes connexes. Les points objets de calibrage P_obj de la grille de points doivent être suffisamment séparés pour pouvoir faire l’appariement entre les points images détectés sur le capteur P_im_r et les points objets de calibrage P_obj de la mire de calibrage.As a variant, the calibration target can be a grid of points. The calibration object points P_obj are then the centers of the grid points. The detection of the centers of the points on the sensor can be carried out for example by thresholding the image then calculating the centroids of the connected components. The calibration object points P_obj of the grid of points must be sufficiently separated to be able to make the pairing between the image points detected on the sensor P_im_r and the calibration object points P_obj of the calibration chart.

En variante, la mire de calibrage peut être un écran plat LCD ou LED comprenant une pluralité de pixels répartis en lignes et en colonnes. Ces pixels sont donc répartis sur une surface plane. La distance entre les lignes et la distance entre les colonnes de pixels sont des données connues. En effet, ce sont des données de fabrication de l’écran. Les pixels de l’écran constituent les points objets de calibrage P_obj de la mire de calibrage. Lors du calibrage, un seul pixel de l’écran est allumé à la fois, de sorte qu’un seul point objet de calibrage P_obj est imagé à la fois par la caméra plénoptique.As a variant, the calibration target can be an LCD or LED flat screen comprising a plurality of pixels distributed in rows and columns. These pixels are therefore distributed over a flat surface. The distance between the rows and the distance between the columns of pixels are known data. Indeed, these are screen manufacturing data. The screen pixels constitute the calibration object points P_obj of the calibration chart. During calibration, only one screen pixel is illuminated at a time, so only one calibration object point P_obj is imaged by the plenoptic camera at a time.

En variante, la mire de calibrage peut être un écran avec codage. Chaque pixel de l’écran envoie une séquence de code binaire qui contient le numéro de la ligne et de la colonne du pixel dans l’écran, c’est-à-dire la position du pixel dans l’écran. Tous les pixels sont allumés en même temps, en fonction du code correspondant à chaque pixel. Le code correspondant à chaque pixel correspond à l’allumage d’un seul pixel à la fois, le pixel présentant un numéro de ligne et de colonne spécifique et formant le point objet de calibrage P_obj à imager par la caméra plénoptique. Par exemple, exemple le code peut être un code binaire, des franges sinusoïdales, etc. Une telle mire de calibrage permet d’automatiser et d’augmenter la rapidité du procédé de calibrage de la caméra plénoptique.As a variant, the calibration chart can be a screen with coding. Each screen pixel sends a sequence of binary code which contains the row and column number of the pixel in the screen, i.e. the position of the pixel in the screen. All pixels are lit at the same time, according to the code corresponding to each pixel. The code corresponding to each pixel corresponds to the lighting of a single pixel at a time, the pixel having a specific row and column number and forming the calibration object point P_obj to be imaged by the plenoptic camera. For example, the code can be a binary code, sinusoidal fringes, etc. Such a calibration chart makes it possible to automate and increase the speed of the plenoptic camera calibration process.

Ceci étant précisé, le procédé de calibrage comprend une succession d'étapes, décrites en détail ci-après.This being specified, the calibration method comprises a succession of steps, described in detail below.

Etape S1 d’acquisition d’un point objet de calibrage P_obj par la caméra plénoptique, et étape S2 de détermination d’une position image réelle P_im_r de l’image du point objet de calibrage P_obj à travers la caméra plénoptiqueStep S1 for acquiring a calibration object point P_obj by the plenoptic camera, and step S2 for determining a real image position P_im_r of the image of the calibration object point P_obj through the plenoptic camera

Pour une position donnée de la mire de calibrage, le ou les points objets de calibrage P_obj de la mire de calibrage sont acquis, afin de détecter la position image réelle P_im_r de chacun des points objets de calibrage P_obj de la mire de calibrage.For a given position of the calibration chart, the calibration object point(s) P_obj of the calibration chart are acquired, in order to detect the real image position P_im_r of each of the calibration object points P_obj of the calibration chart.

Le procédé peut comprendre une étape de déplacement de la mire de calibrage, de sorte à modifier une position de la mire de calibrage. La mire de calibrage peut être déplacée en rotation et/ou en translation.The method may include a step of moving the calibration chart, so as to modify a position of the calibration chart. The calibration target can be moved in rotation and/or in translation.

La caméra plénoptique peut alors acquérir une série d’images de la mire de calibrage, chaque image correspondant à une position spécifique de la mire de calibrage.The plenoptic camera can then acquire a series of images of the calibration target, each image corresponding to a specific position of the calibration target.

Des platines motorisées peuvent être utilisées pour déplacer la mire de calibrage entre les différentes positions. Alors, seule une première position de la mire de calibrage doit être déterminée en absolu. Les autres positions de la mire de calibrage sont déterminées en relatif par rapport à cette première position via les platines motorisées.Motorized stages can be used to move the calibration staff between the different positions. Then, only a first position of the calibration target must be determined in absolute terms. The other positions of the calibration target are determined relative to this first position via the motorized stages.

Le nombre de positions de la mire de calibrage et le nombre de points objets de calibrage P_obj dans chaque mire de calibrage, peuvent être adaptés en fonction du nombre de paramètres de l’ensemble données d’entrée E à déterminer. Plus le nombre de positions de la mire de calibrage et le nombre de points objets de calibrage P_obj sont importants, plus la détermination correspondante de l’ensemble données d’entrée E est robuste, donc plus le calibrage du modèle de projection de la caméra plénoptique est précis.The number of positions of the calibration chart and the number of calibration object points P_obj in each calibration chart can be adapted according to the number of parameters of the input data set E to be determined. The greater the number of positions of the calibration target and the number of calibration object points P_obj, the more robust the corresponding determination of the input data set E, therefore the more the calibration of the projection model of the plenoptic camera is precise.

Dans un exemple de réalisation, un écran est utilisé comme mire de calibrage. L’acquisition du point objet de calibrage P_obj et la détection du point image réel P_im_r correspondant se déroulent de la manière suivante : l’écran est placé devant la caméra plénoptique dans une première position d’écran donnée. Un seul pixel de l’écran, formant le point objet de calibrage P_obj et correspondant à une position de pixel donnée, est allumé. La position du pixel dans l’écran est connue, et la position de l’écran sur l’axe optique z est déterminée.In an exemplary embodiment, a screen is used as a calibration chart. The acquisition of the calibration object point P_obj and the detection of the corresponding real image point P_im_r take place as follows: the screen is placed in front of the plenoptic camera in a first given screen position. A single pixel on the screen, forming the calibration object point P_obj and corresponding to a given pixel position, is lit. The position of the pixel in the screen is known, and the position of the screen on the optical z axis is determined.

Une image du pixel allumé est acquise à partir de la caméra plénoptique. L’image acquise formée sur le capteur 3 est noire, excepté au niveau du ou des macropixel(s) 31 correspondant(s) à la projection sur le capteur 3 du pixel de l’écran qui est allumé. Ainsi, la détection du point objet de calibrage P_obj est effectuée immédiatement, sans traitement de détection et de correspondance.An image of the lit pixel is acquired from the plenoptic camera. The acquired image formed on sensor 3 is black, except at the level of the macropixel(s) 31 corresponding to the projection on sensor 3 of the screen pixel which is on. Thus, the detection of the calibration object point P_obj is carried out immediately, without detection and correspondence processing.

L’étape d’allumage d’un pixel et d’acquisition du pixel allumé est répétée pour plusieurs pixels de l’écran différents, voir pour tous les pixels de l’écran. Les pixels de l'écran qui sont ainsi allumés successivement constituent les points objets de calibrage P_obj, qui sont aussi appelés points d'intérêt de la mire.The step of lighting a pixel and acquiring the lit pixel is repeated for several different pixels of the screen, or even for all the pixels of the screen. The pixels of the screen which are thus successively lit constitute the calibration object points P_obj, which are also called points of interest of the target.

La mire de calibrage est ensuite déplacée. Pour chaque position de la mire de calibrage, les étapes d’allumage des points d’intérêt de la mire de calibrage et d’acquisition des points objets de calibrage P_obj correspondants sont effectuées.The calibration target is then moved. For each position of the calibration target, the steps of turning on the points of interest of the calibration target and of acquiring the corresponding calibration object points P_obj are carried out.

La mire de calibrage peut être déplacée par exemple en 25 positions d’écran différentes, et comprendre 100 points objets de calibrage P_obj différents correspondants à 100 points d'intérêt de la mire. En variante, la mire de calibrage peut être déplacée en entre 15 et 20 positions d’écran différentes, et comprendre 50 points objets de calibrage P_obj différents.The calibration pattern can be moved, for example, to 25 different screen positions, and include 100 different calibration object points P_obj corresponding to 100 points of interest of the pattern. Alternatively, the calibration target can be moved to between 15 and 20 different screen positions, and include 50 different P_obj calibration object points.

Cet exemple de réalisation conduit à une estimation robuste d’un ensemble de données d’entrée E permettant de tenir compte des aberrations primaires et d’ordre supérieur, donc à un calibrage précis et robuste du modèle de projection de la caméra plénoptique.This example of realization leads to a robust estimation of a set of input data E allowing to take into account the primary and higher order aberrations, therefore to a precise and robust calibration of the projection model of the plenoptic camera.

Etape S4 de définition de plusieurs ensembles de données d’entrée E d’un modèle de projection de la caméra plénoptiqueStep S4 of defining several sets of input data E of a projection model of the plenoptic camera

Les étapes S5 à S7 du procédé de calibrage sont répétées pour différents ensembles de données d’entrée E du modèle de projection de la caméra plénoptique.Steps S5 to S7 of the calibration process are repeated for different sets of input data E of the plenoptic camera projection model.

Un ensemble de données d’entrée E(i) d’une itération courante (i-ème itération) peut être défini en fonction de l’erreur de calibrage δcal associée à l’ensemble de données d’entrée E(i-1) défini pour lors d’une itération précédente (i-1ème itération). Plus particulièrement, un algorithme d’optimisation peut être utilisé de sorte à optimiser un temps de détermination d’un ensemble de données d’entrée E_min susceptible de minimiser l’erreur de calibrage δcal, en vue de réduire le temps de calibrage. De tels algorithmes d’optimisation, tels que l’algorithme de Levenberg Marquardt, sont bien connus de l’homme du métier.An input data set E(i) of a current iteration (i-th iteration) can be defined according to the calibration error δcal associated with the input data set E(i-1) defined for during a previous iteration (i-1st iteration). More particularly, an optimization algorithm can be used so as to optimize a time for determining a set of input data E_min likely to minimize the calibration error δcal, with a view to reducing the calibration time. Such optimization algorithms, such as the Levenberg Marquardt algorithm, are well known to those skilled in the art.

En variante, les différents paramètres de l’ensemble de données d’entrée E peuvent être déterminés par des balayages avec des pas donnés, sur des gammes de valeurs de paramètre définies.Alternatively, the different parameters of the input data set E can be determined by sweeps with given steps, over defined parameter value ranges.

L’ensemble de données d’entrée E peut comprendre des paramètres supplémentaires par rapport aux paramètres de projection Par_Proj et aux paramètres de position Par_Pos. Par exemple, l’ensemble de données d’entrée E peut comprendre un paramètre supplémentaire correspondant à une distance entre l’optique principale 1 et le capteur 3. En effet, la distance entre l’optique principale 1 et le capteur 3 est susceptible de différer de la distance annoncée dans les données de fabrication.The input data set E can include additional parameters compared to the projection parameters Par_Proj and the position parameters Par_Pos. For example, the input data set E can include an additional parameter corresponding to a distance between the main optics 1 and the sensor 3. Indeed, the distance between the main optics 1 and the sensor 3 is likely to differ from the distance announced in the manufacturing data.

Plusieurs ensembles de données d’entrée E présentant plusieurs distances différentes entre l’optique principale 1 et le capteur 3 sont alors définis en vue de calculer l’erreur de calibrage δcal. Ainsi, il est possible de faire varier à la fois les paramètres de projection Par_Proj, les paramètres de position Par_Pos, et les paramètres supplémentaires tels que la distance entre l’optique principale 1 et le capteur 3.Several sets of input data E presenting several different distances between the main optics 1 and the sensor 3 are then defined in order to calculate the calibration error δcal. Thus, it is possible to vary both the projection parameters Par_Proj, the position parameters Par_Pos, and the additional parameters such as the distance between the main lens 1 and the sensor 3.

Etape S5 de détermination d’un tracé d’un rayon lumineux issu du point objet de modélisation P_mod en sortie de l’optique principale 1 de la caméra plénoptiqueStep S5 for determining a path of a light ray from the modeling object point P_mod at the output of the main lens 1 of the plenoptic camera

Le rayon lumineux peut être tracé de sorte à passer par la position du point objet de modélisation P_mod telle que définie par les paramètres de modélisation Par_mod, et à présenter une direction déterminée à l’aide des paramètres de projection Par_Proj.The light ray can be drawn so as to pass through the position of the modeling object point P_mod as defined by the modeling parameters Par_mod, and to present a direction determined using the projection parameters Par_Proj.

L’étape S5 de détermination d’un tracé de rayon lumineux peut comprendre les étapes suivantes, ainsi qu’illustré à titre d’exemple non limitatif en :
S51 : détermination d’une surface de front d’onde de sortie S_th, correspondant à une surface de front d’onde issue du point objet de modélisation P_mod au niveau d’une sortie de l’optique principale 1 de la caméra plénoptique, à partir de l’ensemble de données d’entrée E défini à l’étape S4 ;
S52 : calcul d’un gradient de la surface de front d’onde de sortie déterminée à l’étape S51 ;
S53 : calcul d’un tracé d’un rayon lumineux en sortie de l’optique principale 1, ledit tracé de rayon lumineux étant tel que, pour un point donné de la surface de front d’onde de sortie S_th déterminée à l’étape S51, une direction du rayon lumineux est perpendiculaire au gradient de la surface de front d’onde de sortie S_th déterminé à l’étape S52 en ce point donné.Step S5 for determining a light ray trace may comprise the following steps, as illustrated by way of non-limiting example in :
S51: determination of an output wavefront surface S_th, corresponding to a wavefront surface coming from the modeling object point P_mod at the level of an output of the main lens 1 of the plenoptic camera, at from the input data set E defined in step S4;
S52: calculating a gradient of the output wavefront area determined in step S51;
S53: calculation of a trace of a light ray at the output of the main optics 1, said trace of light ray being such that, for a given point of the output wavefront surface S_th determined in step S51, a direction of the light ray is perpendicular to the gradient of the output wavefront surface S_th determined in step S52 at that given point.

Le tracé de rayons est effectué à partir du front d’onde, plus particulièrement à partir d’un modèle de propagation du front d’onde en sortie d’une optique principale 1 présentant des aberrations optiques primaires et d’ordre supérieur.The ray tracing is carried out from the wavefront, more particularly from a propagation model of the wavefront at the output of a main optic 1 exhibiting primary and higher order optical aberrations.

Le modèle de propagation du front d’onde en sortie de l’optique principale 1, c’est-à-dire au niveau de la pupille de sortie 12 de l’optique principale 1, prend ainsi en compte les aberrations optiques d’ordre supérieur.The propagation model of the wavefront at the output of the main lens 1, that is to say at the level of the exit pupil 12 of the main lens 1, thus takes into account the optical aberrations of order superior.

Ces étapes S51 à S53 sont décrites plus en détail ci-après.These steps S51 to S53 are described in more detail below.

Etape S51 de détermination d’une surface de front d’onde de sortie S_thStep S51 of determining an output wavefront surface S_th

La surface de front d’onde de sortie S_th correspond à une surface de front d’onde issue du point objet de modélisation P_mod au niveau d’une sortie de l’optique principale 1 de la caméra plénoptique, c’est-à-dire au niveau de la pupille de sortie 12 de l’optique principale 1 sur l’axe optique z.The output wavefront surface S_th corresponds to a wavefront surface coming from the modeling object point P_mod at the level of an output of the main optics 1 of the plenoptic camera, that is to say at the exit pupil 12 of the main lens 1 on the optical axis z.

La détermination de la surface de front d’onde de sortie S_th peut comprendre une étape de détermination d’une surface de front d’onde d’entrée S_obj, qui correspond à une surface de front d’onde issue du point objet de modélisation P_mod au niveau d’une entrée de l’optique principale 1, c’est-à-dire au niveau de la pupille d’entrée 11 de l’optique principale 1.The determination of the output wavefront surface S_th may comprise a step of determining an input wavefront surface S_obj, which corresponds to a wavefront surface coming from the modeling object point P_mod at the level of an entrance of the main optic 1, that is to say at the level of the entrance pupil 11 of the main optic 1.

La surface de front d’onde d’entrée S_obj peut être déterminée à partir de la définition du point objet de modélisation P_mod, en particulier à partir des paramètres de position (Par_Pos) du point objet de modélisation P_mod.The input wavefront surface S_obj can be determined from the definition of the modeling object point P_mod, in particular from the position parameters (Par_Pos) of the modeling object point P_mod.

Pour un ensemble de paramètres de position Par_Pos correspondants à une position (x_mod, y_mod, z_mod) du point objet de modélisation P_mod, une distance z_mod correspond à la distance du point objet de modélisation P_mod à la pupille d’entrée 11 de l’optique principale 1 de la caméra plénoptique, lorsque la pupille d’entrée 11 est située en une position z=0 de l’axe optique z.For a set of position parameters Par_Pos corresponding to a position (x_mod, y_mod, z_mod) of the modeling object point P_mod, a distance z_mod corresponds to the distance from the modeling object point P_mod to the entrance pupil 11 of the optics main 1 of the plenoptic camera, when the entrance pupil 11 is located at a position z=0 of the optical axis z.

Le point objet de modélisation P_mod peut être modélisé comme un point source qui émet une onde sphérique divergente.The modeling object point P_mod can be modeled as a source point that emits a divergent spherical wave.

La surface de front d’onde d’entrée S_obj correspond à la surface de front d’onde géométrique issue du point objet de modélisation P_mod au niveau de la pupille d’entrée 11 de l’optique principale 1. La surface de front d’onde d’entrée S_obj au niveau de l’entrée de l’optique principale 1, c’est-à-dire en une position (x, y, z=0), s’écrit :The input wavefront surface S_obj corresponds to the geometric wavefront surface resulting from the modeling object point P_mod at the level of the entrance pupil 11 of the main optics 1. The front surface of input wave S_obj at the input of the main lens 1, that is to say in a position (x, y, z=0), is written:

La surface de front d’onde de sortie S_th correspond à la surface de front d’onde géométrique issue du point objet de modélisation P_mod au niveau d’une sortie de l’optique principale 1 de la caméra plénoptique, c’est-à-dire au niveau de la pupille de sortie 12 de l’optique principale 1 de la caméra plénoptique. La surface de front d’onde de sortie S_th correspond à une surface de front d’onde théorique, qui peut être déterminée à partir de l’ensemble de données d’entrée E défini à l’étape S4 et à partir de la surface de front d’onde d’entrée S_obj.The output wavefront surface S_th corresponds to the geometric wavefront surface coming from the modeling object point P_mod at the level of an output of the main optics 1 of the plenoptic camera, i.e. say at the exit pupil 12 of the main lens 1 of the plenoptic camera. The output wavefront area S_th corresponds to a theoretical wavefront area, which can be determined from the input data set E defined in step S4 and from the area of input wavefront S_obj.

L’étape S51 de détermination de la surface de front d’onde de sortie S_th peut comprendre une étape de décomposition d’une fonction représentative de la surface de front d’onde de sortie S_th en une série de polynômes, ladite série de polynôme comprenant des coefficients associés aux degrés du polynôme. Les paramètres de projection Par_Proj comprennent des coefficients de la série de polynômes jusqu’à un degré du polynôme représentatif d’une aberration primaire et d’une aberration d’ordre supérieur de l’optique principale 1. Plus particulièrement, les paramètres de projection Par_Proj peuvent comprendre les coefficients jusqu’au cinquième degré de la série de polynômes de la surface de front d’onde de sortie S_th.The step S51 of determining the output wavefront surface S_th may comprise a step of decomposing a function representative of the output wavefront surface S_th into a series of polynomials, said series of polynomials comprising coefficients associated with the degrees of the polynomial. The projection parameters Par_Proj comprise coefficients of the series of polynomials up to a degree of the polynomial representative of a primary aberration and of a higher order aberration of the main optics 1. More particularly, the projection parameters Par_Proj can include the coefficients up to the fifth degree of the series of polynomials of the output wavefront surface S_th.

La surface de front d’onde de sortie S_th peut être une surface tridimensionnelle déterminée par décomposition d’une fonction représentative de la surface de front d’onde de sortie S_th en une série de polynômes orthogonaux.The output wavefront surface S_th may be a three-dimensional surface determined by decomposing a representative function of the output wavefront surface S_th into a series of orthogonal polynomials.

La fonction représentative de la surface de front d’onde de sortie S_th peut correspondre à une somme :
- d’une surface de front d’onde idéale S_id au niveau d’une sortie d’une optique principale 1 sans aberration optique, la surface de front d’onde idéale S_id étant une surface sphérique présentant un rayon de surface sphérique ; et
- d’une fonction d’aberration W adaptée pour prendre en compte des aberrations optiques d’ordre primaire et d’ordre supérieur de l’optique principale 1, la fonction d’aberration W étant adaptée pour être décomposée en une série de polynômes.The function representative of the output wavefront surface S_th can correspond to a sum:
- an ideal wavefront surface S_id at the level of an output of a main optic 1 without optical aberration, the ideal wavefront surface S_id being a spherical surface having a spherical surface radius; And
- an aberration function W adapted to take into account optical aberrations of primary order and higher order of the main optics 1, the aberration function W being adapted to be broken down into a series of polynomials.

En d’autres termes, la surface de front d’onde de sortie S_th issue du point objet de calibrage P_obj au niveau de la pupille de sortie 12 de l’optique principale 1 de la caméra plénoptique peut s’écrire : S_th = S_id + W.In other words, the exit wavefront surface S_th coming from the calibration object point P_obj at the exit pupil 12 of the main lens 1 of the plenoptic camera can be written: S_th = S_id + W.

S_id représente une surface de front d’onde géométrique d’un front d’onde géométrique qui serait obtenu par passage des rayons issus du point objet de calibrage P_obj à travers une optique parfaite ne présentant aucune distorsion.S_id represents a geometric wavefront surface of a geometric wavefront that would be obtained by passing the rays from the calibration object point P_obj through perfect optics with no distortion.

La illustre un exemple de tracé de rayons à partir de la propagation d’un front d’onde dans le cas d’absence d’aberrations, c’est-à-dire dans le cas où les aberrations optiques sont négligées. Dans ce cas, la surface de front d’onde en sortie de la pupille de sortie 12 de l’optique principale 1, qui correspond à une surface de sortie idéale S_id, est une sphère parfaite.There illustrates an example of ray tracing from the propagation of a wave front in the case of absence of aberrations, that is to say in the case where the optical aberrations are neglected. In this case, the wavefront surface at the exit of exit pupil 12 of main optics 1, which corresponds to an ideal exit surface S_id, is a perfect sphere.

Pour une optique parfaite de focale f ne présentant aucune distorsion, la surface idéale S_id correspond à un front d’onde sphérique en sortie de l’optique parfaite convergent à la distance f, s’écrit : .For perfect optics of focal length f presenting no distortion, the ideal surface S_id corresponds to a spherical wave front at the output of the perfect optics converging at distance f, written: .

La illustre un exemple de tracé de rayons à partir de la propagation d’un front d’onde dans le cas de présence d’aberrations, c’est-à-dire dans le cas où les aberrations optiques ne sont pas négligées. Dans ce cas, la surface de front d’onde en sortie de la pupille de sortie 12 de l’optique principale 1 est une surface de forme arbitraire, qui est la somme de la surface de sortie idéale S_id d’une optique parfaite, et de la fonction d’aberration W.There illustrates an example of ray tracing from the propagation of a wave front in the case of the presence of aberrations, that is to say in the case where the optical aberrations are not neglected. In this case, the wavefront surface at the exit of exit pupil 12 of main optics 1 is a surface of arbitrary shape, which is the sum of the ideal exit surface S_id of perfect optics, and of the aberration function W.

La fonction d’aberration W peut être décomposée en une série de polynôme de Seidel. La théorie de Seidel formalise sous forme d’une série de polynômes la fonction d’aberration W. En variante, la fonction d’aberration W peut être décomposée en une série de polynôme de Zernike.The aberration function W can be decomposed into a series of Seidel polynomials. Seidel's theory formalizes the aberration function W in the form of a series of polynomials. Alternatively, the aberration function W can be decomposed into a series of Zernike polynomials.

Les paramètres de projection Par_Proj peuvent comprendre :
- le rayon de la surface de front d’onde idéale sphérique S_id ; et/ou
- les coefficients jusqu’au cinquième degré de la série de polynômes de la fonction d’aberration W.The Par_Proj projection parameters can include:
- the radius of the spherical ideal wavefront surface S_id; and or
- the coefficients up to the fifth degree of the series of polynomials of the aberration function W.

Ainsi, les paramètres de projection Par_Proj du modèle de projection de la caméra plénoptique sont représentatifs non seulement des aberrations d’ordre primaire de l’optique principale 1, qui correspondent à un développement de la fonction d’aberration W jusqu’à l’ordre 3, mais également des aberrations d’ordre supérieur, qui correspondent à un développement de la fonction d’aberration W au-delà de l’ordre 3, en particulier jusqu’à l’ordre 5.Thus, the projection parameters Par_Proj of the projection model of the plenoptic camera are representative not only of the primary order aberrations of the main optics 1, which correspond to a development of the aberration function W up to the order 3, but also higher order aberrations, which correspond to a development of the aberration function W beyond order 3, in particular up to order 5.

Les coefficients de la série de polynôme, correspondant à la fonction d’aberration W sont déterminés jusqu’à un degré du polynôme permettant de prendre en compte des aberrations primaires et des aberrations d’ordre supérieur. Ainsi, les paramètres de projection Par_Proj permettant le tracé de rayons sont calculés par une solution algorithmique, qui modélise les aberrations d’ordre supérieur de l’optique principale 1.The coefficients of the polynomial series, corresponding to the aberration function W are determined up to a degree of the polynomial allowing to take into account primary aberrations and higher order aberrations. Thus, the projection parameters Par_Proj allowing the ray tracing are calculated by an algorithmic solution, which models the higher order aberrations of the main optics 1.

Etape S52 de calcul du gradient de la surface de front d’onde de sortie S_thStep S52 for calculating the gradient of the output wavefront surface S_th

Une fois la surface de front d’onde de sortie S_th déterminée sur la base des paramètres de projection Par_Proj et des paramètres de position Par_Pos, il est possible d’en calculer le gradient.Once the output wavefront surface S_th has been determined on the basis of the projection parameters Par_Proj and the position parameters Par_Pos, it is possible to calculate its gradient.

Etape S53 de calcul d’un tracé d’un rayon lumineux en sortie de l’optique principale 1Step S53 for calculating a path of a light ray at the output of the main optics 1

Le tracé des rayons sortant de la pupille de sortie 12 de l’optique principale 1 de la caméra plénoptique et provenant du point objet de modélisation P_mod est ensuite déterminé à partir du gradient de la surface de front d’onde de sortie S_th.The path of the rays leaving the exit pupil 12 of the main optics 1 of the plenoptic camera and coming from the modeling object point P_mod is then determined from the gradient of the exit wavefront surface S_th.

Les rayons lumineux se propagent perpendiculairement au gradient de la surface de front d’onde S_th en sortie de la pupille de sortie 12 de l’optique principale 1. La direction d’un rayon optique en sortie de l’optique principale 1, qui représente la direction de propagation de l’onde, est perpendiculaire à la direction du gradient de la surface du front d’onde géométrique en sortie de l’optique principale 1.The light rays propagate perpendicular to the gradient of the wavefront surface S_th at the exit of the exit pupil 12 of the main optics 1. The direction of an optical ray at the exit of the main optics 1, which represents the direction of propagation of the wave, is perpendicular to the direction of the gradient of the surface of the geometric wavefront at the output of the main optics 1.

En d’autres termes, en tout point de la surface de front d’onde de sortie S_th, un rayon lumineux issu de ce point présente une direction perpendiculaire à la direction du gradient de la surface de front d’onde de sortie S_th en ce point.In other words, at any point on the output wavefront surface S_th, a light ray issuing from this point has a direction perpendicular to the direction of the gradient of the output wavefront surface S_th in this point.

Etape S6 de calcul d’une position image théorique P_im_th du point objet de modélisation P_modStep S6 for calculating a theoretical image position P_im_th of the modeling object point P_mod

La position théorique P_im_th sur le capteur 3 de l’image du point objet de modélisation P_mod à travers la caméra plénoptique est calculée à partir du tracé des rayons sortant de l’optique principale 1 effectué lors de l’étape S5.The theoretical position P_im_th on the sensor 3 of the image of the modeling object point P_mod through the plenoptic camera is calculated from the tracing of the rays emerging from the main optics 1 carried out during step S5.

Un rayon correspondant à chaque point de la surface de front d’onde de sortie S_th peut être tracé, le rayon passant par ce point de la surface de front d’onde de sortie S_th et étant de direction perpendiculaire au gradient de la surface de front d’onde de sortie S_th en ce point.A ray corresponding to each point on the output wavefront surface S_th can be drawn, the ray passing through this point on the output wavefront surface S_th and having a direction perpendicular to the gradient of the front surface output waveform S_th at this point.

La position image théorique P_im_th correspond à l’intersection entre le rayon déterminé en sortie de pupille de sortie 12 de l’optique principale 1 et le capteur 3.The theoretical image position P_im_th corresponds to the intersection between the ray determined at the exit of exit pupil 12 of main optics 1 and sensor 3.

Plus précisément, la position et la direction du rayon en sortie de pupille de l’optique principale 1 sont déterminées. Par conséquent, le centre d’élément optique 21 de la matrice d’éléments optiques 2 par lequel passe le rayon en aval de la sortie de l’optique principale 1 est déterminé, à partir de la détermination de la position de la matrice d’éléments optiques 2.More precisely, the position and the direction of the ray at the exit of the pupil of the main optics 1 are determined. Consequently, the center of optical element 21 of the matrix of optical elements 2 through which the ray passes downstream of the output of the main optic 1 is determined, from the determination of the position of the matrix of optical elements 2.

La position relative de la matrice d’éléments optiques par rapport au capteur Pmat/Pcapt déterminée à l’étape S3 permet d’en déduire le macropixel 31 du capteur 3 associé à l’élément optique 21 par lequel passe le rayon.The relative position of the matrix of optical elements with respect to the sensor Pmat/Pcapt determined in step S3 makes it possible to deduce the macropixel 31 of the sensor 3 associated with the optical element 21 through which the ray passes.

Il est donc possible de déterminer le macropixel 31 du capteur 3 sur lequel l’image théorique du point objet de modélisation P_mod par l’optique principale 1, pour ce rayon, se formera.It is therefore possible to determine the macropixel 31 of the sensor 3 on which the theoretical image of the modeling object point P_mod by the main optics 1, for this ray, will be formed.

La position image théorique P_im_th peut ainsi être déduite de l’ensemble des tracés de rayons effectués en sortie de l’optique principale 1.The theoretical image position P_im_th can thus be deduced from all the ray tracings performed at the output of the main lens 1.

Le tracé des rayons formant l’image complète est la somme algébrique des tracés de rayons issus de chaque point de la surface de front d’onde de sortie S_th.The ray trace forming the complete image is the algebraic sum of the ray traces from each point on the output wavefront surface S_th.

Etape S3 de détermination d’une position relative de la matrice d’éléments optiques 2 par rapport au capteur 3 Pmat/PcaptStep S3 of determining a relative position of the matrix of optical elements 2 with respect to the sensor 3 Pmat/Pcapt

La matrice d’éléments optiques 2 peut comprendre une pluralité d’éléments optiques 12 disposés sur un plan de matrice Pmat, les positions de centres des éléments optiques 21 sur le plan de matrice Pmat étant connues. Le modèle géométrique de la matrice d’éléments optiques 2 est connu. En d’autres termes, les coordonnées des centres des éléments optiques 21 dans le repère du plan de matrice Pmat, et les distances entre les centres des éléments optiques 21 de la matrice d’éléments optiques 2, sont connues.The matrix of optical elements 2 can comprise a plurality of optical elements 12 arranged on a plane of the matrix Pmat, the positions of centers of the optical elements 21 on the plane of the matrix Pmat being known. The geometric model of the matrix of optical elements 2 is known. In other words, the coordinates of the centers of the optical elements 21 in the coordinate system of the matrix plane Pmat, and the distances between the centers of the optical elements 21 of the matrix of optical elements 2, are known.

Le capteur 3 peut comprendre une pluralité de pixels disposés sur un plan de capteur Pcapt, les positions des pixels sur le plan de capteur Pcapt étant connues.The sensor 3 may comprise a plurality of pixels arranged on a sensor plane Pcapt, the positions of the pixels on the sensor plane Pcapt being known.

Le plan de matrice Pmat peut présenter une position relative Pmat/Pcapt non nulle par rapport au plan de capteur Pcapt, ainsi qu’illustré à titre d’exemple non limitatif en . En d’autres termes, le plan de matrice Pmat peut ne pas être parfaitement parallèle au plan de capteur Pcapt.The matrix plane Pmat may have a non-zero relative position Pmat/Pcapt with respect to the sensor plane Pcapt, as illustrated by way of non-limiting example in . In other words, the matrix plane Pmat may not be perfectly parallel to the sensor plane Pcapt.

La position relative de la matrice d’éléments optiques 2 par rapport au capteur 3 Pmat/Pcapt peut être déterminée à l’étape S3 à partir des étapes suivantes, ainsi qu’illustré à titre d’exemple non limitatif en figures 8 et 9 :
S31 : acquisition par la caméra plénoptique d’un objet de référence ;
S32 : détection sur le plan de capteur Pcapt de l’image 5 de l’objet de référence par la caméra plénoptique ;
S33 : détermination des positions des centres des éléments optiques 21 sur le plan de capteur Pcapt, à partir de l’image 5 de l’objet de référence détectée à l’étape S32 ;
S34 : détermination d’une transformation géométrique Tmat/capt entre le plan de matrice Pmat et le plan de capteur Pcapt, à partir des positions des centres d’éléments optiques 21 sur le plan de matrice Pmat connues et des positions des centres d’éléments optiques 21 sur le plan de capteur Pcapt déterminées à l’étape S33.The relative position of the matrix of optical elements 2 with respect to the Pmat/Pcapt sensor 3 can be determined in step S3 from the following steps, as illustrated by way of non-limiting example in FIGS. 8 and 9:
S31: acquisition by the plenoptic camera of a reference object;
S32: detection on the sensor plane Pcapt of the image 5 of the reference object by the plenoptic camera;
S33: determination of the positions of the centers of the optical elements 21 on the sensor plane Pcapt, from the image 5 of the reference object detected in step S32;
S34: determination of a geometric transformation Tmat/capt between the matrix plane Pmat and the sensor plane Pcapt, from the positions of the centers of optical elements 21 on the matrix plane Pmat known and from the positions of the centers of known elements optics 21 on the sensor plane Pcapt determined in step S33.

Ce modèle permet de déterminer la position des centres des éléments optiques 21 dans le repère lié au plan du capteur Pcapt.This model makes it possible to determine the position of the centers of the optical elements 21 in the reference frame linked to the plane of the sensor Pcapt.

En d’autres termes, il s’agit de déterminer la position de la matrice d’éléments optiques 2 dans le repère défini par le capteur photosensible 3 de la caméra plénoptique.In other words, it is a question of determining the position of the matrix of optical elements 2 in the mark defined by the photosensitive sensor 3 of the plenoptic camera.

La position de chaque centre d’élément optique 21 dans le plan de matrice Pmat étant connue, la position de la matrice d’éléments optiques 2 peut être déterminée à l’étape S33 par la projection des centres des éléments optiques 21 sur le capteur 3. En d’autres termes, la détection de la projection sur le capteur 3 de chaque centre d’élément optique 21 dans le repère lié au capteur Pcapt permet de déterminer la position relative entre le plan lié aux éléments optiques Pmat et le plan lié au capteur Pcapt.The position of each optical element center 21 in the matrix plane Pmat being known, the position of the matrix of optical elements 2 can be determined in step S33 by the projection of the centers of the optical elements 21 on the sensor 3 In other words, the detection of the projection on the sensor 3 of each optical element center 21 in the reference frame linked to the sensor Pcapt makes it possible to determine the relative position between the plane linked to the optical elements Pmat and the plane linked to the Pcapt.

L’objet de référence acquis lors de l’étape S31 peut être une surface plane située dans le plan de matrice Pmat, les images des centres des éléments optiques 21 étant formées dans un même plan qui correspond au plan du capteur Pcapt.The reference object acquired during step S31 can be a flat surface located in the plane of the matrix Pmat, the images of the centers of the optical elements 21 being formed in the same plane which corresponds to the plane of the sensor Pcapt.

L’objet de référence acquis lors de l’étape S31 peut être une surface plane de couleur uniforme. La illustre à titre d’exemple non limitatif une image 5 d’un tel objet de référence acquis par la caméra plénoptique. Par exemple, l’objet de référence peut être une feuille de papier blanc, un rétroéclairage, un écran LCD avec tous les pixels allumés avec la même valeur de niveau de gris, etc.The reference object acquired in step S31 may be a flat surface of uniform color. There illustrates by way of non-limiting example an image 5 of such a reference object acquired by the plenoptic camera. For example, the reference object can be a white sheet of paper, a backlight, an LCD screen with all pixels lit with the same gray level value, etc.

La détermination de la position des centres des éléments optiques 21 réalisée à l’étape S33 peut correspondre à une détermination de la position des centres des éléments optiques 21 dans le repère lié au capteur 3, c’est-à-dire dans le plan de capteur Pcapt. Les positions des centres des éléments optiques 21 de la matrice d’éléments optiques 2 dans le plan de capteur Pcapt peuvent être déterminées à l’étape S33 par segmentation de l’image acquise puis détermination des centres de chaque ellipse.The determination of the position of the centers of the optical elements 21 carried out in step S33 can correspond to a determination of the position of the centers of the optical elements 21 in the reference frame linked to the sensor 3, that is to say in the plane of Pcapt. The positions of the centers of the optical elements 21 of the matrix of optical elements 2 in the sensor plane Pcapt can be determined in step S33 by segmenting the acquired image then determining the centers of each ellipse.

La transformation géométrique Tmat/capt entre le plan de matrice Pmat et le plan de capteur Pcapt déterminée à l’étape S34 correspond à la transformation géométrique à appliquer entre les centres des éléments optiques 21 et leurs projections sur le capteur 3. Cette transformation Tmat/capt correspond à la transformation à appliquer pour passer de la position de chacun des centres des éléments optiques 21 au point correspondant dans l’image formée sur le capteur 3, c’est-à-dire à la transformation pour passer du plan de matrice Pmat au plan de capteur Pcapt.The geometric transformation Tmat/capt between the matrix plane Pmat and the sensor plane Pcapt determined in step S34 corresponds to the geometric transformation to be applied between the centers of the optical elements 21 and their projections on the sensor 3. This transformation Tmat/ capt corresponds to the transformation to be applied to pass from the position of each of the centers of the optical elements 21 to the corresponding point in the image formed on the sensor 3, that is to say to the transformation to pass from the matrix plane Pmat to the sensor plane Pcapt.

L’étape S34 de détermination de la transformation géométrique Tmat/capt entre le plan de matrice Pmat et le plan de capteur Pcapt peut comprendre les étapes suivantes, ainsi qu’illustré à titre d’exemple non limitatif en :
S341 : détermination d’une homographie entre le plan de matrice Pmat et le plan de capteur Pcapt ;
S342 : détermination d’une rotation et/ou d’une translation entre le plan de matrice Pmat et le plan de capteur Pcapt à partir de l’homographie déterminée à l’étape S341.Step S34 for determining the geometric transformation Tmat/capt between the matrix plane Pmat and the sensor plane Pcapt may comprise the following steps, as illustrated by way of non-limiting example in :
S341: determination of a homography between the matrix plane Pmat and the sensor plane Pcapt;
S342: determination of a rotation and/or a translation between the matrix plane Pmat and the sensor plane Pcapt from the homography determined in step S341.

La transformation Tmat/capt est alors une homographie, à partir de laquelle il est possible de déterminer la position, en termes de rotation et de translation, d’un plan par rapport à l’autre. L’homographie entre les positions des centres déterminées dans le plan du capteur Pcapt grâce à l’acquisition d’image de la caméra plénoptique, et les positions des centres dans le plan de la matrice Pmat, qui sont connues, est alors déterminée.The Tmat/capt transformation is then a homography, from which it is possible to determine the position, in terms of rotation and translation, of one plane relative to the other. The homography between the positions of the centers determined in the plane of the sensor Pcapt thanks to the image acquisition of the plenoptic camera, and the positions of the centers in the plane of the matrix Pmat, which are known, is then determined.

L’homographie peut correspondre à une rotation et/ou à une translation entre le plan de matrice Pmat et le plan de capteur Pcapt. La translation suivant l’axe optique z est déterminée à un facteur près lorsque la position de l’objectif principal 1 n’est pas encore déterminée.The homography can correspond to a rotation and/or a translation between the matrix plane Pmat and the sensor plane Pcapt. The translation along the optical axis z is determined to within a factor when the position of the main lens 1 is not yet determined.

La position relative de la matrice d’éléments optiques 2 par rapport au capteur 3 Pmat/Pcapt peut être déterminée à partir de la transformation géométrique Tmat/capt déterminée.The relative position of the matrix of optical elements 2 with respect to the sensor 3 Pmat/Pcapt can be determined from the determined geometric transformation Tmat/capt.

S35 : attribution à chaque pixel du capteur 3 d’un unique centre d’élément optique 21 de la matrice d’éléments optiques 2 et S36 : détermination d’une position du centre de l’élément optique 21 attribué au pixel du capteur 3 sur le plan de capteur PcaptS35: allocation to each pixel of sensor 3 of a single center of optical element 21 of the matrix of optical elements 2 and S36: determination of a position of the center of optical element 21 allocated to the pixel of sensor 3 on the Pcapt sensor plan

Ainsi qu’illustré à titre d’exemple non limitatif en , le procédé de calibrage peut comprendre en outre les étapes suivantes, réalisées à partir de la position relative de la matrice d’éléments optiques 2 par rapport au capteur 3 Pmat/Pcapt déterminée :
S35 : attribution à chaque pixel du capteur 3 d’un unique centre d’élément optique 21 de la matrice d’éléments optiques 2 ;
S36 : détermination d’une position du centre de l’élément optique 21 attribué au pixel du capteur 3 sur le plan de capteur Pcapt.
Le tracé de rayon lumineux déterminé à l’étape S5 passe par un centre d’élément optique 21 dont la position est déterminée à l’étape S36, pour former une image sur le pixel du capteur 3 auquel le centre de l’élément optique 21 est attribué à l’étape S35, la position image théorique P_im_th étant calculée à l’étape S6 à partir de ladite image formée sur le pixel du capteur 3.As illustrated by way of non-limiting example in , the calibration method may further comprise the following steps, carried out from the relative position of the matrix of optical elements 2 with respect to the sensor 3 Pmat/Pcapt determined:
S35: allocation to each pixel of sensor 3 of a single optical element center 21 of the matrix of optical elements 2;
S36: determination of a position of the center of the optical element 21 assigned to the pixel of the sensor 3 on the sensor plane Pcapt.
The light ray trace determined in step S5 passes through an optical element center 21 whose position is determined in step S36, to form an image on the pixel of the sensor 3 to which the center of the optical element 21 is assigned at step S35, the theoretical image position P_im_th being calculated at step S6 from said image formed on the pixel of sensor 3.

Le procédé permet d’associer, à un pixel du capteur donné, l’élément optique 21 qui correspond à ce pixel. Ainsi, le procédé permet de définir, sur le plan du capteur Pcapt, le groupe de pixels 31, ou macropixel, correspondant à chaque élément optique 21. En d’autres termes, le procédé permet de définir les macropixels 31 du capteur 3, chaque élément optique 21 étant associé à un macropixel 31 du capteur 3.The method makes it possible to associate, with a pixel of the given sensor, the optical element 21 which corresponds to this pixel. Thus, the method makes it possible to define, on the level of the sensor Pcapt, the group of pixels 31, or macropixel, corresponding to each optical element 21. In other words, the method makes it possible to define the macropixels 31 of the sensor 3, each optical element 21 being associated with a macropixel 31 of sensor 3.

Le procédé permet donc d’effectuer un mapping entre les pixels du capteur 3 et les éléments optiques 21 qui lui correspondent. Dans le cas où les éléments optiques 21 sont des microlentilles, le procédé permet de déterminer le mapping pixel-microlentille.The method therefore makes it possible to perform a mapping between the pixels of the sensor 3 and the optical elements 21 which correspond to it. In the case where the optical elements 21 are microlenses, the method makes it possible to determine the pixel-microlens mapping.

Par ailleurs, la position du centre de l’élément optique 21 est déterminée grâce à la détermination de la transformation Tmat/capt entre le plan de matrice Pmat et le plan de capteur Pcapt déterminée à l’étape S33.Furthermore, the position of the center of the optical element 21 is determined thanks to the determination of the transformation Tmat/capt between the matrix plane Pmat and the sensor plane Pcapt determined in step S33.

Etape S7 de calcul de l’erreur de calibrage δcalStep S7 for calculating the calibration error δcal

La position image théorique P_im_th est comparée à la position image réelle P_im_r détectée sur le capteur 3, afin de calculer une erreur de calibrage δcal correspondante. Pour chaque position du point objet de calibrage P_obj, une erreur de calibrage de calibrage δcal correspondante est calculée par le biais des étapes S1 à S9 du procédé précédemment décrit. L’erreur de calibrage δcal correspond à la distance entre la position image réelle P_im_r et la position image théorique P_im_th.The theoretical image position P_im_th is compared with the real image position P_im_r detected on the sensor 3, in order to calculate a corresponding calibration error δcal. For each position of the calibration object point P_obj, a corresponding calibration calibration error δcal is calculated by means of steps S1 to S9 of the method previously described. The calibration error δcal corresponds to the distance between the real image position P_im_r and the theoretical image position P_im_th.

L’erreur de calibrage δcal est associée à l’ensemble de données d’entrée E défini à l‘étape S4, c’est-à-dire aux paramètres de projection Par_Proj du modèle de projection et aux paramètres de position Par_Pos du point objet de modélisation P_mod à partir desquels la position image théorique P_im_th est calculée.The calibration error δcal is associated with the input data set E defined in step S4, i.e. with the projection parameters Par_Proj of the projection model and with the position parameters Par_Pos of the object point models P_mod from which the theoretical image position P_im_th is calculated.

L’erreur de calibrage δcal peut être déterminée pour plusieurs positions du point objet de calibrage P_obj. Par exemple, l’erreur de calibrage δcal peut être déterminée, pour une position de la mire de calibrage donnée, pour plusieurs points objets de calibrage P_obj de la mire de calibrage. En variante ou en outre, l’erreur de calibrage δcal peut être déterminée pour plusieurs positions de la mire de calibrage.The calibration error δcal can be determined for several positions of the calibration object point P_obj. For example, the calibration error δcal can be determined, for a given position of the calibration chart, for several calibration object points P_obj of the calibration chart. Alternatively or additionally, the calibration error δcal can be determined for several positions of the calibration target.

Les étapes du procédé peuvent être répétées pour plusieurs positions du point objet de calibrage P_obj et plusieurs ensembles de données d’entrée E. Pour chaque ensemble de données d’entrée E défini à l’étape E4, le procédé peut comprendre les étapes suivantes, ainsi qu’illustré à titre d’exemple non limitatif en :
S8: calcul d’une somme des erreurs de calibrage δcal associées audit ensemble de données d’entrée E, les erreurs de calibrage δcal étant déterminées pour chaque position du point objet de calibrage P_obj, ladite somme étant appelée erreur totale de calibrage Δcal ;
S9: détermination de l’ensemble de données d’entrée E_min minimisant l’erreur totale de calibrage Δcal.The steps of the method can be repeated for several positions of the calibration object point P_obj and several sets of input data E. For each set of input data E defined in step E4, the method can comprise the following steps, as illustrated by way of non-limiting example in :
S8 : calculation of a sum of the calibration errors δcal associated with said set of input data E, the calibration errors δcal being determined for each position of the calibration object point P_obj, said sum being called total calibration error Δcal;
S9 : determination of the input data set E_min minimizing the total calibration error Δcal.

Ces étapes S8 et S9 sont décrites plus en détail ci-après.These steps S8 and S9 are described in more detail below.

Un ensemble de données d’entrée E est défini. L’ensemble de données d’entrée E comprend des paramètres de projection Par_Proj, et des paramètres de position Par_Pos. Une position image théorique P_im_th est calculée sur la base de l’ensemble de données d’entrée E.An input data set E is defined. The input data set E includes projection parameters Par_Proj, and position parameters Par_Pos. A theoretical image position P_im_th is calculated based on the input data set E.

Pour chaque position du point objet de calibrage P_obj, une erreur de calibrage δcal correspondant à la distance entre la position image réelle P_im_r et la position image théorique P_im_th est calculée.For each position of the calibration object point P_obj, a calibration error δcal corresponding to the distance between the real image position P_im_r and the theoretical image position P_im_th is calculated.

Les erreurs de calibrage δcal associées à chaque position du point objet de calibrage P_obj sont toutes sommées, pour obtenir une erreur totale de calibrage Δcal associée à l’ensemble de données d’entrée E défini.The calibration errors δcal associated with each position of the calibration object point P_obj are all summed, to obtain a total calibration error Δcal associated with the defined input data set E.

L’erreur totale de calibrage Δcal est ainsi calculée pour chacun des ensembles de données d’entrée E définis, une erreur totale de calibrage Δcal étant associée à chaque ensemble de donnée d’entrée E.The total calibration error Δcal is thus calculated for each of the input data sets E defined, a total calibration error Δcal being associated with each input data set E.

L’ensemble de données d’entrée E conduisant à l’erreur totale de calibrage Δcal minimale correspond à l’ensemble de données de calibrage E_min optimisant le modèle de projection de la caméra plénoptique. En effet, pour cet ensemble de données de calibrage E_min, les positions images théoriques P_im_th projetées par le modèle de projection de la caméra plénoptique sont les plus proches des positions images réelles P_im_r détectées sur le capteur 3. Pour cet ensemble de données de calibrage E_min, l’erreur totale de calibrage Δcal est minimisée, et la précision du calibrage est donc optimisée.The input data set E leading to the minimum total calibration error Δcal corresponds to the calibration data set E_min optimizing the plenoptic camera projection model. Indeed, for this set of calibration data E_min, the theoretical image positions P_im_th projected by the projection model of the plenoptic camera are the closest to the real image positions P_im_r detected on sensor 3. For this set of calibration data E_min , the total calibration error Δcal is minimized, and the calibration accuracy is therefore optimized.

La position du point objet de modélisation P_mod correspondant aux paramètres de position Par_mod de l’ensemble de données de calibrage E_min correspond sensiblement à la position du point objet de calibrage P_obj. Les paramètres de projection Par_proj de l’ensemble de données de calibrage E_min permettent une modélisation précise d’une aberration primaire et d’une aberration d’ordre supérieur de l’optique principale 1.The position of the modeling object point P_mod corresponding to the position parameters Par_mod of the calibration data set E_min corresponds substantially to the position of the calibration object point P_obj. The Par_proj projection parameters of the E_min calibration dataset allow accurate modeling of a primary aberration and a higher order aberration of primary optics 1.

Dans le cas où l’ensemble de données d’entrée E comprend en outre une distance entre l’optique principale 1 et le capteur 3, la distance correspondant à l’ensemble de données de calibrage E_min correspond sensiblement à une distance réelle entre l’optique principale 1 et le capteur 3.In the case where the input data set E further comprises a distance between the main optics 1 and the sensor 3, the distance corresponding to the calibration data set E_min corresponds substantially to an actual distance between the main lens 1 and sensor 3.

Dans un exemple, l’ensemble de données de calibrage E_min peut correspondre à l’ensemble de paramètres minimisant l’expression suivante :In an example, the calibration data set E_min can correspond to the set of parameters minimizing the following expression:

où :
N représente le nombre de postions de la mire de calibrage,
Ρ_im_th() représente la fonction de projection d’un point objet de modélisation P_mod sur le capteur 3 de la caméra plénoptique,
d() représente une distance, en l’occurrence calculée entre les points images réels P_im_r détectés sur le capteur 3 et les points images théoriques P_im_th projetés par le modèle de la caméra plénoptique,Or :
N represents the number of positions of the calibration chart,
Ρ_im_th() represents the projection function of a modeling object point P_mod on sensor 3 of the plenoptic camera,
d() represents a distance, in this case calculated between the real image points P_im_r detected on sensor 3 and the theoretical image points P_im_th projected by the plenoptic camera model,

est un vecteur contenant les positions, sur le capteur 3, des points images réels P_im_r détectés pour la ième position de la mire de calibrage,
représente la rotation de la mire de calibrage dans sa ième position,
représente la translation de la mire de calibrage dans sa ième position. is a vector containing the positions, on the sensor 3, of the real image points P_im_r detected for the ith position of the calibration chart,
represents the rotation of the calibration target in its ith position,
represents the translation of the calibration target in its ith position.

Ce critère de calibrage par minimisation de l’erreur de calibrage représente la minimisation de la moyenne de la distance entre la projection d’un point objet de modélisation P_mod par le modèle de la caméra plénoptique P_im_th, et le point image réel P_im_r sur le capteur 3.This calibration criterion by minimization of the calibration error represents the minimization of the average of the distance between the projection of a modeling object point P_mod by the model of the plenoptic camera P_im_th, and the real image point P_im_r on the sensor 3.

Procédé de reconstitution tridimensionnelleThree-dimensional reconstruction process

Un procédé de reconstruction tridimensionnelle d’un objet à l’aide d’une caméra plénoptique, la caméra plénoptique comprenant une optique principale 1, un capteur photosensible 3, et une matrice d’éléments optiques 2 disposée entre l’optique principale 1 et le capteur 3, la matrice d’éléments optiques 2 comprenant une pluralité d’éléments optiques 21, le capteur 3 comprenant une pluralité de pixels, peut être effectué une fois la caméra plénoptique calibrée.A method for the three-dimensional reconstruction of an object using a plenoptic camera, the plenoptic camera comprising a main lens 1, a photosensitive sensor 3, and a matrix of optical elements 2 placed between the main lens 1 and the sensor 3, the matrix of optical elements 2 comprising a plurality of optical elements 21, the sensor 3 comprising a plurality of pixels, can be performed once the plenoptic camera has been calibrated.

Le procédé de reconstitution tridimensionnelle comprend les étapes suivantes, ainsi qu’illustré à titre d’exemple non limitatif en :
S21 : détermination d’un ensemble de données de calibrage E_min minimisant une erreur de calibrage δcal de la caméra plénoptique à l’aide d’un procédé selon l’une des revendications 1 à 9 ;
pour chaque point objet de l’objet à reconstruire tridimensionnellement :
S22 : acquisition du point objet par la caméra plénoptique ;
S23 : détermination d’un ensemble de pixels du capteur 3 correspondant à des éléments optiques 21 différents et au même point objet ;
S24 : calcul d’un gradient d’une surface de front d’onde issue du point objet au niveau d’une sortie de l’optique principale 1 de la caméra plénoptique, à partir du modèle de projection de la caméra plénoptique avec l’ensemble de données de calibrage E_min défini à l’étape S21 ;
S25 : pour l’ensemble de pixels du capteur 3 déterminé à l’étape S23, détermination des rayons lumineux passant par les centres des éléments optiques 21 correspondants et perpendiculaires au gradient de la surface de front d’onde déterminé à l’étape S24 ;
S26 : détermination des rayons lumineux en entrée de l’optique principale 1 de la caméra plénoptique, à partir des rayons lumineux déterminés à l’étape S25 ;
S27 : reconstruction tridimensionnelle du point objet par triangulation des rayons lumineux en entrée de l’optique principale 1 de la caméra plénoptique.The three-dimensional reconstitution process comprises the following steps, as illustrated by way of non-limiting example in :
S21: determination of a set of calibration data E_min minimizing a calibration error δcal of the plenoptic camera using a method according to one of Claims 1 to 9;
for each object point of the object to be reconstructed three-dimensionally:
S22: acquisition of the object point by the plenoptic camera;
S23: determination of a set of pixels of the sensor 3 corresponding to different optical elements 21 and to the same object point;
S24: calculation of a gradient of a wavefront surface coming from the object point at the level of an output of the main lens 1 of the plenoptic camera, from the projection model of the plenoptic camera with the calibration data set E_min defined in step S21;
S25: for the set of pixels of the sensor 3 determined in step S23, determination of the light rays passing through the centers of the corresponding optical elements 21 and perpendicular to the gradient of the wavefront surface determined in step S24;
S26: determination of the light rays at the input of the main lens 1 of the plenoptic camera, from the light rays determined in step S25;
S27: three-dimensional reconstruction of the object point by triangulation of the light rays entering the main lens 1 of the plenoptic camera.

Les étapes du procédé sont répétées pour tous les points objets de l’objet, afin de procéder à la reconstitution tridimensionnelle de l’objet entier.The steps of the process are repeated for all the object points of the object, in order to proceed with the three-dimensional reconstruction of the entire object.

L’étape S23 est effectuée à partir de la détermination d’une image réelle du point objet acquis sur le capteur 3 de la caméra plénoptique. L’étape S23 correspond à un appariement des pixels du capteur 3 de différents éléments optique 21 qui correspondent au même point objet. Cet appariement peut s’effectuer par corrélation d’image.Step S23 is performed from the determination of a real image of the object point acquired on the sensor 3 of the plenoptic camera. Step S23 corresponds to a pairing of the pixels of the sensor 3 of different optical elements 21 which correspond to the same object point. This matching can be done by image correlation.

Les rayons lumineux déterminés à l’étape S25 sont reconstruits en partant de l’ensemble de pixels du capteur 3 déterminé à l’étape S23, et de la direction de rayon déterminée à partir du gradient déterminé le modèle de projection de la caméra plénoptique à l’étape S24.The light rays determined in step S25 are reconstructed starting from the set of pixels of the sensor 3 determined in step S23, and from the direction of the ray determined from the gradient determined the projection model of the plenoptic camera at step S24.

Pour chaque pixel du capteur, un seul et unique rayon est tracé. Le pixel du capteur 3 fournit une position du rayon lumineux au niveau du capteur 3. Le modèle de projection de la caméra plénoptique fournit une direction du rayon lumineux. La propagation des rayons est effectuée en partant des pixels du capteur 3 vers la scène imagée, à l’inverse du procédé de calibrage.For each pixel of the sensor, a single and unique ray is traced. The pixel of sensor 3 provides a position of the light ray at sensor 3. The projection model of the plenoptic camera provides a direction of the light ray. The propagation of the rays is carried out starting from the pixels of the sensor 3 towards the imaged scene, contrary to the calibration process.

Le rayon partant du pixel du capteur 3 passe par le centre d’élément optique 21 associé au pixel lors de l’étape S35, la position du centre d’élément optique 21 étant le cas échéant déterminée à l’étape S36.The ray starting from the pixel of the sensor 3 passes through the center of the optical element 21 associated with the pixel during step S35, the position of the center of the optical element 21 being if necessary determined at step S36.

La reconstitution tridimensionnelle est effectuée dans l’étape 28 par triangulation, c’est-à-dire par intersection des rayons. L’intersection de ces rayons peut être calculée dans l’étape S27 au sens des moindres carrés.The three-dimensional reconstruction is carried out in step 28 by triangulation, that is to say by intersection of the rays. The intersection of these rays can be calculated in step S27 in a least-squares sense.

Dispositif de reconstitution tridimensionnelleThree-dimensional reconstitution device

Un dispositif de reconstitution tridimensionnelle peut comprendre une caméra plénoptique et un moyen de traitement numérique 4.A three-dimensional reconstitution device can include a plenoptic camera and a digital processing means 4.

Le moyen de traitement numérique 4 du dispositif de reconstitution tridimensionnelle est adapté pour mettre en œuvre le procédé de reconstruction tridimensionnelle décrit ci-dessus.The digital processing means 4 of the three-dimensional reconstruction device is suitable for implementing the three-dimensional reconstruction method described above.

Le moyen de traitement numérique 4, ou calculateur de traitement numérique, est adapté pour fournir une reconstruction tridimensionnelle d’une scène objet imagée à partir des données, c’est-à-dire des valeurs des pixels, d’une image ou d’une série d’images de la scène fournies en sortie par la caméra, en fonction de l’ensemble de données de calibrage Param de la caméra plénoptique.The digital processing means 4, or digital processing computer, is suitable for providing a three-dimensional reconstruction of an imaged object scene from the data, that is to say the values of the pixels, of an image or of a series of images of the scene output from the camera, based on the Param calibration data set of the plenoptic camera.

En d’autres termes, le moyen de traitement numérique 4 est configuré pour déterminer, à partir d'un ensemble d'images fournies par le capteur photosensible 3, une distance entre un point objet et la caméra plénoptique.In other words, the digital processing means 4 is configured to determine, from a set of images supplied by the photosensitive sensor 3, a distance between an object point and the plenoptic camera.

En particulier, le moyen de traitement numérique 4 est adapté pour associer entre eux les pixels différents qui correspondent à un même point objet.In particular, the digital processing means 4 is adapted to associate together the different pixels which correspond to the same object point.

Claims

Method for calibrating a plenoptic camera, the plenoptic camera comprising a main lens (1), a photosensitive sensor (3) and a matrix of optical elements (2) arranged between the main lens (1) and the sensor (3 ), the calibration method comprising the following steps:
S1: acquisition of a calibration object point (P_obj) by the plenoptic camera;
S2: determination of a real image position (P_im_r) of the calibration object point (P_obj), said real image position (P_im_r) corresponding to a real position detected on the sensor (3) of the image of the calibration object point ( P_obj) through the plenoptic camera;
S3: determination of a relative position of the matrix of optical elements (2) with respect to the sensor (3) (Pmat/Pcapt);
S4: definition of several sets of input data (E), each set of input data (E) comprising projection parameters (Par_Proj) of a projection model of the plenoptic camera and position parameters (Par_Pos ) a modeling object point (P_mod), in which the projection parameters (Par_Proj) are representative of a primary aberration and of a higher order aberration of the main optics (1);
the method further comprising the following steps, performed for each set of input data (E) defined in step S4:
S5: determination of a path of a light ray from the modeling object point (P_mod) at the output of the main optics (1), from the projection parameters (Par_Proj) and the position parameters (Par_Pos) defined in step S4;
S6: calculation of a theoretical image position (P_im_th) of the modeling object point (P_mod), said theoretical image position (P_im_th) corresponding to a position on the sensor (3) of the image of the modeling object point (P_mod) through the plenoptic camera, calculated from the path of the light ray determined in step S5 and the relative position of the matrix of optical elements (2) with respect to the sensor (3) (Pmat/Pcapt) determined in step S3; And
S7: calculation of a calibration error (δcal) corresponding to a distance between the theoretical image position (P_im_th) calculated in step S6 and the real image position (P_im_r) determined in step S2, said calibration error ( δcal) being associated with the input data set (E) defined in step S4.

A method of calibrating a plenoptic camera according to claim 1, in which the steps are repeated for several positions of the calibration object point (P_obj) and several sets of input data (E), in which for each set of data d input (E) defined in step E4, the method comprises the following steps:
S8: calculation of a sum of the calibration errors (δcal) associated with said set of input data (E), the calibration errors (δcal) being determined for each position of the calibration object point (P_obj), said sum being called total calibration error (Δcal);
S9: determination of the input data set (E_min) minimizing the total calibration error (Δcal).

A method of calibrating a plenoptic camera according to one of claims 1 or 2, wherein the step S5 of determining a light ray trace comprises the following steps:
S51: determination of an output wavefront surface (S_th), corresponding to a wavefront surface coming from the modeling object point (P_mod) at the level of an output of the main optics (1) of the plenoptic camera, from the set of input data (E) defined in step S4;
S52: calculating a gradient of the output wavefront area (S_th) determined in step S51;
S53: calculation of a trace of a light ray at the output of the main optics (1), said trace of light ray being such that, for a given point of the output wavefront surface (S_th) determined in step S51, a direction of the light ray is perpendicular to the gradient of the output wavefront surface (S_th) determined in step S52 at that given point.

A method of calibrating a plenoptic camera according to claim 3, wherein step S51 of determining the output wavefront area (S_th) comprises a step of decomposing a function representative of the wavefront area d output wave (S_th) into a series of polynomials, said series of polynomials including coefficients associated with the degrees of the polynomial, and wherein the projection parameters (Par_Proj) include coefficients of the series of polynomials up to a degree of the polynomial representing a primary aberration and a higher order aberration of the main optics (1).

A method of calibrating a plenoptic camera according to claim 4, in which the function representative of the output wavefront surface (S_th) corresponds to a sum:
- an ideal wavefront surface (S_id) at the level of an output of a main optic (1) without optical aberration, the ideal wavefront surface (S_id) being a spherical surface having a radius spherical surface; And
- an aberration function (W) adapted to take into account primary and higher order optical aberrations of the main optics (1), the aberration function (W) being adapted to be decomposed into a series of polynomials,
and in which the projection parameters (Par_Proj) include:
- the radius of the spherical ideal wavefront surface (S_id); And
- the coefficients up to the fifth degree of the series of polynomials of the aberration function (W).

Method for calibrating a plenoptic camera according to one of the preceding claims, in which the optical elements (21) are microlenses.

Method for calibrating a plenoptic camera according to one of the preceding claims, in which the matrix of optical elements (2) comprises a plurality of optical elements (21) arranged on a matrix plane (Pmat), the positions of centers of the optical elements (21) on the array plane (Pmat) being known, wherein the sensor (3) comprises a plurality of pixels arranged on a sensor plane (Pcapt), the positions of the pixels on the sensor plane ( Pcapt) being known, and in which the relative position of the matrix of optical elements (2) with respect to the sensor (3) (Pmat/Pcapt) is determined in step S3 from the following steps:
S31: acquisition by the plenoptic camera of a reference object;
S32: detection on the sensor plane (Pcapt) of the image (5) of the reference object by the plenoptic camera;
S33: determination of the positions of the centers of the optical elements (21) on the sensor plane (Pcapt), from the image (5) of the reference object detected in step S32;
S34: determination of a geometric transformation (Tmat/capt) between the matrix plane (Pmat) and the sensor plane (Pcapt), from the positions of the centers of optical elements (21) on the matrix plane (Pmat ) known and positions of the centers of optical elements (21) on the sensor plane (Pcapt) determined in step S33.

Method for calibrating a plenoptic camera according to claim 7, further comprising the following steps, carried out from the relative position of the matrix of optical elements (2) with respect to the sensor (3) (Pmat/Pcapt) determined at step S3:
S35: allocation to each pixel of the sensor (3) of a single optical element center (21) of the matrix of optical elements (2);
S36: determination of a position of the center of the optical element (21) assigned to the pixel of the sensor (3) on the sensor plane (Pcapt);
wherein the light ray trace determined in step S5 passes through an optical element center (21) whose position is determined in step S36, to form an image on the pixel of the sensor (3) at which the center of the optical element (21) is allocated in step S35, the theoretical image position (P_im_th) being calculated in step S6 from said image formed on the pixel of the sensor (3).

Method for calibrating a plenoptic camera according to one of Claims 7 or 8, in which step S34 of determining the geometric transformation (Tmat/capt) between the matrix plane (Pmat) and the sensor plane (Pcapt ) includes the following steps:
S341: determination of a homography between the matrix plane (Pmat) and the sensor plane (Pcapt);
S342: determination of a rotation and/or a translation between the matrix plane (Pmat) and the sensor plane (Pcapt) from the homography determined in step S341.

Method of three-dimensional reconstruction of an object using a plenoptic camera, the plenoptic camera comprising a main lens (1), a photosensitive sensor (3), and a matrix of optical elements (2) arranged between the main optic (1) and the sensor (3), the array of optical elements (2) comprising a plurality of optical elements (21), the sensor (3) comprising a plurality of pixels, the method comprising the following steps:
S21: determination of a set of calibration data (E_min) minimizing a calibration error (δcal) of the plenoptic camera using a method according to one of Claims 1 to 9;
for each object point of the object to be reconstructed three-dimensionally:
S22: acquisition of the object point by the plenoptic camera;
S23: determination of a set of pixels of the sensor (3) corresponding to different optical elements and to the same object point;
S24: calculation of a gradient of a wavefront surface coming from the object point at the level of an output of the main optics (1) of the plenoptic camera, from the projection model of the plenoptic camera with the calibration data set (E_min) defined in step S21;
S25: for the set of pixels of the sensor (3) determined in step S23, determination of the light rays passing through the centers of the optical elements (21) corresponding and perpendicular to the gradient of the wavefront surface determined at the step S24;
S26: determination of the light rays entering the main optics (1) of the plenoptic camera, from the light rays determined in step S25;
S27: three-dimensional reconstruction of the object point by triangulation of the light rays entering the main lens (1) of the plenoptic camera.

Three-dimensional reconstruction device comprising a plenoptic camera and a digital processing means (4), the plenoptic camera comprising a main lens (1), a photosensitive sensor (3), and a matrix of optical elements (2) arranged between the main optics (1) and the sensor (3), the digital processing means (4) being adapted to implement a method for the three-dimensional reconstruction of an object according to claim 10.