FR3130060A1 - procédé et dispositif de caractérisation de distorsions dans une caméra plénoptique - Google Patents

procédé et dispositif de caractérisation de distorsions dans une caméra plénoptique Download PDF

Info

Publication number
FR3130060A1
FR3130060A1 FR2113074A FR2113074A FR3130060A1 FR 3130060 A1 FR3130060 A1 FR 3130060A1 FR 2113074 A FR2113074 A FR 2113074A FR 2113074 A FR2113074 A FR 2113074A FR 3130060 A1 FR3130060 A1 FR 3130060A1
Authority
FR
France
Prior art keywords
microlenses
image
array
plenoptic camera
characteristic point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR2113074A
Other languages
English (en)
Other versions
FR3130060B1 (fr
Inventor
Ahmed Nasreddinne BENAICHOUCHE
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Safran SA
Original Assignee
Safran SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Safran SA filed Critical Safran SA
Priority to FR2113074A priority Critical patent/FR3130060B1/fr
Priority to PCT/FR2022/052275 priority patent/WO2023105164A1/fr
Publication of FR3130060A1 publication Critical patent/FR3130060A1/fr
Application granted granted Critical
Publication of FR3130060B1 publication Critical patent/FR3130060B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10052Images from lightfield camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

Procédé de caractérisation de distorsions dans une caméra plénoptique comprenant une matrice de microlentilles et une surface photosensible, le procédé comprenant les étapes suivantes : obtention (101) d’un modèle géométrique de la matrice de microlentilles indiquant comment les microlentilles sont positionnées les unes par rapport aux autres ; obtention (102) d’une image d’une mire acquise par la caméra plénoptique et présentant un point caractéristique, identification (104) d’un ensemble de microlentilles adjacentes de la matrice qui projettent le point caractéristique en différents pixels de l’image, pour chacune des microlentilles adjacentes, calcul (108) d’un écart entre un pixel de l’image en lequel le point caractéristique est projeté par la microlentille et un pixel de l’image issu d’un point de la surface photosensible passant par un axe optique de la microlentille ; estimation (110) d’une distorsion radiale causée par la matrice de microlentilles. Figure pour l’abrégé : Fig. 4

Description

procédé et dispositif de caractérisation de distorsions dans une caméra plénoptique
DOMAINE DE L'INVENTION
La présente invention concerne un procédé et dispositif de caractérisation de distorsions dans une caméra plénoptique.
ETAT DE LA TECHNIQUE
Une caméra plénoptique est un dispositif connu qui se distingue d’autres caméras par le fait qu’elle comprend une matrice de microlentilles. Une telle matrice de microlentilles permet de capter une information de profondeur de champ lumineux, composée de l'intensité lumineuse d'une scène, mais aussi la direction d'arrivée des rayons lumineux. Cette propriété est par exemple exploitée pour produire une image tridimensionnelle d’une scène, comme le ferait également une caméra stéréoscopique, mais avec un encombrement moindre.
Outre une matrice de microlentilles, une caméra plénoptique comprend une lentille principale située en amont de la matrice, et un capteur photosensible en aval de la matrice.
Il est connu de l’état de la technique un procédé de caractérisation d’une telle caméra plénoptique, comprenant l’estimation d’une distorsion radiale causée par la lentille principale. La distorsion radiale est une aberration optique qui a pour effet de dévier de manière indésirable la propagation de rayons lumineux traversant la lentille principale, et donc de créer des artefacts visuels dans une image acquise par la caméra plénoptique. En caractérisant cette distorsion radiale, celle-ci peut être compensée par un post-traitement adéquat.
Il est également des procédés de calibrage d’une caméra plénoptique, comprenant la génération de de données de calibrage permettant de reconstruire une image 3D d’une scène à partir d’une ou plusieurs images acquise(s) par une caméra plénoptique. Ces données de calibrage tiennent compte d’aberrations optiques causées par la caméra, de sorte à minimiser voire éliminer des artefacts susceptibles d’entacher l’image 3D à reconstruire. De tels procédés sont par exemple décrits dans les documents suivants :
  • Bergamasco, Filippo, et al. "Adopting an unconstrained ray model in light-field cameras for 3d shape reconstruction." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2015.
  • Meng, Lingfei, et al. "Object space calibration of plenoptic imaging systems." U.S. Patent No. 9,918,077. 13 Mar. 2018.
Au cours de la mise en œuvre de ces procédés, la caméra plénoptique est vue comme une boîte noire, et les données de calibrage générées au moyen de ces procédés forment des tables de correspondance.
Or, de telles tables de correspondances ne sont pas interprétables facilement, au sens où elles ne permettent pas d’établir un diagnostic sur l’état de la caméra plénoptique. Certains composants peuvent présenter des défauts de fabrication causant l’apparition de distorsions importante ne pouvant pas être corrigées convenablement par de telles données de calibrage.
Par ailleurs, la génération des tables de correspondances nécessite des calculs coûteux.
Un but de l’invention est d’établir un diagnostic sur le niveau d’aberrations optiques causées par une caméra sans nécessiter des calculs aussi coûteux que ceux utilisés dans les procédés décrits précédemment.
Il est à cet effet proposé, selon un premier aspect, un procédé de caractérisation de distorsions dans une caméra plénoptique comprenant une matrice de microlentilles et une surface photosensible, le procédé comprenant les étapes suivantes : obtention d’un modèle géométrique de la matrice de microlentilles indiquant comment les microlentilles sont positionnées les unes par rapport aux autres ; obtention d’une image d’une mire, l’image ayant été acquise par la caméra plénoptique, la mire présentant un point caractéristique ; à partir de l’image et à partir du modèle géométrique, identification d’un ensemble de microlentilles adjacentes de la matrice qui projettent le point caractéristique en différents pixels de l’image ; pour chacune des microlentilles adjacentes de l’ensemble, calcul d’un écart entre un pixel de l’image en lequel le point caractéristique est projeté par la microlentille et un pixel de l’image issu d’un point de la surface photosensible passant par un axe optique central de la microlentille ; et estimation d’une distorsion radiale causée par la matrice de microlentilles, à partir de chaque écart calculé, du modèle géométrique de la matrice de microlentilles, et d’une position du point caractéristique.
Le procédé selon le premier aspect peut également comprendre les caractérsitiques optionnelles suivantes, prises seules ou combinées entre elles lorsque cela est techniquement possible.
De préférence, la mire est de couleur uniforme à l’exception d’un motif montré par la mire, le point caractéristique étant défini par le motif.
De préférence, le procédé selon le premier aspect comprend une répétition des étapes d’identification et de calcul d’écarts pour plusieurs points caractéristiques présentés par la mire et ayant des positions différentes, la distorsion radiale étant estimée après la répétition.
De préférence, le procédé selon le premier aspect comprend une répétition des étapes d’obtention d’image acquise par la caméra plénoptique, d’identification et de calcul d’écarts après un déplacement de la mire par rapport à la caméra plénoptique, la distorsion radiale étant estimée après la répétition.
De préférence, le procédé selon le premier aspect comprend une répétition des étapes d’obtention d’image acquise par la caméra plénoptique, d’identification et de calcul d’écarts après remplacement de la mire par une deuxième mire présentant un deuxième point caractéristique non présenté par la mire, la distorsion radiale étant estimée après la répétition.
De préférence, la mire et la deuxième mire sont successivement affichées par un même écran d’affichage.
De préférence, le procédé selon le premier aspect comprend une répétition des étapes d’identification et de calculs d’écarts de sorte qu’au moins écart soit calculé pour chaque microlentille de la matrice.
De préférence, le procédé selon le premier aspect comprend une étape de détermination d’une orientation de la matrice de microlentilles par rapport à la surface photosensible, la distorsion radiale étant estimée également à partir de l’orientation déterminée.
De préférence, la détermination de l’orientation de la matrice de microlentilles par rapport à la surface photosensible comprend les étapes suivantes : obtention d’une image de référence acquise par la caméra plénoptique, l’image de référence montrant des motifs distincts les uns des autres et respectivement issus de différentes microlentilles de la matrice ; et estimation d’une homographie entre un plan de la matrice de microlentilles et un plan de la surface photosensible, à partir de positions respectives des motifs dans l’image de référence et à partir du modèle géométrique de la matrice de microlentilles.
De préférence, le procédé selon le premier aspect comprend une estimation d’une distorsion radiale et/ou d’une distorsion de profondeur causée par une lentille de la caméra plénoptique agencée en amont de la matrice de microlentilles, à partir de la distorsion radiale causée par la matrice de microlentilles ayant été estimée.
Il est également proposé, selon un deuxième aspect, un procédé de calibrage d’une caméra plénoptique comprenant les étapes suivantes : caractérisation de distorsions dans la caméra plénoptique au moyen du procédé selon le premier aspect ; et génération d’un modèle de calibrage adapté pour reconstruire une image tridimensionnelle d’une scène à partir d’au moins une image acquise par la caméra plénoptique en tenant compte de la distorsion estimée.
Il est encore proposé, selon un quatrième aspect, un dispositif de calibrage d’une caméra plénoptique comprenant une matrice de microlentilles et une surface photosensible. Ce dispositif comprend une mémoire configurée pour stocker un modèle géométrique de la matrice de microlentilles indiquant comment les microlentilles sont positionnées les unes par rapport aux autres, et une image d’une mire, l’image ayant été acquise par la caméra plénoptique, la mire présentant un point caractéristique. Ce dispositif comprend par ailleurs au moins un processeur configuré pour mettre en œuvre les étapes suivantes : à partir de l’image de la mire et à partir du modèle géométrique, identifier des microlentilles adjacentes de la matrice qui projettent le point caractéristique en différentes pixels de l’image ; pour chacune des microlentilles adjacentes identifiées, calculer un écart entre un pixel de l’image en lequel le point caractéristique est projeté par la microlentille et un pixel de l’image issu d’un point de la surface photosensible passant par un axe optique de la microlentille ; et estimer une distorsion radiale causée par la matrice de microlentilles, à partir des écarts calculés, du modèle géométrique et d’une position du point caractéristique.
Il est aussi proposé, selon un quatrième aspect, un kit comprenant une caméra plénoptique comprenant une matrice de microlentilles et un capteur présentant une surface photosensible, et un dispositif de calibrage de la caméra plénoptique selon le troisième aspect.
DESCRIPTION DES FIGURES
D’autres caractéristiques, buts et avantages de l’invention ressortiront de la description qui suit, qui est purement illustrative et non limitative, et qui doit être lue en regard des dessins annexés sur lesquels :
La illustre de façon schématique différents composants optiques d’une caméra plénoptique 1, selon un premier modèle.
La illustre de façon schématique différents composants optiques d’une caméra plénoptique 1, selon un deuxième modèle.
La illustre de façon schématique un système comprenant une caméra plénoptique 1 et un dispositif de caractérisation de la caméra plénoptique 1, selon un mode de réalisation.
La est un organigramme d’étapes d’un procédé de calibrage d’une caméra plénoptique 1, selon un mode de réalisation.
La détailles les sous-étapes d’une étape du procédé de la , selon un mode de réalisation.
La représente la projection d’un même point sur une surface par plusieurs microlentilles (à gauche de la figure), et une projection équivalente de plusieurs points sur une surface par une seule microlentille (à droite de la figure).
Sur l’ensemble des figures, les éléments similaires portent des références identiques.

Claims (13)

  1. Procédé de caractérisation de distorsions dans une caméra plénoptique comprenant une matrice de microlentilles et une surface photosensible, le procédé comprenant les étapes suivantes :
    • obtention (101) d’un modèle géométrique de la matrice de microlentilles indiquant comment les microlentilles sont positionnées les unes par rapport aux autres,
    • obtention (102) d’une image d’une mire, l’image ayant été acquise par la caméra plénoptique, la mire présentant un point caractéristique,
    • à partir de l’image et à partir du modèle géométrique, identification (104) d’un ensemble de microlentilles adjacentes de la matrice qui projettent le point caractéristique en différents pixels de l’image,
    • pour chacune des microlentilles adjacentes de l’ensemble, calcul (108) d’un écart entre un pixel de l’image en lequel le point caractéristique est projeté par la microlentille et un pixel de l’image issu d’un point de la surface photosensible passant par un axe optique central de la microlentille,
    • estimation (110) d’une distorsion radiale causée par la matrice de microlentilles, à partir de chaque écart calculé, du modèle géométrique de la matrice de microlentilles, et d’une position du point caractéristique.
  2. Procédé selon la revendication précédente, dans lequel la mire est de couleur uniforme à l’exception d’un motif montré par la mire, le point caractéristique étant défini par le motif.
  3. Procédé selon l’une quelconque des revendications précédentes, comprenant une répétition des étapes d’identification (104) et de calcul d’écarts (108) pour plusieurs points caractéristiques présentés par la mire et ayant des positions différentes, la distorsion radiale étant estimée après la répétition.
  4. Procédé selon l’une quelconque des revendications précédentes, comprenant une répétition des étapes d’obtention d’image (102) acquise par la caméra plénoptique, d’identification (104) et de calcul d’écarts (108) après un déplacement de la mire par rapport à la caméra plénoptique, la distorsion radiale étant estimée après la répétition.
  5. Procédé selon l’une des quelconque revendications précédentes, comprenant une répétition des étapes d’obtention d’image (102) acquise par la caméra plénoptique, d’identification (104) et de calcul d’écarts (108) après remplacement de la mire par une deuxième mire présentant un deuxième point caractéristique non présenté par la mire, la distorsion radiale étant estimée après la répétition.
  6. Procédé selon la revendication précédente, dans lequel la mire et la deuxième mire sont successivement affichées par un même écran d’affichage.
  7. Procédé selon l’une quelconque des revendications précédentes, comprenant une répétition des étapes d’identification (104) et de calculs d’écarts (108) de sorte qu’au moins écart soit calculé pour chaque microlentille de la matrice.
  8. Procédé selon l’une des revendications précédentes, comprenant une étape de détermination (100) d’une orientation de la matrice de microlentilles par rapport à la surface photosensible, la distorsion radiale étant estimée également à partir de l’orientation déterminée.
  9. Procédé selon la revendication précédente, dans lequel la détermination (100) de l’orientation de la matrice de microlentilles par rapport à la surface photosensible comprend les étapes suivantes :
    • obtention (200) d’une image de référence acquise par la caméra plénoptique, l’image de référence montrant des motifs distincts les uns des autres et respectivement issus de différentes microlentilles de la matrice,
    • estimation (204) d’une homographie entre un plan de la matrice de microlentilles et un plan de la surface photosensible, à partir de positions respectives des motifs dans l’image de référence et à partir du modèle géométrique de la matrice de microlentilles.
  10. Procédé selon l’une quelconque des revendications précédentes, comprenant une estimation (112) d’une distorsion radiale et/ou d’une distorsion de profondeur causée par une lentille de la caméra plénoptique agencée en amont de la matrice de microlentilles, à partir de la distorsion radiale causée par la matrice de microlentilles ayant été estimée.
  11. Procédé de calibrage d’une caméra plénoptique comprenant des étapes de
    • caractérisation de distorsions dans la caméra plénoptique au moyen du procédé selon l’une des revendications précédentes,
    • génération d’un modèle de calibrage adapté pour reconstruire une image tridimensionnelle d’une scène à partir d’au moins une image acquise par la caméra plénoptique en tenant compte de la distorsion estimée.
  12. Dispositif de calibrage d’une caméra plénoptique comprenant une matrice de microlentilles et une surface photosensible, le dispositif de calibrage comprenant :
    • une mémoire (14) configurée pour stocker :
      • un modèle géométrique de la matrice de microlentilles indiquant comment les microlentilles sont positionnées les unes par rapport aux autres,
      • une image d’une mire, l’image ayant été acquise par la caméra plénoptique, la mire présentant un point caractéristique,
    • au moins un processeur (16) configuré pour :
      • à partir de l’image de la mire et à partir du modèle géométrique, identifier des microlentilles adjacentes de la matrice qui projettent le point caractéristique en différentes pixels de l’image,
      • pour chacune des microlentilles adjacentes identifiées, calculer un écart entre un pixel de l’image en lequel le point caractéristique est projeté par la microlentille et un pixel de l’image issu d’un point de la surface photosensible passant par un axe optique de la microlentille,
      • estimer une distorsion radiale causée par la matrice de microlentilles, à partir des écarts calculés, du modèle géométrique et d’une position du point caractéristique.
  13. Kit comprenant :
    • une caméra plénoptique (1) comprenant une matrice de microlentilles (4) et un capteur (6) présentant une surface photosensible,
    • un dispositif de calibrage de la caméra plénoptique (10) selon la revendication précédente.
FR2113074A 2021-12-07 2021-12-07 procédé et dispositif de caractérisation de distorsions dans une caméra plénoptique Active FR3130060B1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
FR2113074A FR3130060B1 (fr) 2021-12-07 2021-12-07 procédé et dispositif de caractérisation de distorsions dans une caméra plénoptique
PCT/FR2022/052275 WO2023105164A1 (fr) 2021-12-07 2022-12-07 Procédé et dispositif de caractérisation de distorsions dans une caméra plénoptique

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2113074 2021-12-07
FR2113074A FR3130060B1 (fr) 2021-12-07 2021-12-07 procédé et dispositif de caractérisation de distorsions dans une caméra plénoptique

Publications (2)

Publication Number Publication Date
FR3130060A1 true FR3130060A1 (fr) 2023-06-09
FR3130060B1 FR3130060B1 (fr) 2023-11-03

Family

ID=80786722

Family Applications (1)

Application Number Title Priority Date Filing Date
FR2113074A Active FR3130060B1 (fr) 2021-12-07 2021-12-07 procédé et dispositif de caractérisation de distorsions dans une caméra plénoptique

Country Status (2)

Country Link
FR (1) FR3130060B1 (fr)
WO (1) WO2023105164A1 (fr)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9918077B2 (en) 2015-01-09 2018-03-13 Ricoh Company, Ltd. Object space calibration of plenoptic imaging systems
CN207218846U (zh) * 2017-05-03 2018-04-10 丁志宇 环绕式混合光场成像装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9918077B2 (en) 2015-01-09 2018-03-13 Ricoh Company, Ltd. Object space calibration of plenoptic imaging systems
CN207218846U (zh) * 2017-05-03 2018-04-10 丁志宇 环绕式混合光场成像装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BERGAMASCO, FILIPPO ET AL.: "Adopting an unconstrained ray model in light-field cameras for 3d shape reconstruction", PROCEEDINGS OF THE IEEE CONFÉRENCE ON COMPUTER VISION AND PATTERN RÉCOGNITION, 2015
JOHANNSEN, OLE ET AL.: "Time-of-Flight and Depth Imaging. Sensors, Algorithms, and Applications", 2013, SPRINGER, article "On the calibration of focused plenoptic cameras", pages: 302 - 317
NOURY CHARLES-ANTOINE ET AL: "Light-Field Camera Calibration from Raw Images", 2017 INTERNATIONAL CONFERENCE ON DIGITAL IMAGE COMPUTING: TECHNIQUES AND APPLICATIONS (DICTA), IEEE, 29 November 2017 (2017-11-29), pages 1 - 8, XP033287349, DOI: 10.1109/DICTA.2017.8227459 *
YUNSU BOK ET AL: "Geometric Calibration of Micro-Lens-Based Light Field Cameras Using Line Features", COMPUTER VISION – ECCV 2014. ECCV 2014. LECTURE NOTES IN COMPUTER SCIENCE, VOL 8694, 6 September 2014 (2014-09-06), pages 47 - 61, XP055361842, Retrieved from the Internet <URL:http://rd.springer.com/chapter/10.1007/978-3-319-10599-4_4> [retrieved on 20170405], DOI: 10.1109/TPAMI.2016.2541145 *

Also Published As

Publication number Publication date
FR3130060B1 (fr) 2023-11-03
WO2023105164A1 (fr) 2023-06-15

Similar Documents

Publication Publication Date Title
EP2457379B1 (fr) Procédé d&#39;estimation d&#39;un défaut d&#39;un système de capture d&#39;images et systèmes associés
EP1989582B1 (fr) Procede et dispositif d&#39;identification et de calibration de systemes optiques panoramiques
EP3140611B1 (fr) Dispositif et procédé de reconstruction tridimensionnelle d&#39;une scène par analyse d&#39;image
FR3067242B1 (fr) Procede d&#39;evaluation d&#39;une gouttiere orthodontique
KR20190089922A (ko) 광학 시스템 수차들의 디지털 보정
WO2003007237A1 (fr) Procede et systeme pour produire des informations formatees liees aux distorsions geometriques
WO2010081982A1 (fr) Controle de defauts optiques dans un systeme de capture d&#39;images
JP6581293B2 (ja) レンチキュラレンズシートの回転位置の測定
Kuciš et al. Simulation of camera features
CN105580354B (zh) 摄像装置和图像处理方法
FR3130060A1 (fr) procédé et dispositif de caractérisation de distorsions dans une caméra plénoptique
JP5906139B2 (ja) 補正装置、そのプログラム及び立体撮像システム
EP2678825B1 (fr) Procédé de calibrage d&#39;un dispositif de prise de vue stéréoscopique
Zamfir et al. An optical model of the appearance of blemishes in digital photographs
WO2023187170A1 (fr) Procédé de correction d&#39;aberrations optiques introduites par un objectif optique dans une image, appareil et système mettant en œuvre un tel procédé
FR3134179A1 (fr) Procédé et système de caractérisation d’un objectif optique pour la correction d’aberrations optiques introduites par ledit objectif optique dans une image.
Scrymgeour et al. Advanced Imaging Optics Utilizing Wavefront Coding.
WO2023218073A1 (fr) Procédé de correction globale de la netteté d&#39;une image, et systeme associe
FR3115626A1 (fr) Procédé de calibrage d’une caméra plénoptique
EP4165591A1 (fr) Correction d&#39;un halo dans une image numérique et dispositif de mise en oeuvre de cette correction
FR3105533A1 (fr) Dispositif d’analyse d’un ensemble de particules alimentaires et procede associe
FR3132968A1 (fr) Procédé de calibrage d’une caméra plénoptique
FR3120940A1 (fr) Procédé d’imagerie médicale mettant en œuvre une caméra hyperspectrale
FR3134448A1 (fr) Procédé de mesure topographique et machine de mesure topographique
CN116490892A (zh) 数字图像处理方法

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20230609

PLFP Fee payment

Year of fee payment: 3