EP4646686A1 - Procédé et système de reconstruction d'une image - Google Patents

Procédé et système de reconstruction d'une image

Info

Publication number
EP4646686A1
EP4646686A1 EP23801467.4A EP23801467A EP4646686A1 EP 4646686 A1 EP4646686 A1 EP 4646686A1 EP 23801467 A EP23801467 A EP 23801467A EP 4646686 A1 EP4646686 A1 EP 4646686A1
Authority
EP
European Patent Office
Prior art keywords
image
coordinates
reconstructing
imgj
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP23801467.4A
Other languages
German (de)
English (en)
Inventor
Frederic Autran
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Comfort and Driving Assistance SAS
Original Assignee
Valeo Comfort and Driving Assistance SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Comfort and Driving Assistance SAS filed Critical Valeo Comfort and Driving Assistance SAS
Publication of EP4646686A1 publication Critical patent/EP4646686A1/fr
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images

Definitions

  • the present invention relates to the technical field of image processing, and in particular the field of image reconstruction.
  • the invention relates more particularly to a method of reconstructing an image.
  • the invention finds a particularly advantageous application in the reconstruction of an image inside the passenger compartment of a motor vehicle.
  • the present invention proposes a new image processing method.
  • the present invention proposes a method of reconstructing an image visible from a reference position and with a reference field of view and using at least two units of image capture, each image capture unit having a position and a field of view, and being associated with a transformation, each transformation being configured to associate reference coordinates seen from the reference position and with the field of view reference with corresponding associated coordinates on the captured image, said image reconstruction method comprising the following steps:
  • the reconstructed image is based on mathematical correspondences rather than on object recognition.
  • the invention makes it possible to avoid numerous artifacts, particularly with close objects.
  • a value of a reference coordinate pixel of the reconstructed image is calculated from at least one of the values of the corresponding associated coordinate pixel of the captured images.
  • the method of reconstructing an image may comprise, prior to the image capture step, a transformation definition phase during which the transformations are defined using at least one point of a environment in which the image capture units are positioned, said point being modeled in a three-dimensional model of the environment.
  • the at least one point of the environment can be visible in one of the images captured on a pixel whose corresponding associated coordinates are determined, during the phase of defining the transformations, by projecting said at least one point of the three-dimensional model on the captured image.
  • the at least one point of the environment can be visible in the reconstructed image on a pixel whose corresponding associated coordinates are determined, during the phase of defining the transformations, by projecting said at least one point of the model three-dimensional on a reference plane representing the image visible from the reference position and with the reference field of view.
  • the transformation definition phase may include a step in which each transformation is defined on pixels of the image reconstructed by a mesh transformation method from the associated coordinates and references of at least one point. of the environment.
  • an intermediate step in which image processing using the transformations is applied to the corresponding captured images in order to obtain transformed images.
  • the coordinates of an object visible on the transformed images can be identical to the coordinates of this same object on the reconstructed image.
  • the environment in which the imaging device is positioned may be the passenger compartment of a motor vehicle.
  • the invention also relates to a system for reconstructing an image visible from a reference position and with a reference field of view comprising at least two image capture units and a control unit, each capture unit image having a position and a field of view, being associated with a transformation and being configured to capture an image, each transformation being configured to associate reference coordinates seen from the reference position and with the reference field of view with corresponding associated coordinates on the captured image, the unit of command being configured to fill the reconstructed image from the captured images and respecting the coordinate transformation.
  • FIG. 1 is a flowchart of the image reconstruction process described here
  • FIG. 2 is a flowchart of the transformation definition phase according to the image reconstruction process described here,
  • FIG. 3 is a three-dimensional model of the passenger compartment of a vehicle as used in one embodiment of the image reconstruction method
  • FIG. 4 is a schematic representation of a projection of the three-dimensional model presented in Figure 1 on images captured by image capture units of a reconstruction system
  • FIG. 5 is a schematic representation of a second embodiment of the image reconstruction method
  • FIG. 6 is a schematic representation of the image reconstruction system described here.
  • a method of reconstructing an image according to the invention is implemented by an image reconstruction system 100. It allows to reconstruct an image visible from a reference position and with a field reference view, called IMGO reconstructed image, from several initial images, called captured images, which are captured, ie taken, (by image capture units) at positions and with different fields of view.
  • IMGO field reference view
  • the image reconstruction system 100 shown in Figure 6, comprises a control unit 110 and K image capture units.
  • Each image capture unit 120j, j ranging from 1 to K has a position and a field of view and is associated with a transformation Tj, j ranging from 1 to K.
  • the reconstruction system 100 is placed in the passenger compartment of a motor vehicle.
  • the first image capture unit 121 is here placed on the interior ceiling of the vehicle, above the first row of automobile seats.
  • the second image capture unit 122 is here placed on the interior ceiling of the vehicle, above the second row of automobile seats.
  • the reconstruction system 100 could include other image capture units.
  • the image reconstruction method P here makes it possible to combine the two captured images IMGj into a single reconstructed image IMGO.
  • the reconstructed image IMG0 is defined as an image captured by a virtual camera C0 with a reference field of view and located at the reference position, here on the ceiling of the passenger compartment and in the center of the vehicle.
  • the virtual camera CO can, for example, simulate an image capture unit comprising a hypergonal lens, known in particular as a “fisheye”.
  • a hypergon lens being a lens having a very short focal length (from a few millimeters to a few tens of millimeters) and/or a very large angle of view (generally greater than 100°).
  • each transformation Tj is configured to associate reference coordinates of the reconstructed image IMGO seen from the reference position and with the reference field of view respectively with corresponding associated coordinates on the captured image IMGj. These transformations make it possible to establish a correspondence between the pixels of the captured images IMGj and the pixels of the reconstructed image IMGO.
  • the image capture units 120j are here cameras comprising hypergon lenses.
  • the image reconstruction method P begins at step E2 in which each image capture unit 120j captures an image IMGj.
  • the image reconstruction process continues in step E4 in which the reconstructed image IMGO is initialized.
  • the IMGO reconstructed image is constructed as a pixel matrix. Pixels are set to an initial value that can correspond to black for example.
  • the pixels are defined here according to the standard (R, G, B) and can contain three values corresponding to red R, green G and blue B.
  • Each R, G or B channel can act as an independent matrix. For example, during the process, the channels will be processed independently of each other.
  • the pixels can be defined according to another standard, such as the YUV standard for example, in which Y represents the luminance signal, and U and V represent the chrominance.
  • the pixels can be defined according to a standard taking into account infrared light.
  • the initialization of the reconstructed image IMGO can be carried out by the control unit 110.
  • step E6 the process of reconstructing an image then continues in step E6 in which the reconstructed image IMGO is constructed from the captured images IMGj.
  • the reconstructed image IMGO is filled from the captured images IMG1JMG2 using, for each captured image IMGj, the corresponding associated coordinates.
  • a pixel of the reconstructed image IMGO having reference coordinates (u, v) its R, G and B values are calculated from the R, G and B values of the pixels of the captured images IMG1 , IMG2 of corresponding associated coordinates calculated using the transformations Tl, T2.
  • R0(u, v) f R1(T1(U, V)), R2(T2 U, V)) ⁇ in which R0 corresponds to the channel R of the reference image IMGO, RI corresponds to the channel R of the first captured image IMG1, R2 corresponds to the R channel of the second captured image IMG2 and f is a function which allows the value of the pixel to be calculated.
  • the values G and B can be determined in the same way.
  • the R value of a pixel of reference coordinates on the reconstructed image is a weighted average of the R values of the pixels of the captured images IMGj of corresponding associated coordinates.
  • the weighting of the average can be determined based on the distance of the pixel from the edge of the corresponding captured image IMGj.
  • the captured image IMGj is not taken into account. In this case, the average is performed on the other captured images. For example, here, if the coordinates Tl(u,v) do not exist on the first captured image IMG1, then the value of the pixel of coordinates (u,v) on the reconstructed image IMGO will correspond to the value of the pixel of coordinates T2(u,v) of the second captured image.
  • the method of reconstructing an image P may comprise a phase of defining the transformations D before the steps described above.
  • phase of defining the transformations D can advantageously be carried out during the design of the vehicle.
  • the phase of defining the transformations D is here carried out only once.
  • steps E2 to E6 are carried out in real time during image capture using the transformations Tl, T2 defined upstream during the phase definitions of transformations D. This saves computer resources and therefore time.
  • the phase of defining the transformations D can begin at step D2 at which a set of N points Pi(x,y,z), i ranging from 1 to N, of the environment in which the capture units image are positioned is selected on a three-dimensional model (hereinafter 3D model) 10 of said environment.
  • N is at least greater than 1.
  • N can be greater than 2000, or even greater than 10,000. In practice, we can use for example between 20,000 and 50,000 points.
  • the 3D model 10 represents at least part of the passenger compartment of the vehicle. This 3D model 10 is shown in Figure 3.
  • the moving objects of the vehicle are not represented on the 3D model 10 .
  • small objects such as buttons or door handles are not shown here.
  • Each point Pi(x,y,z) of the set of points in the environment is preferably visible in at least one of the captured images IMGj.
  • step D4 The phase of determining the transformations D continues in step D4 in which the associated coordinates Cj,i(u,v) at which each point Pi(x,y,z) is visible on one of the captured images IMGj are determined.
  • the associated coordinates Cj,i(u,v) are for example calculated by projecting the 3D model onto each of the captured images IMGj.
  • the projection of the 3D model onto an image is carried out digitally using position and field of view adjustments which can be controlled digitally. These settings are notably adjusted using parameters known to the corresponding image capture unit. These parameters here include the focal length, geometric distortion, position and orientation of the image capture unit.
  • the projection of the 3D model of the car interior on the image captured IMG1 by the first capture unit 121 is shown schematically in Figure 4.
  • step D6 the phase of determining the transformations D continues in step D6 in which the virtual camera C0 is defined.
  • the virtual camera C0 is defined at the reference position and with the reference field of view.
  • the CO virtual camera can also be defined using parameters such as focal length, field of view, geometric distortion, position or even orientation of the camera.
  • the definition of the virtual camera C0 also makes it possible to define a virtual reference image IMGOref.
  • This virtual reference image IMGOref is the image captured by the virtual camera C0. It can be identified as a reference plane representing the image visible from the reference position and with the reference field of view.
  • step D8 The phase of determining the transformations D continues in step D8 at the reference coordinates C0,i(u,v) at which each point Pi(x,y,z) is visible on the virtual reference image IMGOref are determined.
  • the contact details of reference C0,i(u,v) are for example calculated by projecting each point of the 3D model onto the virtual reference image IMGOref.
  • each transformation Tj is defined on all the pixels of the virtual reference image IMGOref.
  • each transformation Tj can be defined by interpolation from the correspondences established in the previous steps between the reference coordinates C0,i(u,v) and the corresponding associated coordinates Cj,i(u,v) over the whole of points Pi(x,y,z), i going from 1 to N.
  • the transformation is preferably defined by mesh (or “mesh-based transformation” in English).
  • the set of points Pi(x,y,z) of the environment on the virtual image IMGOref defines the vertices of the mesh. These vertices define meshes.
  • the interpolation is defined linearly for each mesh.
  • FIG. 5 A second embodiment of the method of reconstructing an image using an intermediate step is shown in Figure 5.
  • the intermediate step can take place following step E2 of capturing images IMG1 and IMG2 by each image capture units 121, 122.
  • image processing operations associated TU, TI2 with the image capture units 121, 122 and using the transformations Tl, T2 are applied to the corresponding captured images IMG1 , IMG2.
  • These image treatments use the functions inverses of the transformations Tl, T2 defined above, in order to obtain the reference coordinates from the corresponding associated coordinates.
  • the coordinates of an object visible on the transformed images IMG'l, IMG'2 can therefore be identical to the coordinates of this same object on the reconstructed image IMG0.
  • the reconstructed image IMG0 can then be filled directly using the transformed images, without any new change of coordinates.
  • R0(u, v) ( ⁇ 'l(it, v), R'2(u, v)) in which R0 corresponds to the channel R of the reference image IMG0, R'1 corresponds to the channel R of the first transformed image IMG'l, R'2 corresponds to the channel R of the second transformed image IMG'2 and f is a function which makes it possible to calculate the value of the pixel. For example, here f is an average.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

Il est proposé un procédé de reconstruction d'une image (P) visible depuis une position de référence et avec un champ de vue de référence et utilisant au moins deux unités de capture d'image, chaque unité de capture d'image ayant une position et un champ de vue, et étant associée à une transformation, chaque transformation étant configurée pour associer des coordonnées de référence vue depuis la position de référence et avec le champ de vue de référence avec des coordonnées associées correspondantes sur l'image capturée (IMGj), ledit procédé comprenant les étapes suivantes: - capture (E2) d'une image par chacune des unités de capture d'image, et - remplissage (E6) de l'image reconstruite (IMG0) à partir des images capturées en utilisant, pour chaque image capturée, les coordonnées associées correspondantes. Il est également proposé un système de reconstruction d'une image associé.

Description

Description
Titre de l’invention : Procédé et système de reconstruction d'une image
Domaine technique
[0001] La présente invention concerne le domaine technique du traitement d'image, et notamment le domaine de la reconstruction d'image.
[0002] L'invention concerne plus particulièrement un procédé de reconstruction d'une image.
[0003] Elle concerne également un système de reconstruction d'une image.
[0004] L'invention trouve une application particulièrement avantageuse dans la reconstruction d'une image à l'intérieur de l'habitacle d'un véhicule automobile.
Arrière-plan technologique
[0005] Avec l'essor de l'imagerie numérique grand angle comme dans les téléphones mobiles multifonction ou dans les drones, les exigences en termes de performance sur l'imagerie grand angle augmentent.
[0006] En mode panoramique, les appareils photographiques et autres dispositifs d'imageries sont vite limités à cause des aberrations notamment sphériques créées par les éléments optiques.
[0007] Dans ce contexte, il est connu de remplacer une prise de vue panoramique unique par un traitement d'image permettant de reconstruire des panoramas à partir de plusieurs images ayant un champ de vue classique.
[0008] Les méthodes existantes sont basées sur la reconnaissance d'objets dans les images capturées et le fondu des images dans leurs frontières.
[0009] Ces méthodes obtiennent des bons résultats avec des objets lointains dont les angles de vue changent peu d'une image à l'autre. En revanches, elles offrent des résultats très peu satisfaisants sur des objets proches. En effet, les images reconstruites contiennent alors de nombreux artefacts.
Résumé de l'invention [0010] Dans ce contexte, la présente invention propose une nouvelle méthode de traitement d'image.
[0011] Afin de remédier aux inconvénients précités de l'état de la technique, la présente invention propose un procédé de reconstruction d'une image visible depuis une position de référence et avec un champ de vue de référence et utilisant au moins deux unités de capture d'image, chaque unité de capture d'image ayant une position et un champ de vue, et étant associée à une transformation, chaque transformation étant configurée pour associer des coordonnées de référence vue depuis la position de référence et avec le champ de vue de référence avec des coordonnées associées correspondantes sur l'image capturée, ledit procédé de reconstruction d'image comprenant les étapes suivantes :
- capture d'une image par chacune des unités de capture d'image, et
- remplissage de l'image reconstruite à partir des images capturées en utilisant, pour chaque image capturée, les coordonnées associées correspondantes.
[0012] Ainsi, grâce à l'invention, l'image reconstruite est basée sur des correspondances mathématiques plutôt que sur de la reconnaissance d'objet. L'invention permet d'éviter de nombreux artefacts, notamment avec des objets proches.
[0013] On peut par exemple prévoir qu'une valeur d'un pixel de coordonnées de référence de l'image reconstruite est calculée à partir d'au moins une des valeurs du pixel de coordonnées associées correspondantes des images capturées.
[0014] En outre, le procédé de reconstruction d'une image peut comprendre, préalablement à l'étape de capture d'image, une phase de définition des transformations lors de laquelle les transformations sont définies grâce à au moins un point d'un environnement dans lequel les unités de capture d'image sont positionnées, ledit point étant modélisé dans un modèle tridimensionnel de l'environnement.
[0015] De plus, le au moins un point de l'environnement peut être visible dans une des images capturées sur un pixel dont les coordonnées associées correspondantes sont déterminées, au cours de la phase de définition des transformations, en projetant ledit au moins un point du modèle tridimensionnel sur l'image capturée. [0016] Le au moins un point de l'environnement peut être visible dans l'image reconstruite sur un pixel dont les coordonnées associées correspondantes sont déterminées, au cours de la phase de définition des transformations, en projetant ledit au moins un point du modèle tridimensionnel sur un plan de référence représentant l'image visible depuis la position de référence et avec le champ de vue de référence.
[0017] Ainsi, la position du au moins un point de l'environnement est connue sur les images capturées et sur l'image reconstruite grâce au modèle tridimensionnel. De cette manière, une correspondance est établie entre les coordonnées de références et les coordonnées associées correspondantes. Cette correspondance permet de définir les transformations susmentionnées.
[0018] En outre, la phase de définition des transformations peut comprendre une étape à laquelle chaque transformation est définie sur des pixels de l'image reconstruite par une méthode de transformation en maillage à partir des coordonnées associées et de références du au moins un point de l'environnement.
[0019] Dans un mode de réalisation, une étape intermédiaire dans laquelle un traitement d'image utilisant les transformations sont appliquées aux images capturées correspondantes afin d'obtenir des images transformées.
[0020] Dans ce même mode de réalisation, les coordonnées d'un objet visible sur les images transformées peuvent être identiques aux coordonnées de ce même objet sur l'image reconstruite.
[0021] Enfin, l'environnement dans lequel le dispositif d'imagerie est positionné peut être l'habitacle d'un véhicule automobile.
[0022] L'invention concerne également un système de reconstruction d'une image visible depuis une position de référence et avec un champ de vue de référence comprenant au moins deux unités de capture d'image et une unité de commande, chaque unité de capture d'image ayant une position et un champ de vue, étant associée à une transformation et étant configurée pour capturer une image, chaque transformation étant configurée pour associer des coordonnées de référence vue depuis la position de référence et avec le champ de vue de référence avec des coordonnées associées correspondantes sur l'image capturée, l'unité de commande étant configurée pour remplir l'image reconstruite à partir des images capturées et en respectant la transformation de coordonnées.
[0023] Les différentes caractéristiques, variantes et formes de réalisation de l'invention peuvent être associées les unes avec les autres selon diverses combinaisons dans la mesure où elles ne sont pas incompatibles ou exclusives les unes des autres.
Brève description des figures
[0024] De plus, diverses autres caractéristiques de l'invention ressortent de la description annexée effectuée en référence aux dessins qui illustrent des formes, non limitatives, de réalisation de l'invention et où :
[0025] [Fig. 1] est un logigramme du procédé de reconstruction d'image décrit ici,
[0026] [Fig. 2] est un logigramme de la phase de définition des transformations selon le procédé de reconstruction d'image décrit ici,
[0027] [Fig. 3] est un modèle tridimensionnel de l'habitacle d'un véhicule tel qu'utilisé dans un mode de réalisation du procédé de reconstruction d'image,
[0028] [Fig. 4] est une représentation schématique d'une projection du modèle tridimensionnel présenté en figure 1 sur des images capturées par des unités de capture d'image d'un système de reconstruction,
[0029] [Fig. 5] est une représentation schématique d'un second mode de réalisation du procédé de reconstruction d'image, et
[0030] [Fig. 6] est une représentation schématique du système de reconstruction d'image décrit ici.
[0031] Il est à noter que sur ces figures les éléments structurels et/ou fonctionnels communs aux différentes variantes peuvent présenter les mêmes références.
Description détaillée
[0032] Un procédé de reconstruction d'une image selon l'invention, tel que représenté schématiquement sur la figure 1 et désigné dans son ensemble par la référence P est mis en œuvre par un système de reconstruction d'une image 100. Il permet de reconstruire une image visible depuis une position de référence et avec un champ de vue de référence, appelée image reconstruite IMGO, à partir de plusieurs images initiales, appelées images capturées, qui sont capturées, i.e. prises, (par des unités de capture d'image) à des positions et avec des champs de vue différents.
[0033] Le système de reconstruction d'une image 100, représenté en figure 6, comprend une unité de commande 110 et K unités de capture d'image. Le mode de réalisation décrit ici comprend deux unités de capture d'image 121,122, ainsi, K =2. Chaque unité de capture d'image 120j, j allant de 1 à K, a une position et un champ de vue et est associée à une transformation Tj, j allant de 1 à K.
[0034] Dans l'exemple décrit ici, le système de reconstruction 100 est placé dans l'habitacle d'un véhicule automobile. La première unité de capture d'image 121 est ici placée sur le plafond intérieur du véhicule, au-dessus de la première rangée de sièges automobiles. La seconde unité de capture d'image 122 est ici placée sur le plafond intérieur du véhicule, au-dessus de la seconde rangée de siège automobile. Selon la taille de l'habitacle, le système de reconstruction 100 pourrait comprendre d'autres unités de capture d'image.
[0035] Le procédé de reconstruction d'image P permet ici de combiner les deux images capturées IMGj en une seule image reconstruite IMGO. L'image reconstruite IMG0 est définie comme une image capturée par une caméra virtuelle C0 de champ de vue de référence et située à la position de référence, ici sur le plafond de l'habitacle et au centre du véhicule.
[0036] La caméra virtuelle CO peut par exemple simulée une unité de capture d'image comprenant un objectif hypergone, connu notamment sous le nom de « fisheye ». Un objectif hypergone étant un objectif ayant une distance focale très courte (de quelques millimètres à quelques dizaines de millimètres) et/ou un angle de champ très grand (généralement supérieur à 100°).
[0037] Par exemple, ici, la caméra virtuelle CO permet de simuler un objectif hypergone équidistant, c'est-à-dire un objectif ayant une fonction de représentation r = fa où r correspond à une position d'une image un objet (la distance au centre de l'image), a correspond à une position angulaire de l'objet (l'angle entre l'objet et l'axe optique de l'objectif) et f étant la focale de l'objectif. [0038] Pour cela, chaque transformation Tj est configurée pour associer des coordonnées de référence de l'image reconstruite IMGO vue depuis la position de référence et avec le champ de vue de référence avec respectivement des coordonnées associées correspondantes sur l'image capturée IMGj. Ces transformations permettent d'établir une correspondance entre les pixels des images capturées IMGj et les pixels de l'image reconstruite IMGO.
[0039] Les unités de capture d'image 120j sont ici des caméras comportant des objectifs hypergones.
[0040] Le procédé de reconstruction d'image P commence à l'étape E2 à laquelle chaque unité de capture d'image 120j capture une image IMGj.
[0041] Le procédé de reconstruction d'image se poursuit à l'étape E4 à laquelle l'image reconstruite IMGO est initialisée. L'image reconstruite IMGO est construite comme une matrice de pixel. Les pixels sont définis à une valeur initiale pouvant correspondre au noir par exemple. Les pixels sont ici définis selon la norme (R, G, B) et peuvent contenir trois valeurs correspondant au rouge R, au vert G et au bleu B.
[0042] Chaque canal R, G ou B peut agir comme une matrice indépendante. Par exemple, lors du procédé, les canaux seront traités indépendamment les uns des autres.
[0043] Alternativement, les pixels peuvent être définis selon un autre standard, comme le standard YUV par exemple, dans lequel Y représente le signal de luminance, et U et V représente la chrominance. Dans un autre mode de réalisation, les pixels peuvent être définis selon une norme prenant en compte la lumière dans l'infra-rouge.
[0044] L'initialisation de l'image reconstruite IMGO peut être effectuée par l'unité de commande 110.
[0045] Le procédé de reconstruction d'une image se poursuit alors à l'étape E6 à laquelle l'image reconstruite IMGO est construite à partir des images capturées IMGj.
[0046] L'image reconstruite IMGO est remplie à partir des images capturées IMG1JMG2 en utilisant, pour chaque image capturée IMGj, les coordonnées associées correspondantes. [0047] Par exemple, pour un pixel de l'image reconstruite IMGO ayant des coordonnées de référence (u,v), ses valeurs R, G et B sont calculées à partir des valeurs R, G et B des pixels des images capturées IMG1, IMG2 de coordonnées associées correspondantes calculées grâce aux transformations Tl, T2.
[0048] Ainsi R0(u, v) = f R1(T1(U, V)), R2(T2 U, V))^ dans lequel R0 correspond au canal R de l'image de référence IMGO, RI correspond au canal R de la première image capturée IMG1, R2 correspond au canal R de la seconde image capturée IMG2 et f est une fonction qui permet de calculer la valeur du pixel.
[0049] Par exemple, ici f est une moyenne et (a, h) =
[0050] Les valeurs G et B peuvent être déterminées de manière identique.
[0051] En variante, la valeur R d'un pixel de coordonnées de référence sur l'image reconstruite est une moyenne pondérée des valeurs R des pixels des images capturées IMGj de coordonnées associées correspondantes. La pondération de la moyenne peut être déterminée en fonction de la distance du pixel au bord de l'image capturée IMGj correspondante.
[0052] Si les coordonnées associées correspondantes ne correspondent pas à un entier, alors elles peuvent être arrondis à l'entier le plus proche.
[0053] En variante, si les coordonnées associées correspondantes ne sont pas un nombre entier, alors on peut considérer utiliser une moyenne des pixels de coordonnées voisines. Par exemple, un algorithme de filtre bilatéral peut être utilisé.
[0054] Si les coordonnées associées correspondantes n'existent pas sur une des images capturées IMGj, alors l'image capturée IMGj n'est pas prise en compte. Dans ce cas là, la moyenne est effectuée sur les autres images capturées. Par exemple, ici, si les coordonnées Tl(u,v) n'existe pas sur la première image capturée IMG1, alors la valeur du pixel de coordonnées (u,v) sur l'image reconstruite IMGO correspondra à la valeur du pixel de coordonnées T2(u,v) de la seconde image capturée.
[0055] Enfin, si les coordonnées associées correspondantes ne sont pas définies sur aucune des images capturées correspondante IMGj, aucune valeur n'est copiée dans le pixel des coordonnées de référence de l'image reconstruite IMGO. [0056] Cette étape de remplissage de l'image reconstruite E6 est effectuée par l'unité de commande 110.
[0057] De manière préférentielle, le procédé de reconstruction d'une image P peut comprendre une phase de définition des transformations D au préalable des étapes décrites ci-dessus.
[0058] Par exemple, la phase de définition des transformations D peut avantageusement être effectuée à la conception du véhicule. La phase de définition des transformations D est ici réalisée une seule fois.
[0059] Ainsi, lors de l'utilisation du système de reconstruction d'image 100, les étapes E2 à E6 sont effectuées en temps réel lors d'une capture d'images en utilisant les transformations Tl, T2 définies en amont pendant la phase de définitions des transformations D. Cela permet un gain de ressources informatiques et donc de temps.
[0060] Un exemple de la phase de définition des transformations D est représenté schématiquement en figure 2.
[0061] La phase de définition des transformations D peut commencer à l'étape D2 à laquelle un ensemble de N points Pi(x,y,z), i allant de 1 à N, de l'environnement dans lequel les unités de capture d'image sont positionnées est sélectionné sur un modèle tridimensionnel (ci-après modèle 3D) 10 dudit l'environnement. N est au moins supérieur à 1. De manière préférentielle, N peut être supérieur à 2000, voire supérieur à 10 000. En pratique, on peut utiliser par exemple entre 20 000 et 50 000 points.
[0062] Ici, les unités de capture d'image étant positionnées dans un véhicule automobile, le modèle 3D 10 représente une partie au moins de l'habitacle du véhicule. Ce modèle 3D 10 est représenté en figure 3.
[0063] De préférence, et afin d'éviter la création d'artefacts lors de la reconstruction de l'image IMG0, les objets mobiles du véhicule, comme le volant ou les dossiers de sièges, ne sont pas représentés sur le modèle 3D 10. [0064] Pour la même raison, les petits objets tel que les boutons ou les poignées de portes ne sont ici pas représentés.
[0065] Chaque point Pi(x,y,z) de l'ensemble de points de l'environnement est de préférence visible dans au moins une des images capturées IMGj.
[0066] La phase de détermination des transformations D se poursuit à l'étape D4 à laquelle les coordonnées associées Cj,i(u,v) auxquelles chaque point Pi(x,y,z) est visible sur une des images capturées IMGj sont déterminées. Les coordonnées associées Cj,i(u,v) sont par exemple calculées en projetant le modèle 3D sur chacune des images capturées IMGj.
[0067] La projection du modèle 3D sur une image est effectuée numériquement grâce à des réglages de position et de champ de vue qui peuvent être contrôlés numériquement. Ces réglages sont notamment ajustés grâce à des paramètres connus de l'unité de capture d'image correspondantes. Ces paramètres comprennent ici la focale, la distorsion géométrique, la position et l'orientation de l'unité de capture d'image. La projection du modèle 3D de l'habitacle de la voiture sur l'image capturée IMG1 par la première unité de capture 121 est représenté schématiquement en figure 4.
[0068] La phase de détermination des transformations D se poursuit à l'étape D6 à laquelle la caméra virtuelle C0 est définie. La caméra virtuelle C0 est définie à la position de référence et avec le champ de vue de référence. La caméra virtuelle CO peut également être définie grâce à des paramètres tels que la focale, le champ de vision, la distorsion géométrique, la position ou encore l'orientation de la caméra.
[0069] La définition de la caméra virtuelle C0 permet également de définir une image virtuelle de référence IMGOref. Cette image virtuelle de référence IMGOref est l'image capturée par la caméra virtuelle C0. Elle peut être identifiée comme un plan de référence représentant l'image visible depuis la position de référence et avec le champ de vue de référence.
[0070] La phase de détermination des transformations D se poursuit à l'étape D8 à les coordonnées de référence C0,i(u,v) auxquelles chaque point Pi(x,y,z) est visible sur l'image virtuelle de référence IMGOref sont déterminées. Les coordonnées de référence C0,i(u,v) sont par exemple calculées en projetant chaque point du modèle 3D sur l'image virtuelle de référence IMGOref.
[0071] La phase de détermination des transformations D se poursuit à l'étape D10 à laquelle chaque transformation Tj est définie sur l'ensemble des pixels de l'image virtuelle de référence IMGOref. Par exemple, chaque transformation Tj peut être définie par interpolation à partir des correspondances établies dans les étapes précédentes entre les coordonnées de références C0,i(u,v) et les coordonnées associées correspondantes Cj,i(u,v) sur l'ensemble de points Pi(x,y,z), i allant de 1 à N.
[0072] La transformation est préférentiellement définie par maillage (ou « mesh-based transformation » en anglais). L'ensemble des points Pi(x,y,z) de l'environnement sur l'image virtuelle IMGOref définit les sommets du maillage. Ces sommets définissent des mailles. L'interpolation est définie linéairement pour chaque maille.
[0073] D'autres méthodes de traitement de données peuvent être utilisées afin de définir complètement la transformation à partir des coordonnées de références C0,i(u,v) et des coordonnées associées correspondantes Cj,i(u,v).
[0074] L'utilisation de ces coordonnées définies à l'aide d'un modèle 3D permet une reconstruction de grande qualité. Notamment, la reconstruction des objets proches (entre 0 et 2 mètres) des unités de capture d'image 120j peut être très compliquée à effectuer et engendrer de nombreux artefacts. En effet, l'angle auquel un objet proche est vu par une unité de capture d'image 120j peut être très différent d'une unité de capture d'image 120j à une autre. En revanche, cet angle varie peu avec des objets loin.
[0075] Un second mode de réalisation du procédé de reconstruction d'une image utilisant une étape intermédiaire est représenté en figure 5. L'étape intermédiaire peut se dérouler à la suite de l'étape E2 de capture des images IMG1 et IMG2 par chacune des unités de capture d'image 121, 122. Lors de cette étape intermédiaire, des traitements d'image associées TU, TI2 aux unités de capture d'image 121, 122 et utilisant les transformations Tl, T2 sont appliquées aux images capturées correspondantes IMG1, IMG2. Ces traitements d'images utilisent les fonctions inverses des transformations Tl, T2 définis ci-dessus, afin d'obtenir les coordonnées de références à partir des coordonnées associées correspondantes.
[0076] Ainsi, pour chaque pixel de coordonnées (uj,vj) d'une image capturée IMGj, j allant de 1 à K, représentant un point Pi(x,y,z) de l'environnement, des nouvelles coordonnées (u0,v0) sont définies auxquelles le point Pi(x,y,z) est visible par la caméra virtuelle CO. Cette opération est effectuée pour tous les pixels des images capturées IMG1 et IMG2 afin d'obtenir des images transformées IMG'l, IMG'2.
[0077] Les coordonnées d'un objet visible sur les images transformées IMG'l, IMG'2 peuvent donc être identiques aux coordonnées de ce même objet sur l'image reconstruite IMG0.
[0078] L'image reconstruite IMG0 peut alors être remplie directement grâce aux images transformées, sans nouveau changement de coordonnées.
[0079] Ainsi pour un pixel de coordonnées (u,v) de l'image reconstruite IMG0 :
R0(u, v) = (Æ'l(it, v), R'2(u, v)) dans lequel R0 correspond au canal R de l'image de référence IMG0, R'1 correspond au canal R de la première image transformée IMG'l, R'2 correspond au canal R de la seconde image transformée IMG'2 et f est une fonction qui permet de calculer la valeur du pixel. Par exemple, ici f est une moyenne.
[0080] Si les coordonnées (u,v) n'existent pas sur une des images transformées IMG'j, alors celle-ci n'est pas prise en compte. Par exemple, si les coordonnées (u,v) n'existent pas sur la première image transformée IMG'l, alors la valeur du pixel de coordonnées (u,v) de l'image reconstruite IMG0 est égale à la valeur du pixel de coordonnées (u,v) de la seconde image transformées IMG'2.
[0081] Les valeurs des canaux G et B peuvent être déterminées de manière identique.
[0082] Alternativement, d'autres standards permettant de définir les pixels peuvent être utilisés comme le standard YUV par exemple. La méthode décrite ici s'applique alors de manière similaire.

Claims

Revendications
1. Procédé de reconstruction d'une image (P) visible depuis une position de référence et avec un champ de vue de référence et utilisant au moins deux unités de capture d'image (121, 122), chaque unité de capture d'image (120j) ayant une position et un champ de vue, et étant associée à une transformation (Tj), chaque transformation (Tj) étant configurée pour associer des coordonnées de référence ((u,v)) vue depuis la position de référence et avec le champ de vue de référence avec des coordonnées associées correspondantes (Tj(u,v)) sur l'image capturée (IMGj), ledit procédé de reconstruction d'image (P) comprenant les étapes suivantes :
- capture (E2) d'une image (IMGj) par chacune des unités de capture d'image (120j), et
- remplissage (E6) de l'image reconstruite (IMGO) à partir des images capturées (IMG1, IMG2) en utilisant, pour chaque image capturée (IMGj), les coordonnées associées correspondantes (Tj(u,v)).
2. Procédé de reconstruction d'une image selon la revendication 1, dans lequel une valeur d'un pixel de coordonnées de référence ((u,v)) de l'image reconstruite (IMGO) est calculée à partir d'au moins une des valeurs du pixel de coordonnées associées correspondantes (Tj(u,v)) des images capturées (IMGj) obtenues par la transformation correspondante (Tj).
3. Procédé de reconstruction d'une image (P) selon la revendication 2, dans lequel la valeur d'un pixel de coordonnées de référence ((u,v)) de l'image reconstruite (IMGO) est calculée grâce à une moyenne pondérée des valeurs du pixel de coordonnées associées correspondantes (Tj(u,v)) des images capturées (IMGj), la pondération étant déterminée en fonction d'une distance dudit pixel de coordonnées associées correspondantes (Tj(u,v)) au bord de l'image capturée IMGj correspondante.
4. Procédé de reconstruction d'une image (P) selon l'une des revendications 1 à 3, comprenant, préalablement à l'étape de capture d'image (E2), une phase de définition des transformations (D) lors de laquelle les transformations (Tl, T2) sont définies grâce à au moins un point (Pi(x,y,z)) d'un environnement dans lequel les unités de capture d'image (121,122) sont positionnées, ledit point (Pi(x,y,z)) étant modélisé par un modèle tridimensionnel (10) de l'environnement.
5. Procédé de reconstruction d'une image (P) selon la revendication 4, dans lequel le au moins un point de l'environnement (Pi(x,y,z)) est visible dans une des images capturées (I MGj) sur un pixel dont les coordonnées associées correspondantes (Cj,i(u,v)) sont déterminées, au cours de la phase de définition des transformations (D), en projetant ledit au moins un point (Pi(x,y,z)) du modèle tridimensionnel (10) sur l'image capturée.
6. Procédé de reconstruction d'une image (P) selon l'une des revendications 4 à 5, dans lequel le au moins un point de l'environnement (Pi(x,y,z)) est visible dans l'image reconstruite (IMGO) sur un pixel dont les coordonnées associées correspondantes (Cj,i(u,v)) sont déterminées, au cours de la phase de définition des transformations (D), en projetant ledit au moins un point (Pi(x,y,z)) du modèle tridimensionnel (10) sur un plan de référence représentant l'image visible depuis la position de référence et avec le champ de vue de référence.
7. Procédé de reconstruction d'une image (P) selon l'une des revendications 4 à 6, dans lequel la phase de définition des transformations (D) comprend en outre une étape à laquelle chaque transformation (Tj) est définie sur des pixels de l'image reconstruite (IMGO) par une méthode de transformation en maillage à partir des coordonnées de référence (C0,i(u,v)) et des coordonnées associées correspondantes (Cj,i(u,v)) du au moins un point (Pi(x,y,z)) de l'environnement.
8. Procédé de reconstruction d'une image (P) selon l'une des revendications 4 à 7, dans lequel l'environnement dans lequel les unités de capture d'image (121,122) sont positionnées est l'habitacle d'un véhicule automobile.
9. Procédé de reconstruction d'une image (P) selon l'une des revendications 1 à 8, dans lequel le champ de vue de référence correspond au champ de vue d'un objectif optique hypergone.
10. Procédé de reconstruction d'une image (P) selon l'une des revendications 1 à 9, comprenant une étape intermédiaire dans laquelle un traitement d'image utilisant les transformations (Tl, T2) sont appliquées aux images capturées (IMG1, IMG2) correspondantes afin d'obtenir des images transformées (IMG'l, IMG'2).
11. Procédé de reconstruction d'une image (P) selon la revendication 10, dans lequel les coordonnées d'un objet visible sur les images transformées (IMG'l, IMG'2) sont identiques aux coordonnées de ce même objet sur l'image reconstruite (I MGO).
12. Système de reconstruction d'une image (100) visible depuis une position de référence et avec un champ de vue de référence comprenant au moins deux unités de capture d'image (121, 122) et une unité de commande (110), chaque unité de capture d'image (120j) ayant une position et un champ de vue, étant associée à une transformation (Tj) et étant configurée pour capturer une image (IMGj), chaque transformation (Tj) étant configurée pour associer des coordonnées de référence (C0,i(u,v)) vue depuis la position de référence et avec le champ de vue de référence avec des coordonnées associées correspondantes (Cj,i(u,v)) sur l'image capturée (IMGj), l'unité de commande (110) étant configurée pour remplir l'image reconstruite (IMG0) à partir des images capturées (IMG1, IMG2) ) en utilisant, pour chaque image capturée (IMGj), les coordonnées associées correspondantes (Cj,i(u,v)).
EP23801467.4A 2023-01-06 2023-11-09 Procédé et système de reconstruction d'une image Pending EP4646686A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2300157A FR3144887B1 (fr) 2023-01-06 2023-01-06 Procédé et système de reconstruction d’une image
PCT/EP2023/081352 WO2024146709A1 (fr) 2023-01-06 2023-11-09 Procédé et système de reconstruction d'une image

Publications (1)

Publication Number Publication Date
EP4646686A1 true EP4646686A1 (fr) 2025-11-12

Family

ID=85726602

Family Applications (1)

Application Number Title Priority Date Filing Date
EP23801467.4A Pending EP4646686A1 (fr) 2023-01-06 2023-11-09 Procédé et système de reconstruction d'une image

Country Status (4)

Country Link
EP (1) EP4646686A1 (fr)
CN (1) CN120457449A (fr)
FR (1) FR3144887B1 (fr)
WO (1) WO2024146709A1 (fr)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140114534A1 (en) * 2012-10-19 2014-04-24 GM Global Technology Operations LLC Dynamic rearview mirror display features

Also Published As

Publication number Publication date
FR3144887B1 (fr) 2025-04-25
FR3144887A1 (fr) 2024-07-12
WO2024146709A1 (fr) 2024-07-11
CN120457449A (zh) 2025-08-08

Similar Documents

Publication Publication Date Title
US11558558B1 (en) Frame-selective camera
EP0650299B1 (fr) Procédé de traitement des niveaux de luminance dans une image composite et système de traitement d'image appliquant ce procédé
KR100922250B1 (ko) 왜곡없는 실시간 이미징을 구현하는 파노라마 비디오시스템
CA2600185C (fr) Procede pour commander une action, notamment une modification de nettete, a partir d'une image numerique en couleurs
US20160291545A1 (en) Holographic three-dimensional display system and method
US20120262607A1 (en) Multocular image pickup apparatus and multocular image pickup method
CN103826033A (zh) 图像处理方法、图像处理设备、图像拾取设备和存储介质
CN101616237A (zh) 图像处理装置、图像处理方法、程序和记录介质
JP5820985B2 (ja) 立体画像処理装置および立体画像処理方法
WO2011099239A1 (fr) Dispositif et procédé d'imagerie, et procédé de traitement d'images pour le dispositif d'imagerie
NL2029657B1 (en) Accurate optical flow estimation in stereo pairs of equirectangular images
US20160037096A1 (en) Image processing method, image processing apparatus, image pickup apparatus, and non-transitory computer-readable storage medium
CN106530212B (zh) 镜头影像变形校正装置
WO2024146709A1 (fr) Procédé et système de reconstruction d'une image
US8665349B2 (en) Method of simulating short depth of field and digital camera using the same
KR101230909B1 (ko) 차량용 광각 영상 처리장치 및 그 방법
WO2019057807A1 (fr) Harmonisation du bruit d'image dans un dispositif de caméra d'un véhicule automobile
US20250217934A1 (en) Noise, flare, and/or other degradation suppression and/or removal for images
Kim et al. 54‐1: Development of UDC Image Restoration Technology Using Space Variant CNN
US20250008229A1 (en) Adaptive Depth of Field for a Noncircular Aperture
CN117788545A (zh) 水下单目深度估计成像方法及装置、电子设备、存储介质
WO2025012527A1 (fr) Procede de traitement d'une image d'une scene pour restituer un changement de point de vue de la scene
Woo et al. Super-Resolution Imaging Using a Focus Pixel Sensor
WO2025141252A1 (fr) Procede de rendu 3d pour visiocasques et dispositifs d'affichages 3d a partir d'une image d'une scene
EP4684355A1 (fr) Procede de correction d'images

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20250522

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)