EP4367599A1 - Procede et systeme de generation d'images de synthese predictive, et equipement d'acquisition d'environnements lumineux mis en oeuvre dans ce systeme - Google Patents

Procede et systeme de generation d'images de synthese predictive, et equipement d'acquisition d'environnements lumineux mis en oeuvre dans ce systeme

Info

Publication number
EP4367599A1
EP4367599A1 EP22753724.8A EP22753724A EP4367599A1 EP 4367599 A1 EP4367599 A1 EP 4367599A1 EP 22753724 A EP22753724 A EP 22753724A EP 4367599 A1 EP4367599 A1 EP 4367599A1
Authority
EP
European Patent Office
Prior art keywords
real scene
steps
physical
scene
delivering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP22753724.8A
Other languages
German (de)
English (en)
Inventor
Philippe PORRAL
Thomas Muller
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
United Visual Researchers
Original Assignee
United Visual Researchers
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by United Visual Researchers filed Critical United Visual Researchers
Publication of EP4367599A1 publication Critical patent/EP4367599A1/fr
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/10—Numerical modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/18—Details relating to CAD techniques using virtual or augmented reality

Definitions

  • the present invention relates to a method for generating predictive synthetic images of a real scene. It also targets a system for generating predictive synthesis images implementing this process, as well as equipment for acquiring light environments implemented in this system.
  • SPEOS software from Ansys
  • THEIA-RT software from the same company, which provides real-time physics-based rendering.
  • EP3526697A1 discloses a computer method for modeling at least one light source, comprising: a step of receiving input data comprising data on the characteristics of the materials constituting the light source; and a step of creating, from data of characteristics of the materials received, as well as geometric data and data of light emission characteristics of the light source, a data model representing the source light, these geometric data describing the source of light and defining a plurality of volumes and surfaces; wherein, when creating the data model: the data of the material characteristics are related to the volumes and surfaces of the geometric data, and the data of the light emission characteristics of the light source are related to the surfaces of the geometric data ; and a step of storing the data model in the computer.
  • OCEAN software developed by Eclat Digital, which provides spectral and polarized simulation for virtual prototyping with photorealistic image rendering, as well as the 3D EXCITE software developed by Dassault Systems, which provides a solution real-time visualization.
  • the aim of the present invention is to overcome the limitations of existing simulation methods and to provide designers with a new physico-realistic simulation tool of such quality that it can deliver so-called iso-photographic predictive simulations of a scene. that are indistinguishable from an actual photograph of that scene taken at the same time and under the same conditions.
  • a method for generating a predictive synthetic image of a real scene comprising: one or more steps for acquiring light environments of the real scene, comprising physical measurement steps in relation to said real scene , these physical measurement steps comprising a plurality of hyperspectral shots of the real scene, according to a plurality of angular positions one or more physical measurement data processing steps, to deliver physical characterization information of said real scene , one or more predictive simulation steps, exploiting the physical characterization information, to deliver a three-dimensional predictive simulation of said real scene, with a physico-realistic rendering, and arranged to produce a simulated raw image of the real scene.
  • the process for generating a predictive synthetic image further comprises: a preliminary step for taking a photograph of the real scene and delivering in digital form a captured raw image of said real scene, a step for digitally developing respectively said captured raw image and said simulated raw image, arranged to respectively generate a real photograph and a predicted photograph of said real scene.
  • the physical measurement data processing steps may include steps for delivering a light map of the real scene, steps for delivering a spectral response of the real scene, and steps for delivering reflectance functions relating to materials involved in the actual scene.
  • the predictive simulation steps are preferably spectral and polarized, and arranged to produce a simulated raw image of the real scene.
  • the digital development step may include a step to demosaic the captured raw image and the simulated raw image.
  • a system for generating a predictive synthetic image of a real scene, for the implementation of the method according to the invention, comprising: means for acquiring light environments of the real scene, comprising means for physical measurements of the real scene, for delivering physical measurement data in relation to said real scene, said acquisition means comprising a hyper-spectral camera arranged on a motorized stage to provide a plurality of angular positions for shooting a real scene, means for processing the physical measurement data, to deliver information on the physical characterization of said real scene, predictive simulation means , exploiting the physical characterization information, to deliver a three-dimensional predictive simulation of said realistic scene, with a physico-realistic rendering, and .to produce a simulated raw image of the real scene (6).
  • the predictive synthesis image generation system further comprises: means for taking a photograph of the real scene and delivering in digital form a captured raw image of said real scene, means for digitally respectively developing said captured raw image and said simulated raw image, arranged to respectively generate a real photograph and a predicted photograph of said real scene.
  • the physical measurement data processing means may include means for delivering a light map of the real scene, means for delivering a spectral response of the real scene, and means for delivering reflectance functions relating to materials involved in the actual scene.
  • the optical physical measurement means and the physical measurement data processing means can advantageously be integrated within a spectral polarimeter device (DSP).
  • DSP spectral polarimeter device
  • the predictive simulation means can also be arranged to produce a simulated raw image of the real scene.
  • the digital development means may include means for demosaicizing the captured raw image and the simulated raw image.
  • equipment for acquiring light environments of a real scene, implemented in a synthetic image generation system according to the invention, comprising a hyper-spectral camera provided with a wide-angle lens, this camera comprising a diffraction grating and interlaced spectral capture lines and being arranged on a motorized plate so as to provide a plurality angular positions.
  • This light environment acquisition equipment may further comprise means for synchronizing the rotation of the camera with the shutter speeds in relation to the integration times.
  • the hyper-spectral camera can also be programmed to perform a plurality of consecutive captures of a real scene with high light dynamics, at different speeds.
  • the lighting environment acquisition equipment may further comprise local means for temporarily storing capture data of a real scene.
  • Gamma curve The transfer characteristic of an electronic optical transducer
  • Light environment Omnidirectional image (360 x 360 degrees) memorizing the incident illumination at a particular point in space.
  • Hyper-spectral imaging technology for obtaining the image of a scene in a large number of spectral bands that are both narrow and contiguous
  • Raw Image generic designation of a type of digital image file from digital cameras or scanners.
  • a Raw file contains the raw data of the sensor and the parameters necessary for the transformation into an image file visible on screen
  • Computer-generated image Image created by a computer from a digital model
  • FIG. 1 is a block diagram illustrating an embodiment of a method for generating a predictive synthetic image according to the invention
  • Figure 2 illustrates a comparison process between a real photo and a photo predicted by the generation method according to the invention
  • Figure 3 illustrates an example of a known raw image demosaicing process, implemented in the image generation method according to the invention
  • Figure 4 illustrates an example of a processing algorithm implementing the image generation method according to the invention
  • Figure 5 is a diagram representing a light environment acquisition equipment implemented in an image generation system according to the invention.
  • the optical appearance of an object comes from the interaction between light and matter which translates how an object captures light and how it re-emits it.
  • a method for generating a predictive synthetic image comprises a first sequence I of acquisition of light environments of a real scene comprising physical measurements of these environments, a second sequence II for processing physical measurement data to develop and deliver isophotographs, then a sequence III for viewing these isophotographs.
  • the light environment acquisition sequence I includes IA emittance measurements, IB reflectance measurements of materials used in the real scene, and IC spectral response measurements.
  • sequence I the process for generating a predictive synthetic image according to the present invention provides the most exhaustive and precise possible description of the light/matter interaction phenomena. All the physical phenomena involved are taken into consideration: spatial, spectral and polarization.
  • Physical measurement data processing sequence II includes an IIA exploitation of a 3D geometry of the real scene in a predictive rendering engine IIB based on the measurements and an IIC development of isophotographs.
  • demosaicing also known as demosaicing, is one of the processing phases of the raw signal from the sensor of a digital camera. It consists of interpolating the data from each of the red, green and blue monochrome photosites making up the electronic sensor to obtain a trichromatic value for each pixel.
  • Bayer's mosaic with one half of staggered green filter sensors separated by alternating red and blue filter sensors, is the most common arrangement for color sensors.
  • Demosaicing or demosaicing is the basic operation of image processing; it is often accompanied by corrective operations. It is done in the device and, if a Raw file has been recorded, with specialized software, taking into account the characteristics of the device.
  • the Raw image is a matrixed pixel level image. Displayed on the screen, it appears in grayscale.
  • a known demosaicing process can be applied which makes it possible to obtain an image composed of three red, green and blue channels per pixel.
  • a gamma curve is applied to the raw images and a white balance is produced. We then obtain a real photograph 25 to be compared with a predicted photograph 26.
  • This algorithm implements a stochastic integrator and performs the following operations:
  • the processing algorithm outputs a Raw image, an RGB image and a spectral image or not and polarized or not.
  • Light environment acquisition equipment 1 dedicated to collecting the measurements necessary for the generation of predictive synthetic images of a real scene 6, comprises, with reference to FIG. 5, a hyper-spectral camera 2 provided a wide-angle lens 4, for example of the "Fish-Eye” type and fixed to a motorized platform 3 equipped with angular position sensors (not shown) and provided with a system of feet 5.
  • This equipment is referred to in the DSP suite for “Digital Spectral Polarimeter”. It allows the identification and quantification of all the information that influences the intensity of reflection and transmission phenomena.
  • Hyper-spectral imaging is a technology that combines 2D spatial imaging and spectroscopy to provide detailed information about the composition of a target. It allows the acquisition of spatially resolved spectral information in the form of many bands of narrow and contiguous wavelengths. Each pixel in the resulting image contains a full spectrum.
  • spectral information can be acquired line by line by means of spatial scanning.
  • mapping of hyper-spectral images is carried out by moving the object or the camera in translation.
  • the spatial and spectral information acquired forms a 3D data set presented in the form of a cube, often called a “hyper-spectral cube”.
  • the dimensions in these cubes are those of space (x and y axes) and the third is the spectral dimension (z), corresponding to light intensity as a function of wavelength.
  • the hyper spectral camera used is marketed by the company Resonon (https://resonon.com/hyperspectral-cameras) and the model selected is: PIKA L.
  • the motorized rotation stage used in this embodiment is marketed by the company Newport (https://www.newport.com), with an angular range of 360°, a speed maximum of 40°. s 1 , and an accuracy of ⁇ 15 mdeg.
  • the hyper-spectral camera equipped with a Fish Eye 4 lens designed to be chromatic aberration-free and non-polarizing, is made up of two distinct optical systems:
  • This first diffraction grating is of the VPH (Volume Phase Gratings) transmission type, which does not modify the incoming polarization.
  • VPH Volume Phase Gratings
  • the sensor may for example be an IMX250 reference CMOS sensor marketed by SONY.
  • the spectral capture lines are interlaced. (One line with the -45° and 0° filters and a second with the 90° and 45° filters). A specific post-processing is necessary and in fact the spectral and spatial dimensions are divided by 2 compared to the initial system.
  • the rotation of the hyper-spectral camera 2 is synchronized with the shutter speeds in relation to the integration times.
  • the rotation must be as fast as possible in order to reduce the integration time and avoid the "blur" of movements linked to the moving objects of the scene, while remaining within the limits of the quantum efficiency of the sensor.
  • the radiometric dynamics of a natural environment can be very high, especially in the presence of sun and shaded areas. To cover the entire dynamics of the scene, several consecutive captures at different speeds may be necessary.
  • the predictive rendering engine is a simulation software tool, totally spectral and polarized, developed on the most recent computer techniques and architecture and respecting in its operation all the laws of physics. Its function is to generate predictive images, as close as possible to reality, of what the product to come will be like.
  • This predictive rendering engine is iso-photographic, predictive and repeatable. It can integrate virtual reality tools, and implement high performance computing (HPC) providing computing times of the order of a second (with a cluster of 128 GPUs) to be compared with times several minutes with a standard computer.
  • HPC high performance computing
  • the general principle of the predictive rendering engine implemented in a system for generating predictive synthetic images according to the invention is the acquisition by values or by wavelength bands of series of spectral images providing the intensity and the polarization states of the incident light.
  • the spherical spatial distribution is linked to the use of a wide-angle lens, fish-eye type, producing circular images.
  • An addition of polarizing filters allows a determination, per pixel, of the Stokes vectors. These physical data are necessary and sufficient to characterize the illumination of an object in a distant real environment.
  • the predictive rendering engine can take into account many optical phenomena, usually ignored in state-of-the-art rendering engines, such as the spectral dispersion of the illuminant, the polarization.
  • the data from the DSP system allow image processing with a step of the order of a nanometer. This precision guarantees users that the virtual images will be faithful or even exact representations.
  • the Computer-Aided Appearance Design tool CA 2 0 which the method of generating predictive synthetic images allows, advantageously completes the existing CF AO (Computer-Aided Manufacturing Design) tools.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Generation (AREA)

Abstract

Procédé pour générer une image de synthèse prédictive d'une scène réelle, comprenant : - une ou plusieurs étapes d'acquisition d'environnements lumineux de la scène réelle, pour délivrer des données de mesures physiques en relation avec ladite scène réelle, 5 - une ou plusieurs étapes de traitement des données de mesure physique, pour délivrer des informations de caractérisation physique de ladite scène réelle, - une ou plusieurs étapes de simulation prédictive, exploitant les informations de caractérisation physique, pour délivrer une simulation prédictive tridimensionnelle de ladite scène réaliste, avec un rendu physico-réaliste.

Description

PROCEDE ET SYSTEME DE GENERATION D’IMAGES DE SYNTHESE PREDICTIVE, ET EQUIPEMENT D’ACQUISITION D’ENVIRONNEMENTS LUMINEUX MIS EN
ŒUVRE DANS CE SYSTEME
DOMAINE DE L’INVENTION
La présente invention concerne un procédé de génération d’images de synthèse prédictive d’une scène réelle. Elle vise également un système de génération d’images de synthèse prédictive mettant en œuvre ce procédé, ainsi qu’un équipement d’acquisition d’environnements lumineux implémenté dans ce système.
ETAT DE LA TECHNIQUE
Il existe une demande considérable pour des outils numériques d’aide à la conception intégrant des simulations de scènes réelles qui soient les plus réalistes possibles pour les concepteurs. On parle alors de simulations physico-réalistes.
Les systèmes classiques de génération d’images virtuelles généralement conçus pour l’Industrie Créative fonctionnent dans le référentiel tri chromique RGB très éloigné de la réalité physique des interactions lumière/matière.
On peut citer des logiciels de simulation de systèmes optiques, tels que le logiciel SPEOS de la société Ansys, développé pour prédire l’illumination et les performances optiques de systèmes afin de gagner du temps et des coûts de prototypage, et le logiciel THEIA-RT de la même société, qui procure un rendu en temps réel basé sur la physique.
EP3526697A1 divulgue un procédé informatique de modélisation d'au moins une source de lumière, comprenant: une étape de réception de données d'entrée comprenant des données de caractéristiques des matériaux constituant la source de lumière; et une étape de création, à partir de données de caractéristiques des matériaux reçus, ainsi que de données géométriques et de données de caractéristiques d'émission lumineuse de la source lumineuse, un modèle de données représentant la lumière source, ces données géométriques décrivant la source de lumière et définissant une pluralité de volumes et de surfaces; dans lequel, lors de la création du modèle de données: les données es caractéristiques des matériaux sont liées aux volumes et aux surfaces des données géométriques, et aux données des caractéristiques d'émission lumineuse de la lumière la source sont liées aux surfaces des données géométriques; et une étape de stockage du modèle de données dans l'ordinateur. On peut également citer le logiciel OCEAN développé par la société Eclat Digital, qui procure une simulation spectrale et polarisée pour du prototypage virtuel avec un rendu d’image photo réaliste, ainsi que le logiciel 3D EXCITE développé par la société Dassault Systems qui fournir une solution de visualisation temps réel.
Pour autant, ces outils logiciels de simulation optique ne permettent pas encore une validation de l’aspect final du produit manufacturé. Il y a de fait rupture dans la chaîne de conception numérique et des recours à des maquettes physiques restent nécessaires ce qui augmentent considérablement les coûts et les délais.
Le document « Omen Simulation Suite », XP055898677 publié le 31 décembre 2019, divulgue un moteur de rendu iso-photographique pour une conception d'apparence assistée par ordinateur. Ce moteur, qui traite des données provenant de plusieurs sources de données, peut prédire comment des aspects de la lumière vont interagir avec un objet ou un matériau dans un environnement de lumière naturelle ou artificielle.
Le document « Iso Photographie Rendering », XP055898959 publié le 31 décembre 2018, divulgue un procédé de rendu iso-photographique mettant en œuvre une acquisition séquentielle d'images successivement filtrées par des filtres chromatiques et polarisants avec différents temps de pose. Dans ce procédé de rendu qui permet de recréer une image virtuelle visant à être identique à ce à quoi une vraie photographie aurait ressemblé, seules les données mesurées sont utilisées pour alimenter le moteur de rendu.
Le but de la présente invention est de dépasser les limitations des procédés de simulation existants et de procurer aux concepteurs un nouvel outil de simulation physico-réaliste d’une qualité telle qu’il puisse délivrer des simulations prédictives dites iso-photographiques d’une scène qui soient indiscernables par rapport à une photographie réelle de cette scène prise au même moment et dans les mêmes conditions.
EXPOSE DE L’INVENTION
Cet objectif est atteint avec un procédé pour générer une image de synthèse prédictive d’une scène réelle, comprenant : une ou plusieurs étapes d’acquisition d’environnements lumineux de la scène réelle, comprenant des étapes de mesures physiques en relation avec ladite scène réelle, ces étapes de mesures physiques comprenant une pluralité de prises de vue hyper- spectrales de la scène réelle, selon une pluralité de positions angulaires une ou plusieurs étapes de traitement des données de mesure physique, pour délivrer des informations de caractérisation physique de ladite scène réelle, une ou plusieurs étapes de simulation prédictive, exploitant les informations de caractérisation physique, pour délivrer une simulation prédictive tridimensionnelle de ladite scène réelle, avec un rendu physico-réaliste, et agencées pour produire une image brute simulée de la scène réelle.
Suivant l’invention, le procédé de génération d’image de synthèse prédictive comprend en outre : une étape préalable pour prendre une photographie de la scène réelle et délivrer sous forme numérique une image brute capturée de ladite scène réelle, une étape pour développer numériquement respectivement ladite image brute capturée et ladite image brute simulée, agencée pour générer respectivement une photographie réelle et une photographie prédite de ladite scène réelle.
Les étapes de traitement des données de mesures physiques peuvent comprendre des étapes pour délivrer une cartographie lumineuse de la scène réelle, des étapes pour délivrer une réponse spectrale de la scène réelle, et des étapes pour délivrer des fonctions de réflectance relatives à des matériaux impliqués dans la scène réelle.
Les étapes de simulation prédictive sont de préférence spectrales et polarisées, et agencées pour produire une image brute simulée de la scène réelle.
L’étape de développement numérique peut comprendre une étape pour démosaïquer l’image brute capturée et l’image brute simulée.
Il s’agit ainsi avec la présente invention de proposer l’ensemble des outils nécessaires à la génération d’images de synthèse « Iso-Photographique » c’est-à-dire indiscernables d’une photographie prise au même moment dans les mêmes conditions. Toute intervention liée à une éventuelle estimation esthétique de l’utilisateur est écartée. La particularité de cet outil de simulation est d’associer phénomènes physiques et méthodes mathématiques pour livrer des résultats théoriques susceptibles d’être utilisé dans le champ de la réalité virtuelle. Tous les phénomènes physiques en cause sont pris en considération, en particulier l’aspect spectral et la polarisation de la lumière. La résolution de l’équation du rendu est exacte (Illumination Globale par la méthode de Monte-Carlo). À ce titre les résultats sont prédictifs et répétables, condition indispensable à la crédibilité de tels outils de simulation de conception de l’aspect visuel d’un objet.
Selon un autre aspect de l’invention, il est proposé une utilisation du procédé de génération d’image de synthèse dans un outil de Conception de l'Apparence Assistée par Ordinateur.
Selon encore un autre aspect de l’invention, il est proposé un système pour générer une image de synthèse prédictive d’une scène réelle, pour la mise en œuvre du procédé selon l’invention, comprenant : des moyens pour acquérir des environnements lumineux de la scène réelle, comprenant des moyens de mesures physiques de la scène réelle, pour délivrer des données de mesures physiques en relation avec ladite scène réelle, lesdits moyens d’acquisition comprenant une caméra hyper-spectrale disposée sur une platine motorisée pour procurer une pluralité de positions angulaires de prise de vue d’une scène réelle, des moyens de traitement des données de mesure physique, pour délivrer des informations de caractérisation physique de ladite scène réelle, de des moyens de simulation prédictive, exploitant les informations de caractérisation physique, pour délivrer une simulation prédictive tridimensionnelle de ladite scène réaliste, avec un rendu physico-réaliste, et .pour produire une image brute simulée de la scène réelle (6).
Suivant, le système de génération d’image de synthèse prédictive comprend en outre : des moyens pour prendre une photographie de la scène réelle et délivrer sous forme numérique une image brute capturée de ladite scène réelle, des moyens pour développer numériquement respectivement ladite image brute capturée et ladite image brute simulée, agencés pour générer respectivement une photographie réelle et une photographie prédite de ladite scène réelle.
Les moyens de traitement des données de mesures physiques peuvent comprendre des moyens pour délivrer une cartographie lumineuse de la scène réelle, des moyens pour délivrer une réponse spectrale de la scène réelle, et des moyens pour délivrer des fonctions de réflectance relatives à des matériaux impliqués dans la scène réelle.
Les moyens optiques de mesures physiques et les moyens de traitement des données de mesures physiques peuvent avantageusement être intégrés au sein d’un dispositif polarimètre spectral (DSP).
Les moyens de simulation prédictive peuvent en outre être agencés pour produire une image brute simulée de la scène réelle.
Les moyens de développement numérique peuvent comprendre des moyens pour démosaïquer l’image brute capturée et l’image brute simulée.
Selon encore un autre aspect de l’invention, il est proposé un équipement pour acquérir des environnements lumineux d’une scène réelle, mis en œuvre dans un système de génération d’image de synthèse selon l’invention, comprenant une caméra hyper-spectrale pourvue d’un objectif grand angle, cette caméra comprenant un réseau de diffraction et des lignes de capture spectrale entrelacées et étant disposée sur un plateau motorisé de façon à procurer une pluralité de positions angulaires.
Cet équipement d’acquisition d’environnements lumineux peut en outre comprendre des moyens pour synchroniser la rotation de la caméra avec les vitesses d’obturation en relation avec les temps d’intégration. La caméra hyper-spectrale peut en outre être programmée pour effectuer une pluralité de captures consécutives d’une scène réelle présentant de hautes dynamiques lumineuses, à des vitesses différentes.
L’équipement d’acquisition d’environnements lumineux peut en outre comprendre des moyens locaux pour stocker temporairement des données de capture d’une scène réelle.
DEFINITIONS
Balance des blancs : réglage qui permet, sur un appareil de prise de vues électronique, d'adapter la dominante de couleur à l'éclairage
Courbe gamma : La caractéristique de transfert d'un transducteur optique électronique Environnement lumineux : Image omnidirectionnelle (360 x 360 degrés) mémorisant Tillumination incidente en un point particulier de l’espace.
Imagerie hyper-spectrale : technologie permettant d'obtenir l'image d'une scène dans un grand nombre de bandes spectrales à la fois étroites et contigües
Image Raw : désignation générique d'un type de fichier d'images numériques issues d’appareils photo numériques ou de scanners. Un fichier Raw contient les données brutes du capteur et les paramètres nécessaires à la transformation en fichier image visible sur écran
Image de synthèse : Image créée par un ordinateur à partir d'un modèle numérique
Isophotographie :Image de synthèse indiscernable d’une photographie prise au même moment dans les mêmes conditions Réflectance d’un matériau : Proportion de lumière réfléchie par la surface du matériau
DESCRIPTION DES FIGURES
La Figure 1 est un synoptique illustrant un exemple de réalisation d’un procédé de génération d’image de synthèse prédictive selon l’invention ; • La Figure 2 illustre un processus de comparaison entre une photo réelle et une photo prédite par le procédé de génération selon l’invention ;
• La Figure 3 illustre un exemple d’un processus connu de dématriçage d’une image Raw, mis en œuvre dans le procédé de génération d’image selon l’invention « La Figure 4 illustre un exemple d’un algorithme de traitement implémentant le procédé de génération d’image selon l’invention ; et
• La Figure 5 est un schéma représentant un équipement d’acquisition d’environnements lumineux mis en œuvre dans un système de génération d’image selon l’invention. DESCRIPTION DETAILLEE
Exemple de réalisation d’un système de génération d’images de synthèse prédictive
L’apparence optique d’un objet provient de l’interaction entre la lumière et la matière qui traduit comment un objet capte la lumière et comment il la réémet. La caractérisation complète de l’apparence visuelle d’un objet modulée par sa forme (géométrie, texture, rugosité,...) et par sa nature (transparence, translucidité, couleur,..), nécessite un ensemble de mesures physiques pour quantifier les variations spectrales, angulaires et spatiales de la lumière réfléchie ou transmise par l’objet.
En référence à la Figure 1, un procédé de génération d’une image de synthèse prédictive selon selon l’invention comprend une première séquence I d’acquisition d’environnements lumineux d’une scène réelle comprenant des mesures physiques de ces environnements, une seconde séquence II de traitement des données de mesures physiques pour développer et délivrer des isophotographies, puis une séquence III de visualisation de ces isophotographies.
La séquence I d’acquisition d’environnements lumineux comprend des mesures IA d’émittance, des mesures IB de réflectance de matériaux mis en œuvre dans la scène réelle, et des mesures IC de réponse spectrale.
Grâce à la séquence I, le procédé de génération d’image de synthèse prédictive selon l’invention présente procure une description des phénomènes d’interaction lumière/matière la plus exhaustive et précise possible. Tous les phénomènes physiques en cause sont pris en considération : spatial, spectral et polarisation. La séquence II de traitement des données de mesures physiques comprend une exploitation IIA d’une géométrie 3D de la scène réelle dans un moteur IIB de rendu prédictif basé sur les mesures et un développement IIC d’isophotographies.
On va maintenant décrire, en référence à la figure 2, un exemple pratique de mise en œuvre du procédé de synthèse d’images prédictives selon l’invention, avec une comparaison entre photographie réelle et photographie prédictive.
A partir d’une prise de photographie réelle 20 d’une scène réelle, on obtient 22 une image brute capturée. On réalise en parallèle 21 une simulation isophotographique de cette scène réelle, qui conduit à une image brute simulée 23. Ces deux images brutes respectivement capturée et simulées 22,23 sont traitées 24 par un processus de développement numérique et de démosaïcage.
Il est à noter que le démosaïcage, aussi connu sous le nom de dématriçage, est une des phases du traitement du signal brut issu du capteur d'un appareil photographique numérique. Il consiste à interpoler les données de chacun des photosites monochromes rouge, vert et bleu composant le capteur électronique pour obtenir une valeur trichrome pour chaque pixel.
La mosaïque de Bayer, comportant une moitié de capteurs à filtre vert disposés en quinconce, séparés par des capteurs à filtre alternativement rouge et bleu, est la disposition la plus courante pour les capteurs couleur. Le démosaïcage ou dématriçage est l'opération de base du traitement de l'image ; il s'accompagne souvent d'opérations correctives. Il se fait dans l'appareil et, si on a enregistré un fichier Raw, avec un logiciel spécialisé, tenant compte des caractéristiques de l'appareil.
Ainsi, en référence à la figure 3, dans le cas d’une photographie couleur (ou d’une iso photographie couleur), l’image Raw est une image en niveau de pixel matricée. Affichée à l’écran, elle apparaît en niveau de gris. Pour former l’image couleur, on peut appliquer un processus connu de dématriçage qui permet d’obtenir une image composée de trois canaux rouge, vert et bleu par pixel.
On applique aux images brutes une courbe gamma et on réalise une balance des blancs. On obtient alors une photographie réelle 25 à comparer avec une photographie prédite 26.
En référence à la figure 4, l’ensemble des étapes de traitement qui viennent d’être décrites pour mettre en œuvre le procédé de génération d’image selon l’invention est réalisé sous la forme d’un algorithme implémenté dans un processeur graphique (GPU) ou un processeur central (CPU). Cet algorithme reçoit des informations d’entrée mesurées, spectrales ou non, polarisées ou non, notamment une ou plusieurs fonctions de diffusion des matériaux, une ou plusieurs réponses des capteurs ou de l’œil, une ou plusieurs fonctions de distribution des sources de lumière.
Cet algorithme implémente un intégrateur stochastique et réalise les opérations suivantes :
- initialisation des chemins,
- génération de rayons primaires spectraux et polarisés pour les chemins inactifs,
- simulation de l’interaction lumière -matière et extension des chemins, - accumulation des chemins terminés sur le capteur virtuel.
L’algorithme de traitement délivre en sortie une image Raw, une image RGB et une image spectrale ou non et polarisée ou non.
Un équipement d’acquisition d’environnements lumineux 1, dédié à la collecte des mesures nécessaires pour la génération d’images de synthèse prédictives d’une scène réelle 6, comprend, en référence à la figure 5, une caméra hyper-spectrale 2 pourvue d’un objectif grand-angle 4 , par exemple de type « Fish-Eye » et fixée à une plateforme motorisée 3 équipée de capteurs de position angulaire (non représentés) et pourvu d’un système de pieds 5. Cet équipement est dénommé dans la suite DSP pour « Digital Spectral Polarimeter ». IL permet l’identification et la quantification de la totalité les informations qui influencent l’intensité des phénomènes de réflexion et de transmission.
L’imagerie hyper-spectrale (HSI) est une technologie qui combine l’imagerie spatiale 2D et la spectroscopie pour fournir des informations détaillées sur la composition d’une cible. Elle permet l’acquisition d’informations spectrales résolues spatialement sous formes de nombreuses bandes de longueurs d’ondes étroites et contiguës. Chaque pixel de l’image résultante contient un spectre complet.
Une des principales méthodes d’acquisition de données hyper-spectrales est la technique connue dite du « pushbroom ». En utilisant une ouverture de fente linéaire et un élément optique diffractif, les informations spectrales peuvent être acquises ligne par ligne au moyen d’un balayage spatial. Traditionnellement la cartographie des images hyper-spectrales est réalisée en déplaçant l’objet ou la caméra en translation. Les informations spatiales et spectrales acquises forment un ensemble de données 3D présentées sous forme d’un cube, souvent appelé « Cube hyper-spectral ». Les dimensions dans ces cubes sont celles de l’espace (axes x et y) et la troisième est la dimension spectrale (z), correspondant à l’intensité lumineuse en fonction de la longueur d’onde.
Pendant le calcul, on réalise une interpolation linéaire entre les points ou les directions d'échantillonnage.
Exemple de réalisation d’un dispositif DSP
Dans un exemple pratique de réalisation d’un dispositif DSP, la caméra hyper spectrale utilisée est commercialisée par la société Resonon (https://resonon.com/hyperspectral-cameras) et le modèle retenu est : PIKA L.
La platine de rotation motorisée utilisée dans cet exemple de réalisation est commercialisée par la société Newport (https://www.newport.com), avec une plage angulaire de 360°, une vitesse maximale de 40°. s 1, et une précision de ± 15 mdeg.
La caméra hyper spectrale, équipée d’un objectif Fish Eye 4 prévu sans aberration chromatique et non polarisant, est composée de deux systèmes optiques distincts :
- un réseau de diffraction permettant la séparation chromatique
- un capteur CCD ou CMOS enregistrant l’information.
Ce première réseau de diffraction est du type par transmission de type VPH (Volume Phase Gratings), qui ne modifie pas la polarisation entrante. Pour de plus amples informations sur ce type de réseau de diffraction, on peut consulter le site suivant https://wasatchphotonics.com/technologies/volume-phase-holographic-gratings/
Le capteur peut être par exemple un capteur CMOS de référence IMX250 commercialisé par SONY. Les lignes de captures spectrales sont entrelacées. (Une ligne avec les filtres -45° et 0° et une seconde avec les filtres 90° et 45°). Un post-traitement spécifique est nécessaire et de fait les dimensions spectrales et spatiales sont divisées par 2 par rapport au système initial.
Connaissant les informations spectrales filtrées en polarisation linéaire, il est possible de déterminer les composantes du vecteur de Stokes nécessaires aux simulations de scène réelle Cependant, les composantes indicatrices des angles de polarisations sont dépendantes des repères dans lesquels elles sont calculées. Ces informations sont ensuite transformées dans un repère fixe.
La rotation de la caméra hyper-spectrale 2 est synchronisée avec les vitesses d’obturation en relation avec les temps d’intégration. La rotation doit être la plus rapide possible afin de diminuer le temps d’intégration et éviter les "flous" de mouvements liés aux objets mobiles de la scène, en restant dans les limites de l’efficacité quantique du capteur.
La dynamique radiométrique d’un environnement naturel peut être très élevée, en particulier en présence du soleil et de zones d’ombre. Pour couvrir l’ensemble de la dynamique de la scène, plusieurs captures consécutives à des vitesses différentes peuvent être nécessaires.
Exemple de réalisation d’un moteur de rendu prédictif
Le moteur de rendu prédictif, dénommé OMEN Render, est un outil logiciel de simulation, totalement spectral et polarisé, développé sur les techniques et architecture informatiques les plus récentes et respectant dans son fonctionnement la totalité des lois de la physique. Sa fonction est de générer des images prédictives, au plus proche de la réalité, de ce que sera le produit à venir. Ce moteur de rendu prédictif est iso-photographique, prédictif et répétable. Il peut intégrer des outils de réalité virtuelle, et implémenter des calculs haute performance (HPC) procurant des temps de calcul de l’ordre de la seconde (avec un cluster de 128 GPU) à comparer avec des temps de plusieurs minutes avec un ordinateur standard.
Le principe général du moteur de rendu prédictif mis en œuvre dans un système de génération d’images de synthèse prédictive selon l’invention est l’acquisition par valeurs ou par bandes de longueur d’onde de séries d’images spectrales fournissant l’intensité et les états de polarisation de la lumière incidente. La répartition spatiale sphérique est liée à l’utilisation d’un objectif grand angle, type fish-eye, produisant des images circulaires. Un ajout de filtres polarisants permet une détermination, par pixel, des vecteurs de Stokes, Ces données physiques sont nécessaires et suffisantes pour caractériser l’éclairement d’un objet dans un environnement réel distant.
Le moteur de rendu prédictif peut tenir compte de nombreux phénomènes optiques, habituellement ignorés dans les moteurs de rendu de l’état de l’art, tels que la dispersion spectrale de l’illuminant, la polarisation.
Les données issues du système DSP permettent un traitement d’image avec un pas de l’ordre du nanomètre. Cette précision garantit aux utilisateurs que les images virtuelles seront des représentations fidèles voire exactes. L’outil de Conception de l’Apparence Assistée par Ordinateur CA20 que permet le procédé de génération d’images de synthèse prédictive, vient avantageusement compléter les outils existantes de CF AO (Conception Fabrication Assistée par ordinateur).
Bien entendu, la présente invention n’est pas limitée aux exemples de réalisation qui viennent d’être décrits et on peut prévoir bien d’autres modes de réalisation sans sortir du cadre de l’invention.

Claims

REVENDICATIONS
1. Procédé pour générer une image de synthèse prédictive d’une scène réelle, comprenant : une ou plusieurs étapes (I) d’acquisition d’environnements lumineux de la scène réelle, comprenant des étapes de mesures physiques en relation avec ladite scène réelle, ces étapes de mesures physiques comprenant une pluralité de prises de vue hyper-spectrales (IC) de la scène réelle, selon une pluralité de positions angulaires. une ou plusieurs étapes de traitement des données de mesure physique, pour délivrer des informations de caractérisation physique de ladite scène réelle, une ou plusieurs étapes (II) de simulation prédictive, exploitant les informations de caractérisation physique, pour délivrer une simulation prédictive tridimensionnelle de ladite scène réelle, avec un rendu physico-réaliste, et agencées pour produire (21) une image brute simulée (23) de la scène réelle, caractérisé en ce qu’il comprend en outre : - une étape préalable (20) pour prendre une photographie de la scène réelle et délivrer sous forme numérique une image brute capturée (22) de ladite scène réelle,
- une étape(24) pour développer numériquement respectivement ladite image brute capturée (22) et ladite image brute simulée (23), agencée pour générer respectivement une photographie réelle (25) et une photographie prédite (26) de ladite scène réelle.
2. Procédé de génération d’image de synthèse selon la revendication précédente, caractérisé en ce que les étapes de traitement des données de mesures physiques comprennent des étapes (IA) pour délivrer une cartographie lumineuse de la scène réelle.
3. Procédé de génération d’image de synthèse selon l’une quelconque des revendications précédentes, caractérisé en ce que les étapes de traitement des données de mesures physiques comprennent des étapes (IC) pour délivrer une réponse spectrale de la scène réelle.
4. Procédé de génération d’image de synthèse selon l’une quelconque des revendications précédentes, caractérisé en ce que les étapes de traitement des données de mesures physiques comprennent des étapes (IB) pour délivrer des fonctions de réflectance relatives à des matériaux impliqués dans la scène réelle.
5. Procédé de génération d’image de synthèse selon l’une quelconque des revendications précédentes, caractérisé en ce que les étapes de simulation prédictive sont spectrales et polarisées.
6. Procédé de génération d’image de synthèse selon l’une quelconque des revendications précédentes, caractérisé en ce que l’étape de développement numérique (24) comprend une étape pour démosaïquer l’image brute capturée (22) et l’image brute simulée (23).
7. Utilisation du procédé de génération d’image de synthèse selon l’une quelconque des revendications précédentes, dans un outil de Conception de l'Apparence Assistée par
Ordinateur.
8. Système pour générer une image de synthèse prédictive d’une scène réelle, pour la mise en œuvre du procédé selon l’une quelconque des revendications 1 à 6, comprenant :
- des moyens (1) pour acquérir des environnements lumineux de la scène réelle, pour délivrer des données de mesures physiques en relation avec ladite scène réelle, lesdits moyens d’acquisition comprenant une caméra hyper-spectrale (2) disposée sur une platine motorisée (3) pour procurer une pluralité de positions angulaires de prise de vue d’une scène réelle (6),
- des moyens de traitement des données de mesure physique, pour délivrer des informations de caractérisation physique de ladite scène réelle,
- des moyens de simulation prédictive, exploitant les informations de caractérisation physique, pour délivrer une simulation prédictive tridimensionnelle de ladite scène réaliste, avec un rendu physico-réaliste, et pour produire une image brute simulée de la scène réelle (6), caractérisé en ce qu’il comprend en outre : des moyens pour prendre une photographie de la scène réelle et délivrer sous forme numérique une image brute capturée de ladite scène réelle, des moyens pour développer numériquement respectivement ladite image brute capturée et ladite image brute simulée, agencés pour générer respectivement une photographie réelle et une photographie prédite de ladite scène réelle.
9. Système de génération d’image de synthèse selon la revendication précédente, caractérisé en ce que les moyens de traitement des données de mesures physiques comprennent des moyens pour délivrer une cartographie lumineuse de la scène réelle (6).
10. Système de génération d’image de synthèse selon l’une quelconque des deux revendications précédentes, caractérisé en ce que les moyens de traitement des données de mesures physiques comprennent des moyens pour délivrer une réponse spectrale de la scène réelle (6).
11. Système de génération d’image de synthèse selon l’une quelconque des trois revendications précédentes, caractérisé en ce que les moyens de traitement des données de mesures physiques comprennent des moyens pour délivrer des fonctions de réflectance relatives à des matériaux impliqués dans la scène réelle.
12. Système de génération d’image de synthèse selon l’une quelconque des quatre revendications précédentes, caractérisé en ce que les moyens optiques de mesures physiques et les moyens de traitement des données de mesures physiques sont intégrés au sein d’un dispositif polarimètre spectral (DSP).
13. Système de génération d’image de synthèse selon l’une des revendications 8 à 12, caractérisé en ce que les moyens de développement numérique comprennent des moyens pour démosaïquer l’image brute capturée et l’image brute simulée.
EP22753724.8A 2021-07-07 2022-07-05 Procede et systeme de generation d'images de synthese predictive, et equipement d'acquisition d'environnements lumineux mis en oeuvre dans ce systeme Pending EP4367599A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2107349A FR3125146B1 (fr) 2021-07-07 2021-07-07 Procédé et système de génération d’images de synthèse prédictive, et équipement d’acquisition d’environnements lumineux mis en œuvre dans ce système
PCT/FR2022/051343 WO2023281207A1 (fr) 2021-07-07 2022-07-05 Procede et systeme de generation d'images de synthese predictive, et equipement d'acquisition d'environnements lumineux mis en oeuvre dans ce systeme

Publications (1)

Publication Number Publication Date
EP4367599A1 true EP4367599A1 (fr) 2024-05-15

Family

ID=77411897

Family Applications (1)

Application Number Title Priority Date Filing Date
EP22753724.8A Pending EP4367599A1 (fr) 2021-07-07 2022-07-05 Procede et systeme de generation d'images de synthese predictive, et equipement d'acquisition d'environnements lumineux mis en oeuvre dans ce systeme

Country Status (3)

Country Link
EP (1) EP4367599A1 (fr)
FR (1) FR3125146B1 (fr)
WO (1) WO2023281207A1 (fr)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116958410A (zh) * 2023-06-15 2023-10-27 湖南视比特机器人有限公司 一种基于相位偏折术的3d相机虚拟环境平台仿真方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9218690B2 (en) * 2012-08-29 2015-12-22 Ge Aviation Systems, Llc Method for simulating hyperspectral imagery
US11188693B2 (en) 2016-10-14 2021-11-30 Optis Method for modeling at least one light source

Also Published As

Publication number Publication date
FR3125146A1 (fr) 2023-01-13
WO2023281207A1 (fr) 2023-01-12
FR3125146B1 (fr) 2023-10-13

Similar Documents

Publication Publication Date Title
Chane et al. Integration of 3D and multispectral data for cultural heritage applications: Survey and perspectives
EP1442425B1 (fr) Procede et systeme pour produire des informations formatees liees aux defauts des appareils
JP4324238B2 (ja) 画像処理システム、方法及び装置
EP1412918B1 (fr) Procede et systeme pour produire des informations formatees liees aux distorsions geometriques
EP3401879B1 (fr) Procédé de modélisation d'un objet tridimensionnel à partir d'images bidimensionnelles de cet objet prises sous différents angles
Huang et al. Near light correction for image relighting and 3D shape recovery
CN108446596A (zh) 基于可见光相机矩阵的虹膜3d四维数据采集系统及方法
EP3356800A1 (fr) Procédé de détermination de la réflectance d'un objet et dispositif associé
EP4367599A1 (fr) Procede et systeme de generation d'images de synthese predictive, et equipement d'acquisition d'environnements lumineux mis en oeuvre dans ce systeme
FR2910648A1 (fr) Procede et dispositif de capture de donnees geometriques
EP3633625B1 (fr) Procede de texturation d'un modele 3d
Webb Optimising Spectral and 3D Imaging for Cultural Heritage Documentation Using Consumer Imaging Systems
Yeh et al. Shape-from-shifting: Uncalibrated photometric stereo with a mobile device
Porral et al. Iso photographic rendering
US20240144591A1 (en) System and method for surface properties reconstruction and positioning of digitized 3d objects
Cheveau 3D Scanning Solution for Textured Object using Photometric Stereo with Multiple Known Light Sources
RU2806729C1 (ru) Система и способ реконструкции свойств поверхности и определения положения оцифрованных 3d объектов
Liscio Crime Scene Photogrammetry
Merzbach et al. High-Quality Multi-Spectral Reflectance Acquisition with X-Rite TAC7.
Castro et al. Extended framework for Multispectral RTI
Walsh et al. 4DRL Report Series 7-Two Sides of the Same Coin: Digitizing the Allard Pierson’s Roman coin collection using cross-polarisation photogrammetry and RTI
TWI232313B (en) Portable frequency spectrum image capturing system
WO2017149248A1 (fr) Appareil de prise de vue stereoscopique
Lanz et al. A versatile multi-camera system for 3D acquisition and modeling
Chen et al. Hyperspectral Neural Radiance Fields

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20240103

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR