EP4165605A1 - Procédé de génération d'images d'une caméra intérieure de véhicule - Google Patents

Procédé de génération d'images d'une caméra intérieure de véhicule

Info

Publication number
EP4165605A1
EP4165605A1 EP21730593.7A EP21730593A EP4165605A1 EP 4165605 A1 EP4165605 A1 EP 4165605A1 EP 21730593 A EP21730593 A EP 21730593A EP 4165605 A1 EP4165605 A1 EP 4165605A1
Authority
EP
European Patent Office
Prior art keywords
individual
image
vehicle
images
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP21730593.7A
Other languages
German (de)
English (en)
Inventor
Martin PETROV
Sonia Yousfi
Paul MENDEZ
Holmer-Geert Grundmann
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Automotive Technologies GmbH
Original Assignee
Continental Automotive Technologies GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive Technologies GmbH filed Critical Continental Automotive Technologies GmbH
Publication of EP4165605A1 publication Critical patent/EP4165605A1/fr
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions

Definitions

  • the present application relates to a method for generating synthetic images, simulating images of individuals acquired by an interior vehicle camera.
  • the application finds an advantageous application in the learning or validation of algorithms for processing images acquired by a vehicle interior camera.
  • Machine learning algorithms require large amounts of training data to be reliable. This is particularly the case for algorithms based on the processing of images acquired by an interior vehicle camera, and oriented towards a driver or a passenger of the vehicle, and which can have various applications such as detection of characteristic points of the face. , detection of drowsiness or distraction, etc.
  • training data that is to say images acquired by an interior vehicle camera, which covers a sufficiently large variety of possible acquisition conditions, because this implies making drive different models of vehicles, under different conditions, with different passengers or drivers, etc.
  • the training database should also include extreme cases, whatever the parameter considered (user position, brightness, level of blur, etc.), that can be difficult to obtain.
  • the constitution of a training database can be extremely time-consuming because each image acquired by a vehicle interior camera must then be manually annotated to identify characteristic points of the image. By considering a manual annotation time of the order of 2 to 4 minutes per image, we can easily measure the cost and the time required. annotation of an image database that may include tens or even hundreds of thousands of images.
  • the aim of the invention is to improve the situation.
  • an aim of the invention is to allow the constitution of a database of images acquired by a vehicle interior camera which is simpler and less expensive.
  • Another object of the invention is to obtain an image database also including extreme cases for the variable parameters.
  • the invention provides a method for generating synthetic images, each image simulating an image of an individual acquired by an interior vehicle camera, the method being implemented by a computer and comprising:
  • each model comprising a three-dimensional representation of an individual's head
  • each configuration corresponding to a combination of values or states taken by each parameter, so that the set of configurations is representative of the probability distribution of each parameter
  • each image corresponds to a configuration generated for a variable parameter, and where each image further includes the three-dimensional positions of a set of characteristic points of the individual's head, and
  • the method further comprises the generation of several vehicle models, and the generation of the images is implemented for each individual model in each vehicle model.
  • the method comprises generating, for each individual model, a set of images comprising an image for each of the configurations generated for each of the variable parameters received.
  • the method further comprises receiving a number N of configurations per individual model, and generating, for each individual model, a set of configurations comprising a total of N configurations for all the variable parameters.
  • the method comprises receiving at least one variable parameter relating to the camera from the group consisting of:
  • the method comprises receiving at least one variable parameter relating to a position of the individual relative to a seat of the vehicle and / or at least one variable parameter relating to the environment of the vehicle. model of the individual, including:
  • the method further comprises:
  • the subject of the invention is also a method for learning or validating an algorithm based on processing of an image acquired by an interior vehicle camera, comprising:
  • Another subject of the invention is the use of a database of images generated by the implementation of the method according to the above description for the learning or validation of an algorithm based on a processing. of an image acquired by a vehicle interior camera.
  • the invention also relates to a computer program product, comprising code instructions for implementing the methods according to the above description, when executed by a computer.
  • the invention finally relates to a device for generating synthetic images simulating images of individuals acquired by an interior vehicle camera, comprising a computer and a memory, in which the computer is configured for the implementation. methods according to the above description.
  • the proposed invention makes it possible to artificially generate an image database where each image simulates an image taken by an interior vehicle camera.
  • the images of the image database represent several models of individuals, in variable contexts obtained by varying different parameters according to distribution probabilities. This allows the image database to be representative of all the configurations and their probabilities of occurrence.
  • the images generated already include, thanks to the models of individuals which are three-dimensional models of faces, three-dimensional positions of characteristic points of the head of the individual represented. It is therefore not necessary to carry out a manual annotation of each image, which represents a significant saving of time.
  • FIG. 1 schematically represents an example of implementation of a method for generating synthetic images.
  • FIG. 2 represents an example of a synthetic image generated by the implementation of the method.
  • a computer 1 which may for example be a processor, a microprocessor, a controller, a microcontroller, etc.
  • This method makes it possible to quickly generate a large quantity of synthetic images, where each synthetic image represents the head of an individual in a vehicle, and simulates an image which would have been taken of the individual by an interior camera. vehicle.
  • the images are generated by varying numerous parameters, in order to enrich the image database thus obtained.
  • the method comprises a generation 100 of a plurality of models of individuals, also called avatars.
  • Each individual model includes a three-dimensional representation of an individual's head. More specifically, each individual model can include a three-dimensional point cloud, corresponding to the contours of the head and face, and a texture applied to the point cloud, simulating the appearance of the individual's head, that is to say an image the points of which are associated with a color or a level of intensity allowing, once applied to the contours of the head, to give the head a human appearance.
  • At least ten, and preferably several dozen different individual models are generated.
  • the models of individuals are generated by varying a set of parameters comprising all or part of the following parameters:
  • the method also includes generating 110 multiple vehicle models, each vehicle model including a three-dimensional representation of the interior of a vehicle cabin. This makes it possible to generate images of the models of individuals in the various vehicle models.
  • the method then includes receiving 200 of a set of variable parameters and a probability distribution associated with each parameter.
  • the parameters can be selected by a user. It is understood by "variable parameter" that each parameter can take a plurality of values or states.
  • a variable parameter can correspond to a continuous or discrete quantity.
  • the parameters received relate to at least one of the environment of the individual model, the pose of the individual, that is to say the orientation of the head of the individual, or the position of the individual relative to his environment, that is to say to the vehicle in which he is located, and more particularly the position of the head of the individual relative to the seat of the vehicle in which it is located.
  • the parameters relating to the environment of the individual model may include parameters relating to the interior camera of the vehicle, including in particular:
  • the level of blur which may include a level of blur associated with each shot of the camera (foreground where the individual is located and background),
  • the parameters relating to the environment of the individual model can also include the environment outside the vehicle, which is visible through the windows of the vehicle which can appear on an image acquired by an interior camera, depending on its position and orientation .
  • the parameters relating to the environment of the model of the individual may also include the light intensity and / or the direction of the light illuminating the scene acquired by the interior camera. These parameters are notably variable depending on the time of day or night, and the meteorological conditions considered.
  • the probability distribution associated with each parameter can also be selected or configured by the user.
  • the probability distributions can for example be Gaussian or uniform as a function of the parameters considered.
  • the method can also comprise the reception 210 of a movement or of a series of movements that each model of individual must achieve, which can be indicated by the user.
  • This step can also be implemented during the step 100 for generating the avatar model, if it is the avatar generation algorithm which has this functionality.
  • the movement or sequence of movements to be performed for an individual can be defined by an initial position (for example orientation of the head of the individual according to three angles), a final position, a speed of movement between the initial position and the final position.
  • Step 210 may also include receiving the number of times the movement has been performed in a video.
  • the method then comprises the generation 300 of a set of configurations, each configuration corresponding to a combination of values or states taken by each of the variable parameters received.
  • a first configuration can include:
  • a second configuration can include:
  • the configurations are generated by varying each parameter according to its associated probability distribution, so that the set of configurations is representative of the probability distribution of each parameter.
  • the set of configurations obtained can for example take the form of a configuration file, where each configuration is defined by the value or the state taken by each parameter.
  • the method comprises the reception 220 of a number N of configurations to be generated, and the generation of the configurations therefore comprises the generation of a total of N configurations, for all of the variable parameters received.
  • the number N can be defined by the user as a function of the quantity of images which he seeks to produce at the end of the method, which also depends on the number of models of individuals and of the number of models of vehicle.
  • the method then comprises the generation 400, for each individual model, of a set of images simulating images of the individual model acquired by a camera inside the vehicle, where each image corresponds to one of the generated configurations.
  • the method comprises generating, for each individual model, and for each vehicle model, a set of images comprising an image for each of the generated configurations. A total number of images is therefore obtained equal to the number N of configurations, multiplied by the number of models of individuals, or multiplied by the number of models of individuals and the number of models of vehicle.
  • each individual model comprises a set of three-dimensional points corresponding to the characteristic points of the head and of the face, the positions of these points are known, which allows each image generated to also include the positions said characteristic points of the individual's head on the image.
  • An example of an image where the positions of characteristic points of the individual's face are highlighted is shown in figure 2. In this way, there is no need to manually annotate the images for later use. .
  • the method can comprise, for at least one configuration, or for several, or even all of the configurations, the generation 410 of a video representing the series of movements performed by the individual model, and the generation of all the images that compose it.
  • the method comprises recording 500, in memory 2, of all of the images (and the positions of the associated characteristic points) and of the videos, so as to form a rich database comprising several models of 'individuals, in several vehicle models, and with very varied parameters, including in particular extreme values of parameters.
  • this database can then be used directly for the learning, or the validation, of an algorithm based on a processing of an image acquired by an interior vehicle camera, in particular an algorithm of machine learning.
  • the user can determine the variable parameters useful to provide for the implementation of the method.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)

Abstract

L'invention propose un procédé de génération d'images de synthèse, chaque image simulant une image d'un individu acquise par une caméra intérieure de véhicule, comprenant : - la génération d'une pluralité de modèles d'individus, chaque modèle comprenant une représentation en trois dimensions d'une tête d'un individu, - la réception d'un ensemble de paramètres variables et d'une distribution de probabilités associée à chaque paramètre, les paramètres étant relatifs à au moins l'un de l'environnement du modèle d'individu, la pose ou la position du modèle d'individu relativement à son environnement, - la génération d'un ensemble de configurations, chaque configuration correspondant à une combinaison de valeurs ou d'états pris par chaque paramètre, de telle sorte que l'ensemble des configurations soit représentatif de la distribution de probabilité de chaque paramètre, - la génération, pour chaque modèle d'individu, d'un ensemble d'images simulant des images du modèle d'individu acquise par une caméra intérieure de véhicule, où chaque image correspond à une configuration générée pour un paramètre variable, et où chaque image comprend en outre les positions en trois dimensions d'un ensemble de points caractéristiques de la tête de l'individu, et - l'enregistrement de toutes les images dans une mémoire.

Description

Description
Titre : Procédé de génération d’images d’une caméra intérieure de véhicule
Domaine technique [0001] La présente demande concerne un procédé de génération d’images de synthèse, simulant des images d’individus acquises par une caméra intérieure de véhicule. La demande trouve une application avantageuse dans l’apprentissage ou la validation d’algorithmes de traitement d’images acquises par une caméra intérieure de véhicule. Technique antérieure
[0002] Les algorithmes d’apprentissage automatique nécessitent, pour être fiables, des quantités importantes de données d’entrainement. C’est notamment le cas pour des algorithmes basés sur le traitement d’images acquises par une caméra intérieure de véhicule, et orientée vers un conducteur ou un passager du véhicule, et qui peuvent avoir des applications diverses telles que détection des points caractéristiques du visage, détection de somnolence ou de distraction, etc.
[0003] Il peut être difficile d’obtenir des données d’entrainement, c’est-à-dire des images acquises par une caméra intérieure de véhicule, qui couvre suffisamment grande diversité des conditions d’acquisition possible, car cela implique de faire circuler différents modèles de véhicules, dans différentes conditions, avec différents passagers ou conducteurs, etc. De plus, pour entraîner ou valider de tels algorithmes, il convient aussi que la base de données d’apprentissage comprennent des cas extrêmes, quel que soit le paramètre considéré (position de l’utilisateur, luminosité, niveau de flou, etc.), qui peuvent être difficiles à obtenir. [0004] De plus, la constitution d’une base de données d’entrainement peut être extrêmement chronophage car chaque image acquise par une caméra intérieure de véhicule doit ensuite être manuellement annotée pour identifier des points caractéristiques de l’image. En considérant un temps d’annotation manuel de l’ordre de 2 à 4 minutes par image, on mesure facilement le coût et le temps nécessaires à l’annotation d’une base de données d’images pouvant comprendre des dizaines, voire des centaines de milliers d’images.
Résumé
[0005] L’invention a pour but d’améliorer la situation. En particulier, un but de l’invention est de permettre la constitution d’une base de données d’images acquises par une caméra intérieure de véhicule plus simple et moins coûteuse.
[0006] Un autre but de l’invention est d’obtenir une base de données d’image incluant également des cas extrêmes pour les paramètres variables.
[0007] A cet égard, l’invention propose un procédé de génération d’images de synthèse, chaque image simulant une image d’un individu acquise par une caméra intérieure de véhicule, le procédé étant mis en oeuvre par un calculateur et comprenant :
- la génération d’une pluralité de modèles d’individus, chaque modèle comprenant une représentation en trois dimensions d’une tête d’un individu,
- la réception d’un ensemble de paramètres variables et d’une distribution de probabilités associée à chaque paramètre, les paramètres étant relatifs à au moins l’un de l’environnement du modèle d’individu, la pose ou la position du modèle d’individu relativement à son environnement,
- la génération d’un ensemble de configurations, chaque configuration correspondant à une combinaison de valeurs ou d’états pris par chaque paramètre, de telle sorte que l’ensemble des configurations soit représentatif de la distribution de probabilité de chaque paramètre,
- la génération, pour chaque modèle d’individu, d’un ensemble d’images simulant des images du modèle d’individu acquise par une caméra intérieure de véhicule, où chaque image correspond à une configuration générée pour un paramètre variable, et où chaque image comprend en outre les positions en trois dimensions d’un ensemble de points caractéristiques de la tête de l’individu, et
- l’enregistrement de toutes les images dans une mémoire. [0008] Dans un mode de réalisation, le procédé comprend en outre la génération de plusieurs modèles de véhicules, et la génération des images est mise en oeuvre pour chaque modèle d’individu dans chaque modèle de véhicule.
[0009] Dans un mode de réalisation, le procédé comprend la génération, pour chaque modèle d’individu, d’un ensemble d’images comprenant une image pour chacune des configurations générées pour chacun des paramètres variables reçus.
[0010] Dans un mode de réalisation, le procédé comprend en outre la réception d’un nombre N de configurations par modèle d’individu, et la génération, pour chaque modèle d’individu, d’un ensemble de configurations comprenant un total de N configurations pour l’ensemble des paramètres variables.
[0011] Dans un mode de réalisation, le procédé comprend la réception d’au moins un paramètre variable concernant la caméra parmi le groupe consistant en :
- position et/ou orientation de la caméra,
- niveau de contraste,
- niveau de flou,
- exposition de la caméra,
- niveau de bruit.
[0012] Dans un mode de réalisation, le procédé comprend la réception d’au moins un paramètre variable concernant une position de l’individu par rapport à un siège du véhicule et/ou d’au moins un paramètre variable concernant l’environnement du modèle d’individu, incluant :
- intensité lumineuse et/ou direction de la lumière,
- environnement à l’extérieur du véhicule.
[0013] Dans un mode de réalisation, le procédé comprend en outre :
- la réception, pour chaque modèle d’individu, d’au moins un mouvement effectué par le modèle d’individu,
- la génération, pour au moins une configuration des paramètres variables, d’une vidéo représentant le modèle d’individu effectuant le mouvement, et
- l’enregistrement dans la mémoire de ladite vidéo et de chaque image composant ladite vidéo. [0014] L’invention a également pour objet un procédé d’apprentissage ou de validation d’un algorithme basé sur un traitement d’une image acquise par une caméra intérieure de véhicule, comprenant :
- la détermination, d’un ensemble de paramètres variables et d’une distribution de probabilités associée à chaque paramètre variable,
- la création d’une base de données d’images où chaque image de synthèse où chaque image simule une image d’un individu acquise par une caméra intérieure de véhicule et comprend en outre des positions de trois dimensions de points caractéristiques du visage de l’individu, par la mise en oeuvre du procédé selon l’une des revendications précédentes, et
- l’apprentissage ou la validation de l’algorithme sur la base de données d’images ainsi créée.
[0015] L’invention a également pour objet l’utilisation d’une base de données d’images générées par la mise en oeuvre du procédé selon la description qui précède pour l’apprentissage ou la validation d’un algorithme basé sur un traitement d’une image acquise par une caméra intérieure de véhicule.
[0016] L’invention porte également sur un produit programme d’ordinateur, comprenant des instructions de code pour la mise en oeuvre des procédés selon la description qui précède, lorsqu’il est exécuté par un calculateur.
[0017] L’invention porte enfin sur un dispositif de génération d’images de synthèse simulant des images d’individus acquises par une caméra intérieure de véhicule, comprenant un calculateur et une mémoire, dans lequel le calculateur est configuré pour la mise en oeuvre des procédés selon la description qui précède.
[0018] L’invention proposée permet de générer artificiellement une base de données d’images où chaque image simule une image prise par une caméra intérieure de véhicule. Les images de la base de données d’images représentent plusieurs modèles d’individus, dans des contextes variables obtenus en faisant varier différents paramètres selon des probabilités de distribution. Ceci permet que la base de données d’images soit représentative de toutes les configurations et de leurs probabilités d’occurrence. [0019] En outre, les images générées comprennent déjà, grâce aux modèles d’individus qui sont des modèles en trois dimensions de visages, des positions en trois dimensions de points caractéristiques de la tête de l’individu représenté. Il n’est donc pas nécessaire de procéder à une annotation manuelle de chaque image, ce qui représente un gain de temps important.
Brève description des dessins
[0020] D’autres caractéristiques, détails et avantages apparaîtront à la lecture de la description détaillée ci-après, et à l’analyse des dessins annexés, sur lesquels :
[Fig. 1] représente schématiquement un exemple de mise en oeuvre d’un procédé de génération d’images de synthèse.
[Fig. 2] représente un exemple d’image de synthèse générée par la mise en oeuvre du procédé.
Description des modes de réalisation
[0021] En référence à la figure 1 , le procédé de génération d’images de synthèse est mis en oeuvre par un calculateur 1 pouvant être par exemple un processeur, un microprocesseur, un contrôleur, un microcontrôleur, etc.
[0022] Ce procédé permet de générer rapidement une grande quantité d’images de synthèse, ou chaque image de synthèse représente la tête d’un individu dans un véhicule, et simule une image qui aurait été prise de l’individu par une caméra intérieure de véhicule. Comme décrit plus en détails ci-après, les images sont générées en faisant varier de nombreux paramètres, afin d’enrichir la base de données d’images ainsi obtenue.
[0023] Le procédé comprend une génération 100 d’une pluralité de modèles d’individus, également appelés avatars. Chaque modèle d’individu comprend une représentation en trois dimensions de la tête d’un individu. Plus précisément, chaque modèle d’individu peut comprendre un nuage de points en trois dimensions, correspondants aux contours de la tête et du visage, et une texture appliquée sur le nuage de points, simulant l’apparence de la tête de l’individu, c’est-à-dire une image dont les points sont associés à une couleur ou un niveau d’intensité permettant, une fois plaquée sur les contours de la tête, de donner à la tête une apparence humaine.
[0024] Dans un mode de réalisation, au moins dix, et de préférence plusieurs dizaines de modèles d’individus différents sont générés.
[0025] De plus, les modèles d’individus sont générés en faisant varier un ensemble de paramètres comprenant tout ou partie des paramètres suivants :
- genre,
- ethnicité,
- présence d’accessoires sur la tête (bijoux, lunettes, etc.),
- caractéristiques du visage (taille du visage et de ses composants, présence ou non d’une barbe, oreilles plus ou moins décollées, etc.),
- caractéristiques capillaires,
- âge.
[0026] La génération de modèles d’individus peut être mise en oeuvre par exécution d’algorithmes connus ou accessibles de l’Homme du métier. Par exemple, on pourra se référer au document US20170069124, qui enseigne également l’animation des modèles d’individus créés, ou encore au logiciel StyleGAN développé par NVidia.
[0027] Dans un mode de réalisation, le procédé comprend également la génération 110 de plusieurs modèles de véhicule, chaque modèle de véhicule comprenant une représentation en trois dimensions de l’intérieur d’un habitacle d’un véhicule. Ceci permet de générer des images des modèles d’individus dans les différents modèles de véhicule.
[0028] Le procédé comprend ensuite la réception 200 d’un ensemble de paramètres variables et d’une distribution de probabilité associée à chaque paramètre. Les paramètres peuvent être sélectionnés par un utilisateur. Il est entendu par « paramètre variable » que chaque paramètre peut prendre une pluralité de valeurs ou d’états. Un paramètre variable peut correspondre à une grandeur continue ou discrète.
[0029] De préférence, les paramètres reçus sont relatifs à au moins l’un de l’environnement du modèle d’individu, la pose de l’individu, c’est-à-dire l’orientation de la tête de l’individu, ou la position de l’individu relativement à son environnement, c’est-à-dire au véhicule dans lequel il se trouve, et plus particulièrement la position de la tête de l’individu par rapport au siège du véhicule sur lequel il se trouve.
[0030] En particulier, les paramètres concernant l’environnement du modèle d’individu peuvent comprendre des paramètres concernant la caméra intérieure du véhicule, dont notamment :
- la position et/ou l’orientation de la caméra,
- son niveau de contraste,
- le niveau de flou, pouvant inclure un niveau de flou associé à chaque plan de la caméra (premier plan où l’individu se trouve et arrière-plan),
- exposition de la caméra,
- niveau de bruit.
[0031] Les paramètres concernant l’environnement du modèle d’individu peuvent également comprendre l’environnement extérieur du véhicule, qui est visible au travers des vitres du véhicule pouvant apparaître sur une image acquise par une caméra intérieure, selon sa position et son orientation.
[0032] Les paramètres concernant l’environnement du modèle d’individu peuvent également comprendre l’intensité lumineuse et/ou la direction de la lumière éclairant la scène acquise par la caméra intérieure. Ces paramètres sont notamment variables en fonction de l’heure de la journée ou de la nuit, et des conditions météorologiques considérées.
[0033] La distribution de probabilité associée à chaque paramètre peut également être sélectionnée ou configurée par l’utilisateur. Les distributions de probabilités peuvent par exemple être gaussiennes ou uniformes en fonction des paramètres considérés.
[0034] Dans un mode de réalisation, le procédé peut également comprendre la réception 210 d’un mouvement ou d’une suite de mouvements que chaque modèle d’individu doit réaliser, qui peut être indiqué par l’utilisateur. Cette étape peut également être mise en oeuvre lors de l’étape 100 de génération de modèle d’avatar, si c’est l’algorithme de génération d’avatar qui présente cette fonctionnalité. Le mouvement ou la suite de mouvements à réaliser pour un individu peut être défini par une position initiale (par exemple orientation de la tête de l’individu selon trois angles), une position finale, une vitesse de mouvement entre la position initiale et la position finale. L’étape 210 peut également comprendre la réception du nombre de réalisations du mouvement dans une vidéo.
[0035] Le procédé comprend ensuite la génération 300 d’un ensemble de configurations, chaque configuration correspondant à une combinaison de valeurs ou d’états pris par chacun des paramètres variables reçus.
[0036] A titre d’exemple purement schématique, si les paramètres comprennent un niveau de luminosité, un type d’environnement du véhicule, et une position de l’individu par rapport au siège, une première configuration peut comprendre :
- un niveau de luminosité élevé,
- un environnement extérieur urbain,
- une position basse de l’individu par rapport au siège.
[0037] Une deuxième configuration peut comprendre :
- un niveau de luminosité élevé,
- un environnement extérieur rural,
- une position haute de l’individu par rapport au siège.
[0038] De plus, les configurations sont générées en faisant varier chaque paramètre selon sa distribution de probabilité associée, de sorte que l’ensemble des configurations soit représentatif de la distribution de probabilité de chaque paramètre.
[0039] L’ensemble de configurations obtenu peut par exemple prendre la forme d’un fichier de configurations, où chaque configuration est définie par la valeur ou l’état pris par chaque paramètre.
[0040] Dans un mode de réalisation, le procédé comprend la réception 220 d’un nombre N de configurations à générer, et la génération des configurations comprend donc la génération d’un total de N configurations, pour l’ensemble des paramètres variables reçus. Le nombre N peut être défini par l’utilisateur en fonction de la quantité d’images qu’il cherche à produire à l’issue du procédé, qui dépend également du nombre de modèles d’individus et du nombre de modèles de véhicule. [0041] Le procédé comprend ensuite la génération 400, pour chaque modèle d’individu, d’un ensemble d’images simulant des images du modèle d’individu acquise par une caméra intérieur du véhicule, où chaque image correspond à l’une des configurations générées. Dans un mode de réalisation, le procédé comprend la génération, pour chaque modèle d’individu, et pour chaque modèle de véhicule, d’un ensemble d’images comprenant une image pour chacune des configurations générées. On obtient donc un nombre total d’images égal au nombre N de configurations, multiplié par le nombre de modèles d’individus, ou multiplié par le nombre de modèles d’individus et le nombre de modèles de véhicule.
[0042] De plus, puisque chaque modèle d’individu comprend un ensemble de points en trois dimensions correspondant aux points caractéristiques de la tête et du visage, les positions de ces points sont connues, ce qui permet que chaque image générée comprenne également les positions desdits points caractéristiques de la tête de l’individu sur l’image. Un exemple d’une image où les positions des points caractéristiques du visage de l’individu sont mises en évidence est montré en figure 2. De cette façon, il n’est pas nécessaire de procéder à une annotation manuelle des images pour une utilisation ultérieure.
[0043] Dans le cas où un utilisateur a indiqué une suite de mouvements que chaque modèle d’individu doit réaliser, le procédé peut comprendre, pour au moins une configuration, ou pour plusieurs, voire toutes les configurations, la génération 410 d’une vidéo représentant la suite de mouvements effectué par le modèle d’individu, et la génération de l’ensemble des images qui la composent.
[0044] Enfin, le procédé comprend l’enregistrement 500, dans la mémoire 2, de l’ensemble des images (et les positions des points caractéristiques associées) et des vidéos, de manière à former une base de données riche comprenant plusieurs modèles d’individus, dans plusieurs modèles de véhicules, et avec des paramètres très variés, incluant notamment des valeurs extrêmes de paramètres.
[0045] Une fois cette base de données constituée, elle peut ensuite être utilisée directement pour l’apprentissage, ou la validation, d’un algorithme basé sur un traitement d’une image acquise par une caméra intérieure de véhicule, notamment un algorithme d’apprentissage automatique. [0046] Dans un mode de réalisation, en fonction de l’utilisation que l’on souhaite faire d’une base de données, par exemple, mais non limitativement, la validation d’un algorithme dans certaines conditions particulières, l’utilisateur peut déterminer les paramètres variables utiles à fournir pour la mise en oeuvre du procédé.

Claims

Revendications
[Revendication 1] Procédé de génération d’images de synthèse, chaque image simulant une image d’un individu acquise par une caméra intérieure de véhicule, le procédé étant mis en œuvre par un calculateur (1 ) et comprenant :
- la génération (100) d’une pluralité de modèles d’individus, chaque modèle comprenant une représentation en trois dimensions d’une tête d’un individu,
- la réception (200) d’un ensemble de paramètres variables et d’une distribution de probabilités associée à chaque paramètre, les paramètres étant relatifs à au moins l’un de l’environnement du modèle d’individu, la pose ou la position du modèle d’individu relativement à son environnement,
- la génération (300) d’un ensemble de configurations, chaque configuration correspondant à une combinaison de valeurs ou d’états pris par chaque paramètre, de telle sorte que l’ensemble des configurations soit représentatif de la distribution de probabilité de chaque paramètre,
- la génération (400), pour chaque modèle d’individu, d’un ensemble d’images simulant des images du modèle d’individu acquise par une caméra intérieure de véhicule, où chaque image correspond à une configuration générée pour un paramètre variable, et où chaque image comprend en outre les positions en trois dimensions d’un ensemble de points caractéristiques de la tête de l’individu, et
- l’enregistrement (500) de toutes les images dans une mémoire (2).
[Revendication 2] Procédé selon la revendication 1 , comprenant en outre la génération (110) de plusieurs modèles de véhicules, et la génération des images est mise en œuvre pour chaque modèle d’individu dans chaque modèle de véhicule.
[Revendication 3] Procédé selon l’une quelconque des revendications 1 ou 2, comprenant la génération (400), pour chaque modèle d’individu, d’un ensemble d’images comprenant une image pour chacune des configurations générées pour chacun des paramètres variables reçus.
[Revendication 4] Procédé selon l’une quelconque des revendications 1 à 3, comprenant en outre la réception (220) d’un nombre N de configurations par modèle d’individu, et la génération (300), pour chaque modèle d’individu, d’un ensemble de configurations comprenant un total de N configurations pour l’ensemble des paramètres variables.
[Revendication 5] Procédé selon l’une quelconque des revendications 1 à 3, comprenant la réception d’au moins un paramètre variable concernant la caméra parmi le groupe consistant en :
- position et/ou orientation de la caméra,
- niveau de contraste,
- niveau de flou,
- exposition de la caméra,
- niveau de bruit.
[Revendication 6] Procédé selon l’une quelconque des revendications 1 à 5, comprenant la réception d’au moins un paramètre variable concernant une position de l’individu par rapport à un siège du véhicule et/ou d’au moins un paramètre variable concernant l’environnement du modèle d’individu, incluant :
- intensité lumineuse et/ou direction de la lumière,
- environnement à l’extérieur du véhicule.
[Revendication 7] Procédé selon l’une quelconque des revendications précédentes, comprenant en outre :
- la réception (210), pour chaque modèle d’individu, d’au moins un mouvement effectué par le modèle d’individu,
- la génération (410), pour au moins une configuration des paramètres variables, d’une vidéo représentant le modèle d’individu effectuant le mouvement, et
- l’enregistrement (500) dans la mémoire (2) de ladite vidéo et de chaque image composant ladite vidéo.
[Revendication 8] Procédé d’apprentissage ou de validation d’un algorithme basé sur un traitement d’une image acquise par une caméra intérieure de véhicule, comprenant :
- la détermination, d’un ensemble de paramètres variables et d’une distribution de probabilités associée à chaque paramètre variable,
- la création d’une base de données d’images où chaque image de synthèse où chaque image simule une image d’un individu acquise par une caméra intérieure de véhicule et comprend en outre des positions de trois dimensions de points caractéristiques du visage de l’individu, par la mise en œuvre du procédé selon l’une des revendications précédentes, et
- l’apprentissage ou la validation de l’algorithme sur la base de données d’images ainsi créée.
[Revendication 9] Utilisation d’une base de données d’images générées par la mise en œuvre du procédé selon l’une quelconque des revendications 1 à 7 pour l’apprentissage ou la validation d’un algorithme basé sur un traitement d’une image acquise par une caméra intérieure de véhicule.
[Revendication 10] Produit programme d’ordinateur, comprenant des instructions de code pour la mise en œuvre du procédé selon l’une quelconque des revendications précédentes, lorsqu’il est exécuté par un calculateur (1).
[Revendication 11] Dispositif de génération d’images de synthèse simulant des images d’individus acquises par une caméra intérieure de véhicule, comprenant un calculateur (1 ) et une mémoire (2), dans lequel le calculateur (1 ) est configuré pour la mise en œuvre du procédé selon l’une quelconque des revendications 1 à 7.
EP21730593.7A 2020-06-16 2021-06-07 Procédé de génération d'images d'une caméra intérieure de véhicule Pending EP4165605A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2006233A FR3111460B1 (fr) 2020-06-16 2020-06-16 Procédé de génération d’images d’une caméra intérieure de véhicule
PCT/EP2021/065160 WO2021254805A1 (fr) 2020-06-16 2021-06-07 Procédé de génération d'images d'une caméra intérieure de véhicule

Publications (1)

Publication Number Publication Date
EP4165605A1 true EP4165605A1 (fr) 2023-04-19

Family

ID=73138891

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21730593.7A Pending EP4165605A1 (fr) 2020-06-16 2021-06-07 Procédé de génération d'images d'une caméra intérieure de véhicule

Country Status (5)

Country Link
US (1) US20230230359A1 (fr)
EP (1) EP4165605A1 (fr)
CN (1) CN115769267A (fr)
FR (1) FR3111460B1 (fr)
WO (1) WO2021254805A1 (fr)

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5161204A (en) * 1990-06-04 1992-11-03 Neuristics, Inc. Apparatus for generating a feature matrix based on normalized out-class and in-class variation matrices
US8422797B2 (en) * 2009-07-01 2013-04-16 Honda Motor Co., Ltd. Object recognition with 3D models
US9437011B2 (en) * 2012-06-11 2016-09-06 Samsung Electronics Co., Ltd. Method and apparatus for estimating a pose of a head for a person
US9665800B1 (en) * 2012-10-21 2017-05-30 Google Inc. Rendering virtual views of three-dimensional (3D) objects
US9418467B2 (en) * 2012-12-21 2016-08-16 Honda Motor Co., Ltd. 3D human models applied to pedestrian pose classification
WO2016161553A1 (fr) 2015-04-07 2016-10-13 Intel Corporation Génération et animations d'avatars
US10068385B2 (en) * 2015-12-15 2018-09-04 Intel Corporation Generation of synthetic 3-dimensional object images for recognition systems
EP3427187A1 (fr) * 2016-03-11 2019-01-16 Siemens Mobility GmbH Exploration de caractéristiques basée sur l'apprentissage profond pour une recherche d'image de détection 2,5d
US9760827B1 (en) * 2016-07-22 2017-09-12 Alpine Electronics of Silicon Valley, Inc. Neural network applications in resource constrained environments
US10163003B2 (en) * 2016-12-28 2018-12-25 Adobe Systems Incorporated Recognizing combinations of body shape, pose, and clothing in three-dimensional input images
DE112017007252T5 (de) * 2017-03-14 2019-12-19 Omron Corporation Fahrerüberwachungsvorrichtung, fahrerüberwachungsverfahren, lernvorrichtung und lernverfahren
US10692000B2 (en) * 2017-03-20 2020-06-23 Sap Se Training machine learning models
US10235601B1 (en) * 2017-09-07 2019-03-19 7D Labs, Inc. Method for image analysis
US10867214B2 (en) * 2018-02-14 2020-12-15 Nvidia Corporation Generation of synthetic images for training a neural network model
US10776642B2 (en) * 2019-01-25 2020-09-15 Toyota Research Institute, Inc. Sampling training data for in-cabin human detection from raw video
WO2020231401A1 (fr) * 2019-05-13 2020-11-19 Huawei Technologies Co., Ltd. Réseau neuronal pour une estimation de pose de tête et de regard utilisant des données synthétiques photoréalistes
US11487968B2 (en) * 2019-12-16 2022-11-01 Nvidia Corporation Neural network based facial analysis using facial landmarks and associated confidence values
US20210390767A1 (en) * 2020-06-11 2021-12-16 Microsoft Technology Licensing, Llc Computing images of head mounted display wearer

Also Published As

Publication number Publication date
FR3111460A1 (fr) 2021-12-17
WO2021254805A1 (fr) 2021-12-23
CN115769267A (zh) 2023-03-07
FR3111460B1 (fr) 2023-03-31
US20230230359A1 (en) 2023-07-20

Similar Documents

Publication Publication Date Title
WO2011015928A2 (fr) Procede de traitement d'image pour corriger une image cible en fonction d'une image de reference et dispositif de traitement d'image correspondant
CN111612891A (zh) 模型生成方法、点云数据处理方法、装置、设备及介质
EP4046129B1 (fr) Procédé de fabrication
CN115131492A (zh) 目标对象的重光照方法、装置及存储介质和背景替换方法
EP3614306A1 (fr) Procédé de localisation et d'identification de visage et de détermination de pose, à partir d'une vue tridimensionnelle
EP3582141A1 (fr) Procédé d'apprentissage de paramètres d'un réseau de neurones à convolution
EP4165605A1 (fr) Procédé de génération d'images d'une caméra intérieure de véhicule
WO2019129985A1 (fr) Procede de formation d'un reseau de neurones pour la reconnaissance d'une sequence de caracteres et procede de reconnaissance associe
DE112022002137T5 (de) Hybrides differenzierbares Rendering für Lichttransportsimulationssysteme und -Anwendungen
EP4042319A1 (fr) Procédé de reconnaissance d'objets à représentativité augmentée
EP3929809A1 (fr) Procédé de détection d'au moins un trait biométrique visible sur une image d entrée au moyen d'un réseau de neurones à convolution
WO2011089517A1 (fr) Procede et dispositif de reconnaissance de visages en conditions de poses variables
WO2021116635A1 (fr) Procede et systeme de generation de modeles numeriques 3d
FR3059806B1 (fr) Procede d'obtention d'un systeme de labellisation d'images, programme d'ordinateur et dispositif correspondants, systeme de labellisation d'images
CA3161385A1 (fr) Procede de segmentation d'une image d'entree representant un document comportant des informations structurees
CA2439867A1 (fr) Procede et dispositif de reperage d'un objet par sa forme, sa dimension et/ou son orientation
US20230055204A1 (en) Generating colorized digital images utilizing a re-colorization neural network with local hints
FR3126253A1 (fr) Procédé pour normaliser la variabilité d’une image, application de ce procédé à la détection d’anomalie et système d’inspection visuelle implémentant cette détection
WO2022171960A1 (fr) Procédé d'apprentissage d'un système d'apprentissage automatique pour la détection et la modélisation d'un objet dans une image, produit programme d'ordinateur et dispositif correspondant
Pisarek Manipulation of cognitive image properties
WO2023161531A1 (fr) Système et procédé de segmentation d'image semi-automatique par apprentissage à boucle d'interaction utilisateur et procédé d'entraînement associé
FR3128015A1 (fr) Système d’aide à la navigation d’un véhicule.
EP4207077A1 (fr) Correction d'artefacts de reconstructions tomographiques par reseaux de neurones
Schmitt Content-based image enhancement for eye fundus images visualization
Yoon et al. FRAG: Frequency Adapting Group for Diffusion Video Editing

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20230116

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
RAP3 Party data changed (applicant data changed or rights of an application transferred)

Owner name: CONTINENTAL AUTOMOTIVE TECHNOLOGIES GMBH