FR3116977A1 - Dispositif de compensation du mouvement d’un capteur événementiel, systèmes et procédés associés - Google Patents
Dispositif de compensation du mouvement d’un capteur événementiel, systèmes et procédés associés Download PDFInfo
- Publication number
- FR3116977A1 FR3116977A1 FR2012539A FR2012539A FR3116977A1 FR 3116977 A1 FR3116977 A1 FR 3116977A1 FR 2012539 A FR2012539 A FR 2012539A FR 2012539 A FR2012539 A FR 2012539A FR 3116977 A1 FR3116977 A1 FR 3116977A1
- Authority
- FR
- France
- Prior art keywords
- unit
- event sensor
- compensation
- movement
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 90
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000011156 evaluation Methods 0.000 claims description 70
- 238000005259 measurement Methods 0.000 claims description 37
- 238000012545 processing Methods 0.000 claims description 22
- 230000000007 visual effect Effects 0.000 claims description 10
- 230000010354 integration Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 239000000758 substrate Substances 0.000 claims description 6
- 230000002123 temporal effect Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 description 16
- 238000013519 translation Methods 0.000 description 11
- 230000015654 memory Effects 0.000 description 7
- 230000004807 localization Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 108010001267 Protein Subunits Proteins 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19606—Discriminating between target movement or movement in an area of interest and other non-signicative movements, e.g. target movements induced by camera shake or movements of pets, falling leaves, rotating fan
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19665—Details related to the storage of video surveillance data
- G08B13/19669—Event triggers storage or change of storage policy
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
- G01S3/781—Details
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Vascular Medicine (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
Dispositif de compensation du mouvement d’un capteur événementiel, systèmes et procédés associé s L’invention concerne un dispositif de compensation (16) du mouvement d’un capteur événementiel (12) dans un flux d’événements généré par le capteur événementiel (12) lors d’une observation d’un environnement dans un intervalle de temps, le dispositif de compensation (16) comprenant : - une unité de compensation (34), l’unité de compensation (34) étant propre à recevoir des données relatives au mouvement du capteur événementiel (12) pendant l’intervalle de temps et propre à appliquer une technique de compensation au flux d’événements générés par le capteur événementiel (12) en fonction des données reçues pour obtenir un flux d’événements compensé dans l’intervalle de temps, et - une unité de contrôle (40) de l’unité de compensation (34), l’unité de contrôle (40) étant propre à contrôler l’unité de compensation (34) par envoi de données relatives au mouvement du capteur événementiel (12). Figure pour l'abrégé : figure 1
Description
La présente invention concerne un dispositif de compensation du mouvement d’un capteur événementiel. La présente invention se rapporte aussi à un système d’observation ainsi qu’un système d’évaluation de la position du capteur événementiel comprenant le dispositif de compensation précédent. La présente invention se rapporte aussi à un procédé de compensation et d’évaluation correspondants.
Dans le domaine de la vidéosurveillance embarquée, une difficulté est d’analyser un grand volume d’images au sein duquel de nombreuses images ne sont pas pertinentes. En effet, cela implique d’importantes ressources matérielles et donc une grande consommation d’énergie, ce qui est incompatible avec les contraintes d’un système embarqué, à savoir un poids, un encombrement et une puissance énergétique limités.
Une voie prometteuse pour répondre à un tel enjeu est d’utiliser un capteur événementiel.
Un capteur DVS ou un capteur ATIS sont deux exemples d’un tel capteur. L’abréviation DVS renvoie à la dénomination anglaise de «Dynamic Vision Sensor» qui signifie littéralement capteur de vision dynamique alors que l’acronyme ATIS renvoie à la dénomination anglaise de «Asynchronous Time-based Image Sensor» qui signifie littéralement capteur asynchrone d’image basée sur le temps.
Les imageurs traditionnels fournissent des images, à savoir une succession de matrices qui codent les valeurs d'intensités lumineuses mesurées par une grille de pixels à une fréquence régulière. Au lieu de cela, un capteur événementiel génère un flux d'événements asynchrone et peu dense puisqu’un pixel génère un événement uniquement lorsqu’un gradient d’intensité sur le pixel dépasse un certain seuil.
Un capteur événementiel permet donc qu’aucune donnée ne soit émise lorsque rien ne se passe devant le capteur événementiel, ce qui limite fortement le nombre de données à traiter.
En outre, du fait du fonctionnement asynchrone, de tels capteurs permettent également de bénéficier d’une plage dynamique et d’une fréquence d’acquisition élevées. Notamment, pour certains capteurs, le taux d’événements qui peuvent être générés peut s’élever jusqu’à 10 GeV/s (GeV/s signifie « Giga Evénements par seconde » et représente le nombre de milliards d’événements par secondes contenus dans un flux d’évènements).
Toutefois, une telle fréquence d’acquisition implique en retour une puissance de calcul importante pour pouvoir traiter les événements du flux d’événements.
A cette difficulté, s’ajoute le fait que la charge de calcul est, par nature, non prédictible de sorte qu’il est difficile de traiter les données avec une efficacité maximale (qui est souvent obtenue lors que le traitement est mis en œuvre avec une charge maximale).
En outre, du fait de son bruit intrinsèque, un capteur événementiel génère des événements parasites, ce qui augmente encore inutilement la charge de calcul.
De plus, lorsque le capteur événementiel se déplace, différents pixels émettent des impulsions même en présence d’un objet immobile. Il en résulte une redondance spatiale impliquant là encore de nombreux calculs inutiles.
Il existe donc un besoin pour un dispositif de compensation des défauts introduits par un capteur événementiel dans un flux d’événements généré lors d’une observation d’un environnement qui réduit la capacité calculatoire requise pour permettre une implémentation physique dans un système embarqué tout en conservant les informations utiles captées par le capteur événementiel.
A cet effet, la description décrit un dispositif de compensation du mouvement d’un capteur événementiel, dans un flux d’événements généré par le capteur événementiel lors d’une observation d’un environnement dans un intervalle de temps, le dispositif de compensation comprenant une unité de compensation, l’unité de compensation étant propre à recevoir des données relatives au mouvement du capteur événementiel pendant l’intervalle de temps et propre à appliquer une technique de compensation au flux d’événements générés par le capteur événementiel en fonction des données reçues pour obtenir un flux d’événements compensé dans l’intervalle de temps, et une unité de contrôle de l’unité de compensation, l’unité de contrôle étant propre à contrôler l’unité de compensation par envoi de données relatives au mouvement du capteur événementiel.
Selon des modes de réalisation particuliers, le dispositif de compensation présente une ou plusieurs des caractéristiques suivantes, prise(s) isolément ou selon toutes les combinaisons techniquement possibles :
- l’unité de contrôle est propre à envoyer à l’unité de compensation une information d’absence de données disponibles en tant que données relatives au mouvement du capteur événementiel, l’unité de compensation délivrant un flux d’événements compensé identiques au flux d’événements généré par le capteur événementiel.
- l’unité de contrôle comporte une sous-unité de traitement, l’unité de contrôle étant propre à recevoir des mesures du mouvement du capteur événementiel, la sous-unité de traitement étant propre à mettre en œuvre un traitement sur les données de mesures reçues pour obtenir des données traitées, le traitement étant, notamment, une intégration temporelle d’au moins certaines des mesures reçues, l’unité de contrôle étant également propre à envoyer les données traitées à l’unité de compensation.
- l’unité de contrôle est propre à recevoir des positions évaluées du capteur événementiel, l’unité de contrôle étant propre à envoyer les positions évaluées à l’unité de compensation.
- l’unité de contrôle comporte, en outre, une sous-unité de détermination propre à déterminer des données relatives au mouvement du capteur événementiel à envoyer, la sous-unité de détermination déterminant les données à envoyer en fonction des données reçues par l’unité de contrôle.
La description décrit aussi un système d’observation d’un environnement, le système d’observation comprenant un capteur événementiel générant un flux d’événements lors d’une observation d’un environnement du capteur événementiel, une unité de mesure propre à mesurer le mouvement du capteur événementiel pendant un intervalle de temps, et un dispositif de compensation tel que précédemment décrit.
Selon des modes de réalisation particuliers, le système d’observation présente une ou plusieurs des caractéristiques suivantes, prise(s) isolément ou selon toutes les combinaisons techniquement possibles :
- le système comporte, en outre, une unité d’évaluation de la position du capteur événementiel et une unité de reconstruction de trames, l’unité de reconstruction étant propre à générer des trames corrigées à partir du flux d’événements compensé dans l’intervalle de temps, l’unité de contrôle étant distincte de l’unité d’évaluation, l’unité d’évaluation étant propre à recevoir des mesures du mouvement du capteur événementiel, l’unité d’évaluation étant propre à appliquer une technique d’évaluation aux trames reconstruites en fonction des mesures reçues pour obtenir des positions évaluées du capteur événementiel dans l’intervalle de temps.
-la technique d’évaluation est une technique d’odométrie visuelle ou une technique de localisation et de cartographie simultanée.
-le capteur événementiel et le dispositif de compensation font partie d’un même composant comportant un empilement d’au moins trois couches, la première couche de l’empilement comportant le capteur événementiel, la deuxième couche de l’empilement comportant l’unité de contrôle et la troisième couche comportant l’unité de compensation et l’unité d’évaluation.
La description porte également sur un système d’évaluation de la position d’un capteur événementiel, le système d’évaluation comprenant un capteur événementiel générant un flux d’événements lors d’une observation d’un environnement du capteur événementiel, une unité de mesure propre à mesurer le mouvement du capteur événementiel pendant un intervalle de temps, et un dispositif de compensation tel que précédemment décrit.
Selon des modes de réalisation particuliers, le système d’évaluation présente une ou plusieurs des caractéristiques suivantes, prise(s) isolément ou selon toutes les combinaisons techniquement possibles :
- le système comporte, en outre, une unité d’évaluation de la position du capteur événementiel et une unité de reconstruction de trames, l’unité de reconstruction étant propre à générer des trames corrigées à partir du flux d’événements compensé dans l’intervalle de temps, l’unité de contrôle étant distincte de l’unité d’évaluation, l’unité d’évaluation étant propre à recevoir des mesures du mouvement du capteur événementiel, l’unité d’évaluation étant propre à appliquer une technique d’évaluation aux trames reconstruites en fonction des mesures reçues pour obtenir des positions évaluées du capteur événementiel dans l’intervalle de temps.
-la technique d’évaluation est une technique d’odométrie visuelle ou une technique de localisation et de cartographie simultanée.
-le capteur événementiel et le dispositif de compensation font partie d’un même composant comportant un empilement d’au moins trois couches, la première couche de l’empilement comportant le capteur événementiel, la deuxième couche de l’empilement comportant l’unité de contrôle et la troisième couche comportant l’unité de compensation et l’unité d’évaluation.
-le système comporte, en outre, une unité d’obtention, l’unité d’obtention étant propre à obtenir, pour chaque événement du flux d’événements généré, au moins une caractéristique relative à la nature du mouvement d’un objet associé à l’événement, l’objet étant l’objet de l’environnement ayant entraîné la génération de l’événement par le capteur événementiel, le dispositif de compensation comportant également une sous-unité de détermination propre à déterminer des données relatives au mouvement du capteur événementiel à envoyer, la sous-unité de détermination déterminant les données à envoyer en fonction des données reçues par l’unité de contrôle et également en fonction de l’au moins une caractéristique relative à la nature du mouvement
- l’unité de compensation est réalisée sur un autre composant, le composant et l’unité de compensation étant rapportés sur un substrat comprenant des connexions électriques, le substrat étant, par exemple, un interposeur.
- l’unité de compensation, l’unité de reconstruction, l’unité d’évaluation et l’unité de contrôle sont réalisées sur un même circuit intégré.
La présente description propose également un procédé de compensation du mouvement d’un capteur événementiel dans un flux d’événements généré par le capteur événementiel lors d’une observation d’un environnement dans un intervalle de temps, le procédé de compensation étant mis en œuvre par un dispositif de compensation, le dispositif de compensation comprenant une unité de compensation et une unité de contrôle de l’unité de compensation, le procédé de compensation comprenant une étape d’envoi de données relatives au mouvement du capteur événementiel par l’unité de contrôle à destination de l’unité de compensation, une étape de réception des données relatives au mouvement du capteur événementiel par l’unité de compensation, une étape d’application par l’unité de compensation d’une technique de compensation au flux d’événements généré par le capteur événementiel en fonction des données reçues pour obtenir un flux d’événements compensé dans l’intervalle de temps, et une étape de génération par l’unité de reconstruction de trames corrigées à partir du flux d’événements compensé dans l’intervalle de temps.
La description décrit aussi un procédé d’évaluation de la position d’un capteur événementiel, le capteur événementiel générant un flux d’événements dans un intervalle de temps, le procédé d’évaluation étant mis en œuvre par un système d’évaluation de la position d’un capteur événementiel, le système d’évaluation comprenant une unité de compensation, une unité de reconstruction de trames, une unité d’évaluation de la position du capteur événementiel et une unité de contrôle de l’unité de compensation, l’unité de contrôle étant distincte de l’unité d’évaluation, le procédé d’évaluation comprenant une étape d’envoi de données relatives au mouvement du capteur événementiel par l’unité de contrôle à destination de l’unité de compensation, une étape de réception des données relatives au mouvement du capteur événementiel par l’unité de compensation, une étape d’application par l’unité de compensation d’une technique de compensation au flux d’événements généré par le capteur événementiel en fonction des données reçues pour obtenir un flux d’événements compensé dans l’intervalle de temps, une étape de génération par l’unité de reconstruction de trames corrigées à partir du flux d’événements compensé dans l’intervalle de temps, une étape de réception par l’unité d’évaluation de mesures du mouvement du capteur événementiel, et une étape d’application par l’unité d’évaluation d’une technique d’évaluation aux trames reconstruites en fonction des mesures reçues pour obtenir des positions évaluées du capteur événementiel dans l’intervalle de temps.
Des caractéristiques et avantages de l’invention apparaîtront à la lecture de la description qui va suivre, donnée uniquement à titre d’exemple non limitatif, et faite en référence aux dessins annexés, sur lesquels :
- la est une vue schématique d’un exemple de système d’observation,
- la est une représentation schématique d’un exemple d’implémentation physique d’un système d’observation selon la ,
- la est une représentation schématique d’un autre exemple d’implémentation physique d’un système d’observation selon la ,
- la est une représentation schématique d’encore un autre exemple d’implémentation physique d’un système d’observation selon la , et
- la est une vue schématique d’un autre exemple de système d’observation.
Un système d’observation 10 est illustré schématiquement sur la .
La représentation est schématique dans la mesure où il s’agit d’une représentation de type fonctionnelle par bloc permettant de bien appréhender le fonctionnement du système d’observation 10.
Le système d’observation 10 est propre à observer un environnement.
Le système d’observation 10 comporte un capteur événementiel 12, une unité de mesure 14, un dispositif de compensation 16 et une unité d’évaluation 17.
Le capteur événementiel 12 est propre à générer un flux d’événements par observation de l’environnement dans un intervalle de temps, dit intervalle de temps d’observation.
Le flux d’événements généré est un flux généralement peu dense.
Comme indiqué précédemment, le flux généré est asynchrone, ce qui permet que le capteur événementiel 12 fonctionne à une fréquence élevée.
Plus précisément, le capteur événementiel 12 comporte un ensemble de pixels 20 agencés selon une matrice de pixels 22, une optique de collection 23 et un système de lecture 24.
Chaque pixel 20 est propre à générer un événement sous forme d’une impulsion. Une telle impulsion est souvent usuellement dénommée «spike» en référence à la terminologie anglaise correspondante.
Pour générer un événement, chaque pixel 20 mesure en permanence l’intensité lumineuse incidente à l’aide d’une photodiode et compare à tout instant la différence relative entre l'intensité lumineuse mesurée à un instant t et l’intensité lumineuse mesurée à l’instant immédiatement précédent à un seuil de contraste selon la formule suivante :
Lorsque la condition précédente est remplie, le pixel 20 génère une impulsion.
En variante, d’autre conditions peuvent être utilisées.
Par exemple, la condition est que l’intensité mesurée soit supérieure ou égale à un seuil ou que le temps mis pour atteindre une intensité prédéterminée est inférieur ou égal à un seuil.
Néanmoins, dans chacun des cas, la génération d’impulsion n’a lieu que si la condition est remplie pour garantir un fonctionnement à haute cadence du capteur événementiel 12.
Une telle impulsion est souvent exprimée selon le protocole AER. Le sigle AER renvoie à la dénomination anglaise de «Address Event Representation» qui signifie littéralement représentation de l’adresse de l’événement.
Toutefois, d’autres représentations comme des représentations analogiques (par exemple, par l’émission de plusieurs impulsions pour coder une information) sont également possibles.
L’optique de collection 23 permet de collecter la lumière incidente et de la guider vers la matrice de pixels 22.
Selon l’exemple décrit, l’optique de collection 23 est une matrice de microlentilles dont chaque microlentille est associée à un unique pixel 20.
Par exemple, chaque microlentille de l’optique de collection 23 est une optique hypergone.
Une telle optique est plus souvent dénommée optique fisheye (qui signifie littéralement œil de poisson) en référence à son champ de vision très grand.
Ce très grand champ implique que l’optique de collection 23 introduit une grande distorsion qu’il convient de compenser.
D’autres aberrations géométriques peuvent également être introduites par l’optique de collection 23 comme un vignettage.
Le système de lecture 24 est un ensemble de circuit électronique générant des informations représentant chaque événement initial sous forme d’une première pluralité de champs d’information dans un premier espace.
Avec un tel formalisme, pour l’exemple décrit, l’impulsion est un triplet à trois éléments A1, A2 et A3.
Le premier champ d’information A1 est l’adresse du pixel 20 qui a généré l’impulsion.
L’adresse du pixel 20 est, par exemple, encodée en donnant le numéro de ligne et le numéro de colonne de la matrice de pixels 22 où est situé le pixel 20.
En variante, un codage du type y*xmax+ x ou x*ymax+ y peut être utilisé. Dans la formule précédente, x désigne le numéro de la colonne du pixel 20, y le numéro de la ligne du pixel 20, xmaxle nombre de colonnes et ymaxle nombre de lignes de la matrice de pixels 22.
Le deuxième champ d’information A2 est l’instant de génération de l’impulsion par le pixel 20 qui a généré l’impulsion.
Cela implique que le capteur événementiel 12 est capable d’horodater la génération d’impulsions avec une bonne précision pour faciliter les traitements ultérieurs du flux d’événements généré.
Le troisième champ d’information A3 est une valeur relative à l’impulsion.
Dans la suite, à titre d’exemple, le troisième champ d’information A3 est la polarité de l’impulsion.
La polarité d’une impulsion est définie comme le signe du gradient d’intensité mesuré par le pixel 20 à l’instant de génération de l’impulsion.
Selon d’autres modes de réalisation, le troisième champ d’information A3 est la valeur d’intensité lumineuse à l’instant de génération de l’impulsion, la profondeur observée si le capteur événementiel 12 a pour but de mesurer la profondeur, ou encore la valeur précise du gradient d’intensité mesuré.
En variante, la pluralité de champs d’information dans le premier espace comporte uniquement le premier champ d’information A1 et le deuxième champ d’information A2.
Le système de lecture 24 est propre à assurer l’acheminement du flux d’événements généré vers le dispositif de compensation 16. Cet acheminement est représenté schématiquement par la flèche 26 sur la .
L’unité de mesure 14 est une unité de mesure de mouvement.
L’unité de mesure 14 est propre à mesurer le mouvement du capteur événementiel 12.
Selon l’exemple proposé, l’unité de mesure 14 est une centrale inertielle.
Une telle centrale inertielle est parfois appelée centrale à inertie ou plus souvent sous l’abréviation IMU qui renvoie à la dénomination anglaise de «Inertial Measurement Unit».
L’unité de mesure 14 comporte ainsi des gyromètres 28 et des accéléromètres 30 permettant de mesurer les mouvements en rotation et en translation du capteur événementiel 12.
Selon les cas, les données de sortie de l’unité de mesure 14 de mouvement peuvent être des données brutes ou intégrées.
Par exemple, les données intégrées sont exprimées sous la forme d’une matrice de rotation R correspondant aux mouvements en rotation du capteur événementiel 12 ou d’une matrice de translation T correspondant aux mouvements en translation du capteur événementiel 12.
En variante, les données relatives à la rotation sont fournies à l’aide d’un quaternion qui est généralement un vecteur à quatre valeurs dont une valeur représente la norme, les autres valeurs étant normées et caractérisant la rotation dans l’espace.
Le dispositif de compensation 16 est un dispositif propre à compenser les mouvements du capteur événementiel 12 dans le flux d’événements généré.
En ce sens, le dispositif de compensation 16 est un dispositif configuré pour mettre en œuvre un procédé de compensation du mouvement du capteur événementiel 12 dans le flux d’événements généré.
Le dispositif de compensation 16 de la comporte une unité de compensation 34, une unité de reconstruction 36 et une unité de contrôle 40.
L’unité de compensation 34 est une unité de compensation du mouvement de la caméra événementiel 12 dans le flux d’événements généré.
En ce sens, l’unité de compensation 34 est configurée pour mettre en œuvre une étape du procédé de compensation, à savoir une étape de compensation du mouvement de la caméra événementiel 12 dans le flux d’événements généré.
De ce fait, l’unité de compensation 34 peut être qualifiée d’unité EMC, le sigle EMC renvoyant à la dénomination anglaise de «Ego-Motion C ompensation» ou «Ego-Motion Correction» qui signifie littéralement compensation du mouvement propre ou correction du mouvement propre.
L’unité de compensation 34 prend en entrée le flux d’événements généré dont chaque événement est une impulsion caractérisée par un triplet (A1, A2, A3).
L’unité de compensation 34 est propre à recevoir des mesures du mouvement du capteur événementiel 12 pendant l’intervalle de temps d’observation.
Plus spécifiquement, l’unité de compensation 34 reçoit les données relatives au mouvement du capteur événementiel 12 de l’unité de contrôle 40 qui seront décrites ultérieurement.
L’unité de compensation 34 est également propre à appliquer une technique de compensation au flux d’événements généré en fonction des données reçues pour obtenir un flux d’événements compensé dans l’intervalle de temps d’observation.
L’unité de reconstruction 36 est une unité de reconstruction de trames.
L’unité de reconstruction 36 est propre à générer des trames corrigées à partir du flux d’événements compensé dans l’intervalle de temps.
Une telle unité de reconstruction 36 peut être nommée unité EFR, le sigle EFG renvoyant à la dénomination anglaise de «Event-Frame Generation» qui signifie littéralement génération de trames événementielles.
L’unité de reconstruction 36 prend en entrée le flux d’événements compensé provenant de l’unité de compensation 34 comme l’indique la flèche 44 sur la et permet d’obtenir en sortie des trames corrigées ainsi qu’illustré schématiquement par la flèche 45 sur la .
Selon l’exemple décrit, l’unité de reconstruction 36 laisse la valeur du troisième champ d’information A3 inchangée pour chaque événement de la trame à reconstruire.
En variante, l’unité de reconstruction 36 est également propre à modifier également la valeur du troisième champ d’information A3 de chaque événement de la trame à reconstruire.
Les trames corrigées sont envoyées à l’unité d’évaluation 17 comme le montre la flèche 46 et/ou utilisées comme sortie pour une autre application comme l’affichage.
L’unité d’évaluation 17 est une unité d’évaluation de la position du capteur événementiel.
L’unité d’évaluation 17 est propre à recevoir des mesures du mouvement du capteur événementiel 12 comme le montre la flèche 48
Plus spécifiquement, l’unité d’évaluation 17 reçoit les données relatives au mouvement du capteur événementiel 12 de l’unité de mesure 14 de mouvement qui sont, dans l’exemple décrit, la matrice de rotation R et la matrice de translation T.
L’unité d’évaluation 17 est également propre à appliquer une technique d’évaluation aux trames reconstruites en fonction des mesures reçues pour obtenir des positions évaluées du capteur événementiel 12 dans l’intervalle de temps.
Selon un exemple, la technique d’évaluation est une technique d’odométrie visuelle inertielle.
La technique d’odométrie visuelle inertielle est plus souvent désignée sous l’acronyme VIO qui renvoie à la dénomination «Visual Inertial Odometry».
Par définition, une telle technique est une technique de fusion de données provenant d’un capteur visuel et d’une centrale inertielle. Ici, la technique est une technique de fusion des données du capteur événementiel 12 et de l’unité de mesure 14.
Selon un autre exemple, la technique d’évaluation est une technique de localisation et de cartographie simultanée.
La technique de localisation et de cartographie simultanée est plus souvent désignée sous l’acronyme SLAM qui renvoie à la dénomination «Simultaneous Localisation and Mapping».
La technique SLAM est une technique VIO comportant en outre une étape d’optimisation mathématique de toutes les positions évaluées avec le temps.
Dans chacun des cas, il est obtenu en sortie de l’unité d’évaluation 17 une évaluation de la position de la caméra événementiel 12 comme le montre le flèche 50.
L’unité de contrôle 40 est une unité de contrôle de l’unité de compensation 34.
L’unité de contrôle 40 est distincte de l’unité d’évaluation 17.
L’unité de contrôle 40 est propre à contrôler l’unité de compensation 34 par envoi de données relatives au mouvement du capteur événementiel 12.
Plus précisément, l’unité de contrôle 40 est propre à modifier la sortie 44 de l’unité de compensation 34 en envoyant à l’unité de compensation 34 des données relatives au mouvement du capteur événementiel 12 qui sont différentes.
Cela signifie que selon les données envoyées par l’unité de contrôle 40, pour un même flux d’événements généré, l’unité de compensation 34 enverra vers l’unité de reconstruction 36 un flux d’événements compensé différent.
Dans la suite de la description, pour bien distinguer ces sorties différentes, il sera employé le terme de « mode de fonctionnement » de l’unité de compensation 34.
Chaque mode de fonctionnement est associé à un type de données relatives au mouvement du capteur événementiel 12 respectif.
Des données sont de types différents si leur contenu est différent ou, si leur contenu est identique, la précision attendue associée est très différente.
Selon cette terminologie, l’unité de contrôle 40 contrôle le mode de fonctionnement de l’unité de compensation 34 en émettant les données relatives aux mouvements.
Selon l’exemple de la , l’unité de contrôle 40 est propre à envoyer trois types différents de données relatives au mouvement du capteur événementiel 12, ce qui signifie que l’unité de compensation 34 est propre à fonctionner selon trois modes de fonctionnements.
Par ailleurs, l’unité de contrôle 40 comporte plusieurs sous-unités, à savoir une sous-unité de réception 52, une sous-unité de traitement 54, une sous-unité d’émission 56 et une sous-unité de détermination 58.
Dans le premier mode de fonctionnement, l’unité de contrôle 40 est propre à envoyer une information d’absence de données relatives au mouvement du capteur événementiel 12.
Cela signifie que la sous-unité d’émission 56 n’envoie aucune donnée chiffrée relative au mouvement du capteur événementiel 12.
Dans un tel mode de fonctionnement, l’unité de compensation 34 délivre en sortie un flux d’événements corrigés identiques au flux d’événements généré par le capteur événementiel 12.
L’unité de compensation 34 n’introduit ainsi aucune compensation dans le flux d’événement généré.
Dans le premier mode de fonctionnement, l’unité de compensation 34 est ainsi inhibée. Le premier mode de fonctionnement est ainsi un mode d’inhibition dans l’exemple de la .
Dans le deuxième mode de fonctionnement, l’unité de contrôle 40 est propre à recevoir des mesures du mouvement du capteur événementiel 12.
En l’occurrence, la sous-unité de réception 52 est en liaison avec l’unité de mesure 14 comme le montre la flèche 63.
La sous-unité de traitement 54 est alors propre à mettre en œuvre un traitement sur les données de mesures reçues pour obtenir des données traitées.
Par exemple, le traitement est une intégration temporelle d’au moins certaines des mesures reçues.
A titre d’illustration, l’intégration temporelle est un filtre de Madgwick, par exemple appliquée à la vitesse angulaire. Cela est très efficace lorsque le mouvement du capteur événementiel 12 est principalement rotatif.
L’unité de contrôle 40 est alors propre à envoyer les données traitées à l’unité de compensation 34. Plus précisément, c’est la sous-unité d’émission 56 qui envoie les données traitées à l’unité de compensation 34.
Ces données traitées sont les valeurs des matrices de rotation R et de translation T.
Dans ce deuxième cas, la matrice de translation T correspond à la matrice nulle (en l’occurrence, la matrice de translation T est un vecteur de 3 valeurs nulles).
Le deuxième mode de fonctionnement et le premier mode de fonctionnement diffèrent donc l’un de l’autre par la nature des données relatives au mouvement du capteur événementiel 12 fournies. En effet, dans un cas, aucune donnée n’est transmise alors que dans l’autre cas, ce sont des mesures (ici traitées) provenant de l’unité de mesure 14.
Le fonctionnement de l’unité de compensation 34 dans le deuxième mode est ainsi un fonctionnement impliquant l’application de la technique de compensation et donc une modification du flux d’événements généré.
Selon l’exemple de la , la technique de compensation comporte une opération d’annulation de la distorsion introduite par l’optique de collection 23 suivie par d’une opération de compensation du mouvement du capteur événementiel 12.
Lors de l’opération d’annulation, le premier champ d’information A2 relatif à la position d’un pixel est modifié en prenant en compte la distorsion.
Il est à noter que l’opération d’annulation peut être remplacée ou complétée par une opération de compensation partielle des aberrations optiques introduites par l’optique de collection 23.
L’opération de compensation corrige la position des impulsions corrigées par l’opération d’annulation en fonction des mouvements du capteur événementiel 12.
L’opération de compensation permet de réduire au minimum le nombre d’impulsions émises.
En effet, avec le mouvement du capteur événementiel 12, différents pixels 20 génèrent des impulsions même en présence d’un objet immobile. L’opération de compensation permet que ces différentes impulsions ne soient pas répétées et soient attribuées au même pixel 20 (ou à défaut au même ensemble de pixels 20 si l’objet est étendu).
Ainsi, la quantité d’impulsions émises par le capteur événementiel 12 est grandement réduite grâce à l’unité de compensation 34.
Par exemple, l’opération de compensation des mouvements du capteur événementiel 12 comporte la mise en œuvre de deux sous-opérations successives pour chaque impulsion.
Lors de la première sous-opération, il est déterminé la valeur de la matrice de rotation R et de la matrice de translation T à l’instant de génération de l’impulsion. Une telle détermination est, par exemple, mise en œuvre par une interpolation, notamment entre les matrices de rotation R et les matrices de translation T les plus proches de l’instant de génération de l’impulsion.
La deuxième sous-opération consiste alors à multiplier les coordonnées obtenues en sortie de la première opération avec la matrice de rotation R et d’ajouter ensuite la matrice de de translation T pour obtenir les coordonnées de l’impulsion après prise en compte du mouvement propre du capteur événementiel 12.
Selon un autre mode de réalisation, la technique de compensation est un algorithme d’apprentissage automatique.
Un tel algorithme est plus souvent désigné sous l’appellation de « machine learning » du fait de la terminologie anglaise correspondante.
Par exemple, l’algorithme est un réseau de neurones.
Dans chacun des cas, il est obtenu un flux d’événements compensé avec les mesures provenant de l’unité de mesure 14.
Dans le troisième mode de fonctionnement, l’unité de contrôle 40 est propre à recevoir les positions évaluées du capteur événementiel 12. Ces positions évaluées proviennent de l’unité d’évaluation 17 comme le montre la flèche 68.
En l’occurrence, la sous-unité de réception 52 est en liaison avec l’unité d’évaluation 17.
L’unité de contrôle 40 est alors propre à envoyer les positions évaluées à l’unité de compensation 34. Plus précisément, c’est la sous-unité d’émission 56 qui envoie les positions évaluées à l’unité de compensation 34.
Comme pour le cas du deuxième mode de fonctionnement, le troisième mode de fonctionnement et le premier mode de fonctionnement diffèrent donc l’un de l’autre par la nature des données relatives au mouvement du capteur du capteur événementiel 12 fournies. En effet, dans un cas, aucune donnée n’est transmise alors que dans l’autre cas, ce sont des positions évaluées provenant de l’unité d’évaluation 17.
Toutefois, même si le contenu des données envoyées dans le deuxième mode de fonctionnement et le troisième mode de fonctionnement sont identiques (il s’agit bien de données relatives au mouvement du capteur événementiel), la précision attendue associée est très différente, ce qui justifie que leur type diffère. En effet, les données envoyées dans le deuxième mode ne tiennent pas compte du flux d’événements généré par le capteur événementiel 12 au contraire des données envoyées dans le troisième mode qui sont obtenues par l’unité d’évaluation 17 à partir des trames reconstruites, elle-même obtenues à l’aide du flux d’événements compensé.
Selon l’exemple décrit, c’est la sous-unité de détermination 58 qui est chargée de déterminer les données relatives au mouvement du capteur événementiel 12 à envoyer, et par là, le mode de fonctionnement de l’unité de compensation 34.
La sous-unité de détermination 58 détermine les données à envoyer en fonction des données reçues par l’unité de contrôle 40.
Par exemple, la sous-unité de détermination 58 envoie à l’unité de compensation 34 les données relatives au mouvement du capteur événementiel 12 qui sont les plus précises.
Ainsi, en l’absence de données reçues par la sous-unité de réception 52, la sous-unité de détermination 58 impose un fonctionnement de l’unité de compensation 34 selon le premier mode de fonctionnement.
Si la sous-unité de réception 52 reçoit uniquement des données correspondant au deuxième mode de fonctionnement ou au troisième mode de fonctionnement, la sous-unité de détermination 58 choisit d’envoyer les données reçues qui sont plus précises qu’aucune donnée et donc d’imposer un fonctionnement de l’unité de compensation 34 selon le mode de fonctionnement des données reçues par la sous-unité de réception 52.
Lorsque la sous-unité de réception 52 reçoit à la fois des données correspondant au deuxième mode de fonctionnement et des données correspondant au troisième mode de fonctionnement, la sous-unité de détermination 58 choisit d’envoyer les données correspondant au troisième mode de fonctionnement qui sont normalement les plus précises. La sous-unité de détermination 58 impose ainsi un fonctionnement de l’unité de compensation 34 selon le troisième mode de fonctionnement.
Bien entendu, l’exemple qui vient d’être décrit est généralisable à un nombre quelconque de type de données. En particulier, il est particulièrement avantageux que la sous-unité de détermination 58 puisse fonctionner selon cinq modes de fonctionnement distincts, à savoir aucune donnée, des données résultant d’une intégration en rotation uniquement des données de l’unité de mesure 14, des données résultant d’une intégration « totale » (rotation et translation) des données de l’unité de mesure 14, des données résultant d’une application d’une technique VIO et des données résultant d’une application d’une technique SLAM.
Il peut être noté dès à présent que la provenance de ces données est indifférente pour la sous-unité de détermination 58, celle-ci pouvant provenir de la sous-unité de traitement 54 comme de l’unité d’évaluation 17 ou tout autre unité en communication avec l’unité de contrôle 40.
Il ressort de la description précédente que la sous-unité de détermination 58 peut être vue comme une sous-unité de contrôle des données relatives au mouvement du capteur événementiel 12.
La sous-unité de détermination 58 confère ainsi à l’unité de contrôle 40 une fonction de basculement entre les différents modes de fonctionnement possibles de l’unité de compensation 34.
L’unité de contrôle 40 permet de résoudre élégamment le problème d’initialisation du dispositif de compensation 16.
En effet, pour fonctionner l’unité de compensation 34 a besoin de la sortie de l’unité d’évaluation 17 qui elle-même a besoin de la sortie de l’unité de compensation 34 qui est utilisée par l’unité de reconstruction 36.
L’unité de contrôle 40 initialise efficacement le dispositif de compensation 16 en permettant à l’unité d’évaluation 17 de fonctionner sans compensation du mouvement.
Le dispositif de compensation 16 est ainsi compatible avec tout type de technique d’évaluation, y compris des techniques d’évaluation n’ayant pas de protocole d’initialisation et même des techniques d’odométrie visuelle non inertielle. Les techniques d’odométrie visuelle non inertielle sont plus souvent dénommées par l’acronyme VO renvoyant à la dénomination anglaise correspondante de «Visual O dometry».
Comme expliqué précédemment, l’unité de contrôle 40 permet également d’imposer un mode de fonctionnement adapté aux données relatives au mouvement dont on dispose.
En outre, l’ajout de l’unité de contrôle 40 effectue très peu de calculs pour mettre en œuvre une telle adaptabilité.
L’unité de contrôle 40 impacte ainsi très peu le poids, l’encombrement et la puissance énergétique du dispositif de compensation 16.
Le système d’observation 10, et notamment le dispositif de compensation 16, est ainsi propre à mettre en œuvre un procédé permettant de rendre compatible n'importe quel algorithme de localisation spatiale avec un capteur évènementiel 12.
De plus, le procédé que le système d’observation 10 est propre à mettre en œuvre permet aussi d'adapter le traitement à la scène de sorte à améliorer l'efficacité calculatoire et/ou la qualité de traitement
Grâce aux avantages précités, un tel système d’observation 10 est compatible avec une implémentation physique embarquée.
Un exemple d’une telle implémentation est maintenant décrit en référence à la figure 2.
Dans l’exemple illustré, le système d’observation 10 est un empilement 78 de deux couches 80 et 82 le long d’une direction d’empilement.
La première couche 80 et la deuxième couche 82 sont superposées.
Le capteur événementiel 12 est fabriqué dans la première couche 80.
Pour cela, une technique BSI est, par exemple, utilisée.
L’acronyme BSI renvoie à la terminologie anglaise de «Backside Illumination» signifiant littéralement illumination par l’arrière et désigne une technique de fabrication d’un capteur dans laquelle les photodiodes des pixels 20 sont positionnées en contact directe avec l’optique de collection 23.
Dans la deuxième couche 82, le dispositif de compensation 16 est réalisé sous la matrice de pixels 22.
Cela permet de limiter le système de lecture 24 à de simples connexions puisque l’accès parallèle à chaque pixel 20 est permis.
La deuxième couche 82 est reliée à la première couche 80 par des liaisons 84 tridimensionnelles cuivre-cuivre. Un tel type de liaison 84 est plus souvent dénommée 3D bonding en référence à la terminologie anglaise correspondante.
Lorsqu’il n’est pas possible d’implémenter physiquement l’unité de contrôle 40 et l’unité de compensation 34, l’unité de reconstruction 36 et l’unité d’évaluation 17 sur la même couche 82 pour des questions d’encombrement, une troisième couche 86 est utilisée.
La troisième couche 86 fait partie de l’empilement 78 et est superposée avec la première couche 80 et la deuxième couche 82.
Dans une telle configuration illustrée schématiquement sur la , la deuxième couche 82 comprend l’unité de contrôle 40 alors que la troisième couche 86 comporte l’unité de compensation 34, l’unité de reconstruction 36 et l’unité d’évaluation 17.
Pour assurer la communication entre la deuxième couche 82 et la troisième couche 86, la deuxième couche 82 est pourvue de vias traversants 88.
Un via traversant 88 est plus souvent désigné selon la terminologie anglaise de «through-silicon via» et désigne un contact électrique s’étendant le long de la direction d’empilement et débouchant, c’est-à-dire s’étendant d’une face de la deuxième couche 82 à l’autre face de la deuxième couche 82.
Une telle implémentation permet une communication de type parallèle entre la deuxième couche 82 et la troisième couche 86.
Alternativement, comme visible sur la , la communication entre la deuxième couche 82 et la troisième couche 86 est assurée par une interconnexion série 90 impliquant l’emploi d’une unité de mise en série des données (non représentée sur la ) en sortie de l’unité de contrôle 40.
Une telle implémentation est indiquée lorsque l’emploi de vias traversants 88 empêche d’implémenter physiquement l’unité de contrôle 40. En effet, chaque via traversant 88 réduit l’espace utile, c’est-à-dire l’espace dans lequel l’unité de contrôle 40 peut être fabriquée, ce qui peut rendre impossible d’implémenter physiquement l’unité de contrôle 40 par manque de place. Dans l’implémentation avec une interconnexion série 90, l’espace utile est au contraire très peu réduit comme l’illustre la comparaison entre les figures 3 et 4.
Dans chacun des cas proposés aux figures 2 à 4, le capteur événementiel 12 et le dispositif de compensation 16 font partie d’un même empilement 78 d’au moins deux couches 80, 82 et 86, la première couche 80 de l’empilement 78 comportant le capteur événementiel 12, l’au moins une autre couche 82 et éventuellement 86 de l’empilement 78 comportant l’unité de projection 34 et l’unité de compensation 34).
Le système d’observation 10 ainsi implémenté physiquement présente l’avantage d’être un système embarqué de faible encombrement.
D’autres modes de réalisation du système d’observation 10 sont encore possibles.
Par exemple, l’unité de compensation 34 est réalisée sur un autre composant, le composant et l’unité de compensation 34 étant rapportés sur un substrat comprenant des connexions électriques.
Selon un mode de réalisation, le substrat est un interposeur.
En variante ou en complément, le système d’observation 10 comporte un filtrage additionnel qui est mis en œuvre au niveau du capteur événementiel 12.
Le filtrage est, par exemple, un filtrage par groupe de pixels (typiquement 4). Lorsqu’un seul pixel d’un groupe de pixels génère un événement sans corrélation avec ses voisins, cet événement est considéré comme du bruit et donc éliminé.
Pour améliorer un tel filtrage, le groupe de pixels peut, dans certains cas, être programmable selon des règles.
Selon un autre mode de réalisation, le flux d’événements est représenté non sous la forme d’un flux non-continu et asynchrone d’impulsions mais comme une succession de matrices creuses, c’est-à-dire des matrices principalement vides.
Selon une variante ou en complément, le système d’observation 10 comporte, en outre, une unité d’obtention.
L’unité d’obtention est propre à déterminer au moins une caractéristique relative à la nature du mouvement de l’objet.
Notamment, l’unité d’obtention peut déterminer si la nature du mouvement est principalement rotationnelle.
Dans un tel cas, la sous-unité de détermination 58 est propre à envoyer les données issues de la sous-unité de traitement 54 et non les données provenant de l’unité d’évaluation 17.
En référence à la décrite ci-après, il est également possible d’implémenter cet envoi en contrôlant le fonctionnement de l’unité d’évaluation 17.
Cela revient d’une certaine façon à inhiber l’unité d’évaluation 17, sa précision calculatoire n’étant pas utile pour compenser le mouvement du capteur événementiel 12.
En variante, la nature peut aussi indiquer la vitesse du mouvement du capteur événementiel 12, par exemple, une vitesse lente (inférieure ou égale à un premier seuil) et une vitesse rapide (supérieure ou égale à un deuxième seuil, le deuxième seuil étant supérieur ou égal au premier seuil).
L’unité d’obtention est en liaison avec la sous-unité de réception 52 de l’unité de contrôle 40 pour que la sous-unité de réception 52 reçoive les données relatives à la nature du mouvement.
La sous-unité de détermination 58 détermine alors les données à envoyer en fonction des données reçues par l’unité de contrôle 40 et également en fonction de la nature du mouvement.
Cela permet d’obtenir un flux d’événements compensé dans lequel le mouvement du capteur événementiel 12 est mieux compensé pendant l’intervalle de temps d’observation.
Il est à noter que rien n’empêche que l’unité de détermination 90 et une unité de modification soient implémentées physiquement à proximité du capteur événementiel 12, notamment dans la troisième couche 86.
Un autre mode de réalisation est présenté en référence à la .
Dans ce mode de réalisation, la sous-unité de traitement 54 fait partie de l’unité d’évaluation 17 qui comprend, en outre, une sous-unité d’évaluation 100 propre à mettre en œuvre une technique VIO ou SLAM.
La sous-unité de détermination 58 est alors également propre à contrôler le mode de fonctionnement de l’unité d’évaluation 17 qui fournira selon les cas des données provenant de la sous-unité de traitement 54 ou de la sous-unité d’évaluation 100.
Un tel contrôle est matérialisé sur la par la flèche 102.
Ce mode de réalisation correspond à un cas où les données relatives au mouvement du capteur événementiel 12 proviennent toutes d’un élément extérieur à l’unité de contrôle 40.
Un tel mode de réalisation est en particulier avantageux pour bénéficier de l’unité capable de fournir les meilleures données au dispositif de compensation 16 et par là, améliorer la précision de la compensation.
Selon d’autres modes de réalisation correspondant notamment à des applications dans lesquels l’implémentation matérielle est moins contrainte, l’implémentation physique du dispositif de compensation 16 est, par exemple, une implémentation informatique.
A titre non limitatif, un exemple d’une telle implémentation est maintenant décrit en référence à un ordinateur.
L’interaction d’un produit programme d’ordinateur un ordinateur permet de mettre en œuvre le procédé de compensation. Le procédé d’évaluation est ainsi un procédé mis en œuvre par ordinateur.
Plus généralement, l’ordinateur est un calculateur électronique propre à manipuler et/ou transformer des données représentées comme des quantités électroniques ou physiques dans des registres du calculateur et/ou des mémoires en d’autres données similaires correspondant à des données physiques dans des mémoires, des registres ou d’autres types de dispositifs d’affichage, de transmission ou de mémorisation.
Il est à noter que, dans la présente description, l’expression « propre à » signifie indifféremment « adapté pour », « adapté à » ou « configuré pour ».
L’ordinateur comporte un processeur comprenant une unité de traitement de données, des mémoires et un lecteur de support d’informations. L’ordinateur comprend, en variante et en supplément, un clavier et une unité d’affichage.
Le produit programme d’ordinateur comporte un support lisible d’informations.
Un support lisible d’informations est un support lisible par l’ordinateur, usuellement par le lecteur. Le support lisible d’informations est un médium adapté à mémoriser des instructions électroniques et capable d’être couplé à un bus d’un système informatique.
A titre d’exemple, le support lisible d’informations est une disquette ou disque souple (de la dénomination anglaise de «floppy disk»), un disque optique, un CD-ROM, un disque magnéto-optique, une mémoire ROM, une mémoire RAM, une mémoire EPROM, une mémoire EEPROM, une carte magnétique ou une carte optique.
Sur le support lisible d’informations est mémorisé un programme d’ordinateur comprenant des instructions de programme.
Le programme d’ordinateur est chargeable sur l’unité de traitement de données et est adapté pour entraîner la mise en œuvre du procédé d’observation.
Dans chacun des modes de réalisation présentés précédemment et qui peuvent être combinés entre eux pour former de nouveaux modes de réalisation lorsque cela est techniquement possible, il est proposé un dispositif ou un procédé permettant de compenser le mouvement du capteur événementiel dans un flux d’événements généré lors d’une observation d’un environnement qui réduit la capacité calculatoire requise pour permettre une implémentation physique dans un système embarqué tout en conservant les informations utiles captées par le capteur événementiel 12.
Un tel dispositif ou procédé est donc particulièrement adapté pour toute application liée à la vision embarquée. Parmi ces applications, à titre non exhaustif, il peut être mentionné la surveillance, la réalité augmentée, la réalité virtuelle ou les systèmes de vision des véhicules autonomes ou des drones.
Il est à noter qu’un tel dispositif peut également être utilisé non pas pour obtenir des trames compensées mais pour évaluer la position du capteur événementiel 12.
En effet, pour de multiples applications et notamment dans le domaine des véhicules autonomes (voiture, drone ou autres), connaître la position du véhicule est cruciale.
Une telle connaissance est à obtenir sous plusieurs contraintes : une bonne précision (au moins centimétrique, voire millimétrique), une bonne rapidité et une indépendance des conditions extérieures et notamment les conditions lumineuses.
Pour cela, il est connu de mettre en œuvre une technique de fusion de capteurs. Une telle technique consiste à collecter des données provenant de plusieurs capteurs différents du même véhicule et à les combiner pour obtenir la position du véhicule.
De telles techniques de fusion sont notamment utilisées en utilisant des données provenant d’une caméra, d’une centrale inertielle et éventuellement d’un radar ou d’un lidar.
Toutefois, aucun des capteurs précités ne permet de respecter les trois contraintes précitées. En particulier, une caméra n’est pas indépendante des conditions lumineuses extérieures et les autres capteurs ne permettent pas d’obtenir une précision centimétrique en permanence. Il en résulte qu’après mise en œuvre de la technique de fusion, la position estimée ne respecte pas au mieux moins l’une des conditions précitées.
Le système d’évaluation décrit permet de remédier à l’ensemble de ces problématiques puisqu’il permet d’obtenir rapidement une bonne précision de la position du capteur et ce, dans toutes les conditions lumineuses possibles.
Claims (14)
- Dispositif de compensation (16) du mouvement d’un capteur événementiel (12) dans un flux d’événements généré par le capteur événementiel (12) lors d’une observation d’un environnement dans un intervalle de temps, le dispositif de compensation (16) comprenant :
- une unité de compensation (34), l’unité de compensation (34) étant propre à recevoir des données relatives au mouvement du capteur événementiel (12) pendant l’intervalle de temps et propre à appliquer une technique de compensation au flux d’événements générés par le capteur événementiel (12) en fonction des données reçues pour obtenir un flux d’événements compensé dans l’intervalle de temps, et
- une unité de contrôle (40) de l’unité de compensation (34), l’unité de contrôle (40) étant propre à contrôler l’unité de compensation (34) par envoi de données relatives au mouvement du capteur événementiel (12). - Dispositif de compensation selon la revendication 1, dans lequel l’unité de contrôle (40) est propre à envoyer à l’unité de compensation (34) une information d’absence de données disponibles en tant que données relatives au mouvement du capteur événementiel (12), l’unité de compensation (34) délivrant un flux d’événements compensé identiques au flux d’événements généré par le capteur événementiel (12).
- Dispositif de compensation selon la revendication 1 ou 2, dans lequel l’unité de contrôle (40) comporte une sous-unité de traitement (54), l’unité de contrôle (40) étant propre à recevoir des mesures du mouvement du capteur événementiel (12), la sous-unité de traitement (54) étant propre à mettre en œuvre un traitement sur les données de mesures reçues pour obtenir des données traitées, le traitement étant, notamment, une intégration temporelle d’au moins certaines des mesures reçues, l’unité de contrôle (40) étant également propre à envoyer les données traitées à l’unité de compensation (34).
- Dispositif de compensation selon l’une quelconque des revendications 1 à 3, dans lequel l’unité de contrôle (40) est propre à recevoir des positions évaluées du capteur événementiel (12), l’unité de contrôle (40) étant propre à envoyer les positions évaluées à l’unité de compensation (34).
- Dispositif de compensation selon l’une quelconque des revendications 1 à 4, dans lequel l’unité de contrôle (40) comporte, en outre, une sous-unité de détermination (58) propre à déterminer des données relatives au mouvement du capteur événementiel (12) à envoyer, la sous-unité de détermination (58) déterminant les données à envoyer en fonction des données reçues par l’unité de contrôle (40).
- Système comprenant :
- un capteur événementiel (12) générant un flux d’événements lors d’une observation d’un environnement du capteur événementiel (12),
- une unité de mesure (14) propre à mesurer le mouvement du capteur événementiel (12) pendant un intervalle de temps, et
- un dispositif de compensation (16) selon l’une quelconque des revendications 1 à 5,
le système étant un système d’observation d’un environnement ou un système d’évaluation de la position d’un capteur événementiel (12). - Système selon la revendication 6, dans lequel le système (10) comporte, en outre, une unité d’évaluation (17) de la position du capteur événementiel (12) et une unité de reconstruction (36) de trames, l’unité de reconstruction (36) étant propre à générer des trames corrigées à partir du flux d’événements compensé dans l’intervalle de temps, l’unité de contrôle (40) étant distincte de l’unité d’évaluation (17), l’unité d’évaluation (17) étant propre à recevoir des mesures du mouvement du capteur événementiel (12), l’unité d’évaluation (17) étant propre à appliquer une technique d’évaluation aux trames reconstruites en fonction des mesures reçues pour obtenir des positions évaluées du capteur événementiel (12) dans l’intervalle de temps.
- Système selon la revendication 7, dans lequel la technique d’évaluation est une technique d’odométrie visuelle ou une technique de localisation et de cartographie simultanée.
- Système selon la revendication 8, dans lequel le capteur événementiel (12) et le dispositif de compensation (16) font partie d’un même composant comportant un empilement (78) d’au moins trois couches (80, 82, 86), la première couche (80) de l’empilement (78) comportant le capteur événementiel (12), la deuxième couche (82) de l’empilement (78) comportant l’unité de contrôle (40) et la troisième couche (86) comportant l’unité de compensation (34) et l’unité d’évaluation (17).
- Système selon l’une quelconque des revendications 6 à 9, le système (10) comportant, en outre, une unité d’obtention, l’unité d’obtention étant propre à obtenir, pour chaque événement du flux d’événements généré, au moins une caractéristique relative à la nature du mouvement d’un objet associé à l’événement, l’objet étant l’objet de l’environnement ayant entraîné la génération de l’événement par le capteur événementiel (12), le dispositif de compensation (16) comportant également une sous-unité de détermination (58) propre à déterminer des données relatives au mouvement du capteur événementiel (12) à envoyer, la sous-unité de détermination (58) déterminant les données à envoyer en fonction des données reçues par l’unité de contrôle (40) et également en fonction de l’au moins une caractéristique relative à la nature du mouvement.
- Système selon l’une quelconque des revendications 7 à 10 le système étant un système d’évaluation de la position d’un capteur événementiel (12) dans lequel l’unité de compensation (34) est réalisée sur un autre composant, le composant et l’unité de compensation (34) étant rapportés sur un substrat comprenant des connexions électriques, le substrat étant, par exemple, un interposeur.
- Système selon l’une quelconque des revendications 8 à 11, le système étant un système d’évaluation de la position d’un capteur événementiel (12) dans lequel l’unité de compensation (34), l’unité de reconstruction (36), l’unité d’évaluation (17) et l’unité de contrôle (40) sont réalisées sur un même circuit intégré.
- Procédé de compensation du mouvement d’un capteur événementiel (12) dans un flux d’événements généré par le capteur événementiel (12) lors d’une observation d’un environnement dans un intervalle de temps, le procédé de compensation étant mis en œuvre par un dispositif de compensation (16), le dispositif de compensation (16) comprenant une unité de compensation (34) et une unité de contrôle (40) de l’unité de compensation (34), le procédé de compensation comprenant une étape de :
- envoi de données relatives au mouvement du capteur événementiel (12) par l’unité de contrôle (40) à destination de l’unité de compensation (34),
- réception des données relatives au mouvement du capteur événementiel (12) par l’unité de compensation (34),
- application par l’unité de compensation (34) d’une technique de compensation au flux d’événements généré par le capteur événementiel (12) en fonction des données reçues pour obtenir un flux d’événements compensé dans l’intervalle de temps, et
- génération par l’unité de reconstruction (36) de trames corrigées à partir du flux d’événements compensé dans l’intervalle de temps. - Procédé d’évaluation de la position d’un capteur événementiel (12), le capteur événementiel (12) générant un flux d’événements dans un intervalle de temps, le procédé d’évaluation étant mis en œuvre par un système d’évaluation de la position d’un capteur événementiel (12), le système d’évaluation comprenant une unité de compensation (34), une unité de reconstruction (36) de trames, une unité d’évaluation (17) de la position du capteur événementiel (12) et une unité de contrôle (40) de l’unité de compensation (34), l’unité de contrôle (40) étant distincte de l’unité d’évaluation (17), le procédé d’évaluation comprenant une étape de :
- envoi de données relatives au mouvement du capteur événementiel (12) par l’unité de contrôle (40) à destination de l’unité de compensation (34),
- réception des données relatives au mouvement du capteur événementiel (12) par l’unité de compensation (34),
- application par l’unité de compensation (34) d’une technique de compensation au flux d’événements généré par le capteur événementiel (12) en fonction des données reçues pour obtenir un flux d’événements compensé dans l’intervalle de temps,
- génération par l’unité de reconstruction (36) de trames corrigées à partir du flux d’événements compensé dans l’intervalle de temps,
- réception par l’unité d’évaluation (17) de mesures du mouvement du capteur événementiel (12), et
- application par l’unité d’évaluation (17) d’une technique d’évaluation aux trames reconstruites en fonction des mesures reçues pour obtenir des positions évaluées du capteur événementiel (12) dans l’intervalle de temps.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2012539A FR3116977B1 (fr) | 2020-12-02 | 2020-12-02 | Dispositif de compensation du mouvement d’un capteur événementiel, systèmes et procédés associés |
| PCT/EP2021/083486 WO2022117535A1 (fr) | 2020-12-02 | 2021-11-30 | Dispositif de compensation du mouvement d'un capteur événementiel, systèmes et procédés associés |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2012539 | 2020-12-02 | ||
| FR2012539A FR3116977B1 (fr) | 2020-12-02 | 2020-12-02 | Dispositif de compensation du mouvement d’un capteur événementiel, systèmes et procédés associés |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR3116977A1 true FR3116977A1 (fr) | 2022-06-03 |
| FR3116977B1 FR3116977B1 (fr) | 2023-11-17 |
Family
ID=76730579
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR2012539A Active FR3116977B1 (fr) | 2020-12-02 | 2020-12-02 | Dispositif de compensation du mouvement d’un capteur événementiel, systèmes et procédés associés |
Country Status (2)
| Country | Link |
|---|---|
| FR (1) | FR3116977B1 (fr) |
| WO (1) | WO2022117535A1 (fr) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190356849A1 (en) * | 2018-05-18 | 2019-11-21 | Samsung Electronics Co., Ltd. | Cmos-assisted inside-out dynamic vision sensor tracking for low power mobile platforms |
| US20200265590A1 (en) * | 2019-02-19 | 2020-08-20 | The Trustees Of The University Of Pennsylvania | Methods, systems, and computer readable media for estimation of optical flow, depth, and egomotion using neural network trained using event-based learning |
-
2020
- 2020-12-02 FR FR2012539A patent/FR3116977B1/fr active Active
-
2021
- 2021-11-30 WO PCT/EP2021/083486 patent/WO2022117535A1/fr unknown
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190356849A1 (en) * | 2018-05-18 | 2019-11-21 | Samsung Electronics Co., Ltd. | Cmos-assisted inside-out dynamic vision sensor tracking for low power mobile platforms |
| US20200265590A1 (en) * | 2019-02-19 | 2020-08-20 | The Trustees Of The University Of Pennsylvania | Methods, systems, and computer readable media for estimation of optical flow, depth, and egomotion using neural network trained using event-based learning |
Non-Patent Citations (1)
| Title |
|---|
| HENRI REBECQ ET AL: "Real-time Visual-Inertial Odometry for Event Cameras using Keyframe-based Nonlinear Optimization", BRITISH MACHINE VISION CONFERENCE 2017, 7 September 2017 (2017-09-07), XP055417240 * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022117535A1 (fr) | 2022-06-09 |
| FR3116977B1 (fr) | 2023-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2795580B1 (fr) | Procédé d'estimation de flot optique à partir d'un capteur asynchrone de lumière | |
| FR2882160A1 (fr) | Procede de capture d'images comprenant une mesure de mouvements locaux | |
| FR2998666A1 (fr) | Procede de production d'images avec information de profondeur et capteur d'image | |
| EP3272119B1 (fr) | Procédé et dispositif de reconstruction 3d d'une scene | |
| WO2022117535A1 (fr) | Dispositif de compensation du mouvement d'un capteur événementiel, systèmes et procédés associés | |
| EP3979648A1 (fr) | Dispositif de compensation du mouvement d'un capteur événementiel et système d'observation et procédé associés | |
| FR3131163A1 (fr) | Système d’observation et procédé d’observation associé | |
| FR3041458A1 (fr) | Dispositif d'imagerie, vehicule automobile equipe d'un tel dispositif d'imagerie, et procede associe | |
| EP4341897B1 (fr) | Procédé et dispositif de traitement d'une séquence d'images pour la détermination de vignettes poursuivies dans ladite séquence d'images | |
| WO2017060590A1 (fr) | Procede d'optimisation de decomposition d'un signal asynchrone | |
| FR2981149A1 (fr) | Aeronef comprenant un senseur optique diurne et nocturne, et procede de mesure d'attitude associe | |
| EP3895373A1 (fr) | Procede pour verifier l'affichage d'un contenu par un dispositif d'affichage numerique et systeme d'affichage numerique | |
| WO2024194534A1 (fr) | Procede et dispositif de determination d'information de profondeur d'une scene avec des images de ladite scene prises par au moins deux cameras | |
| EP4327549A1 (fr) | Dispositif de capture optique | |
| CA3231635A1 (fr) | Procede pour l'acquisition d'images multispectrales et d'imagettes panchromatiques | |
| WO2024194535A1 (fr) | Procede et dispositif de determination d'information de profondeur d'une scene avec des images de ladite scene prises par au moins deux cameras au sein d'un appareil utilisateur | |
| WO2023161568A1 (fr) | Procédé de calcul de surfaces tridimensionnelles pour véhicule équipé d'un système d'aide à la conduite | |
| EP4349002A1 (fr) | Procede de traitement de données de pixels, dispositif et programme correspondant | |
| WO2024194536A1 (fr) | Procede et dispositif de determination d'information de profondeur d'une scene avec des images de ladite scene prises par au moins deux cameras au sein d'un vehicule | |
| EP4186227A1 (fr) | Capteur pour mesure de distance par temps de vol avec pixel à noeuds memoires multiples | |
| FR3118747A1 (fr) | Procédé et dispositif de détermination d’information représentative d’adhérence entre un véhicule et un revêtement d’une route | |
| WO2024194538A1 (fr) | Procede et dispositif d'enrichissement d'une image d'une scene, au sein d'un appareil utilisateur | |
| EP2023289A1 (fr) | Procédé et dispositif de détection de mouvement à double filtrage adaptatif | |
| FR2661510A1 (fr) | Procede et dispositif d'imagerie optique a trois dimensions. | |
| FR3019365A1 (fr) | Procede de commande d'affichage et dispositif pour la mise en oeuvre du procede |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20220603 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |
|
| PLFP | Fee payment |
Year of fee payment: 4 |