EP1922706A1 - Procede d'assistance a la conduite d'un vehicule et dispositif associe ameliore - Google Patents

Procede d'assistance a la conduite d'un vehicule et dispositif associe ameliore

Info

Publication number
EP1922706A1
EP1922706A1 EP06808298A EP06808298A EP1922706A1 EP 1922706 A1 EP1922706 A1 EP 1922706A1 EP 06808298 A EP06808298 A EP 06808298A EP 06808298 A EP06808298 A EP 06808298A EP 1922706 A1 EP1922706 A1 EP 1922706A1
Authority
EP
European Patent Office
Prior art keywords
cell
probability
grid
occupation
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP06808298A
Other languages
German (de)
English (en)
Other versions
EP1922706B1 (fr
Inventor
Manuel Yguel
Kamel Mekhnacha
Christian Laugier
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Probayes
Original Assignee
Probayes
Institut National de Recherche en Informatique et en Automatique INRIA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Probayes, Institut National de Recherche en Informatique et en Automatique INRIA filed Critical Probayes
Publication of EP1922706A1 publication Critical patent/EP1922706A1/fr
Application granted granted Critical
Publication of EP1922706B1 publication Critical patent/EP1922706B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/164—Centralised systems, e.g. external to vehicles

Definitions

  • the subject of the invention is that of assistance in driving a vehicle. More particularly, the invention relates to an assistance function making it possible to anticipate collisions between the vehicle and objects present in the environment of the vehicle in question.
  • ABS Anti-Braking System
  • the ultimate goal of these assistance functions is to reduce road safety.
  • ACC Adaptive Cruise Contrai
  • ACC Adaptive Cruise Contrai
  • the ACC system can only be used on highways when driving situations are simple.
  • an assistance function to avoid collisions, which operates in a complex environment, particularly in an urban environment. Indeed, in the latter case, the vehicle may collide with objects of various kinds, sometimes vulnerable and unpredictable behavior. In particular, an object may be temporarily obscured by another object in the scene. This is for example the case of a masked pedestrian behind a parked vehicle.
  • the object of the invention is to provide an assistance function making it possible to anticipate collisions that can be implemented in a complex environment.
  • the invention also aims to meet the aforementioned drawbacks and in particular to take into account the occultations of objects.
  • the invention In order to be effectively embarked on board a vehicle, the invention must make it possible to take into account as accurately as possible the objects of the scene, limiting as much as possible the errors on the presence of an object in a given scene location. .
  • the invention must be implemented almost in real time to take into account rapid changes in the scene.
  • FIG. 1 schematically shows a vehicle carrying the driver assistance device according to the invention.
  • a - General Description of an Embodiment The driving assistance method according to the invention is implemented on a vehicle 1 shown schematically in FIG.
  • the vehicle 1 comprises four wheels 2a-d.
  • the front wheels 2a and 2b are for example driven by a heat engine.
  • Each of the wheels 2a-d is equipped with braking means 3a-d.
  • the front wheels 2a and 2b are equipped with brakes hydraulic, while the rear wheels 2c and 2d are equipped with electromechanical brakes 3c and 3d.
  • the vehicle 1 comprises a plurality of sensors. Speed sensors 4a-d are arranged on each of the wheels 2a-2d. Each speed sensor makes it possible to measure the speed of rotation of the wheel that it equips.
  • the vehicle 1 is also equipped with an acceleration sensor 5.
  • the various sensors deliver signals that are routed via a communication network (for example of the CANBus type) to a central computing unit 6.
  • computation 6 comprises a processor capable of executing the instructions of a computer program.
  • the calculation unit 6 also comprises storage means for permanently storing said instructions and predefined parameters or ephemeral results of calculations performed by said processor.
  • the computing unit also has a clock for timing and synchronizing its operation.
  • the computing unit 6 has input / output interfaces allowing the input reception of the signals coming from the different sensors and the output of control signals towards actuators.
  • the calculation unit 6 calculates from the different signals emitted by the speed sensors 4a-d, the longitudinal speed of the vehicle 1.
  • the calculation unit 6 may comprise brake management functions, for example of the ABS type ("Anti-lock braking System" for "anti-locking wheels”). As a function of the speed, the calculation unit 6 determines the sliding of each of the wheels. When the slippage of one of the wheels is greater than a predetermined threshold, the calculation unit 6 emits a brake actuation signal so as to reduce slippage on the wheel in question. This additional braking is not managed at all by the driver of the vehicle for which this operation is completely transparent.
  • brake management functions for example of the ABS type ("Anti-lock braking System" for "anti-locking wheels”
  • the vehicle 1 is equipped with at least one sensor for detecting the presence of an object.
  • the sensor 10 shown is a laser range finder. It can detect objects present in a "field of view" or corresponding detection zone, in a horizontal plane, to a cone of total opening angle ⁇ o of about 90 ° to a depth p 0 of about 20 m in front of the vehicle.
  • the sensor on board the vehicle could be a detector of the laser or sonar type, or even a CCD camera.
  • CCD camera it is necessary to understand not only the detector, but also the pre-processing electronics of the image which produces a signal comprising exploitable information.
  • the pre-processing electronics is able to generate a frame around a moving object by grouping all the points of the moving image of the same speed.
  • the senor has been represented in the front position on the vehicle 1 so that the detection zone is in front of it.
  • the sensor can be arranged so that it allows assistance during a reverse or closing of the bus doors, the detection zone then being behind the vehicle or on the side of it.
  • the presence detection sensors of objects can be arranged in a fixed manner in the landscape.
  • a sensor 10 ' which can be attached to an element of the road infrastructure such as a bus shelter, a guardrail, a sign or the equivalent.
  • the sensor 10 ' is equipped with transmission means, which, either directly or through relay means, make it possible to transmit a detection signal to the vehicle 1.
  • the latter equipped with reception means schematized by the antenna 8, is suitable to put the detected object back into its own repository.
  • the vehicle 1 comprises positioning means of the GPS type possibly with local positioning beacons.
  • the laser rangefinder comprises a source 10a emitting a directional beam. In a period of time marked by an integer k and having a sampling period of the order of 10 ms, the beam sweeps the opening cone ⁇ o. Part of the energy of the emitted beam is reflected by an object towards the vehicle 1.
  • a receiver 10b detects the reflected beam.
  • the data acquisition electronics 10c of the sensor 10 determines the distance p and the angular position ⁇ of the detected object.
  • a laser range finder does not provide a measure of speed. This is why the acquisition electronics may optionally perform a preprocessing step for estimating a value of the speed of the detected object, for example based on a nearest neighbor algorithm between two successive measurements of the depth and angular position of the detected object.
  • the sensor 10 emits a signal corresponding to a measurement in position and, possibly, in speed of the detected object at time k.
  • the measurements are made relative to the reference frame of the vehicle 1.
  • the positioning data of an object is transmitted to the vehicle 1 which, in a simple manner, can determine the position of the object detected by change of reference, taking into account its position, its speed and its acceleration with respect to the static sensor, dynamic values which are obtained as indicated above by means of a system Positioning GPS type.
  • the measurement made by the sensor 10 is transmitted, via communication lines, at the input of the calculation unit 6.
  • the spatial domain ⁇ in which it is desired to determine the presence of an object corresponds to a rectangular zone in front of the vehicle 1. This two-dimensional zone is marked by Cartesian coordinates: Xi in the longitudinal direction 1 and X2 in the direction cross.
  • this spatial domain ⁇ is digitized. It is cut into cells having a predetermined regular pitch ⁇ X1 in the direction Xi and ⁇ X 2 in the direction X 2 . It is therefore the regular and static discretization of the vehicle environment in the form of a set of N X-cells (Xi, X 2 ).
  • the two-dimensional grid currently used has of the order of 100,000 cells. In the embodiment of the figurel, it typically extends 20 m along X and 20 m X 2 . As shown in the figure
  • the spatial domain ⁇ is not superimposed exactly on the detection zone covered by the sensor 10.
  • the algorithm according to the invention is coded so as to be fully parallelizable. Its implementation can be done by means of an electronic card comprising N processors operating in parallel. Each processor calculates the probability of occupation of the cell of the grid that it represents.
  • the algorithm according to the invention is subdivided schematically into several modules: the first module consists of modeling the response of the sensor.
  • This "sensor model” is based on a probability distribution P (Z k
  • E x k X) indicates the probability of observation Z k knowing the state E k x of cell X at time k.
  • capital letters indicate a variable that can take a set of possible values indicated in lowercase.
  • the second module is a prediction module. It makes it possible to predict the state E k x of the cell X at the instant k taking into account the state of the gate at time k-1.
  • the third module is an estimation module making it possible to calculate the occupation probability E k x of the cell X at the instant k taking into account the observations Z k at the instant k, and the result of the prediction step obtained at the output of the second module.
  • a fourth module finally allows to associate the cells of the grid whose probability of occupation is high a magnitude indicating a collision risk and to emit a suitable signal.
  • the information recovered by the sensor is limited in precision. Many factors affect the accuracy of the measurement: temperature, lighting, color of the object, etc. To make the most of the measurements, it is important to take into account the sound of the magnitude observed.
  • the sensor response is described by a probabilistic model specified as a Bayesian program.
  • the relevant variables of the problem are the Z observation; the X cell; the variable E x meaning that an object exists in the cell X; and, the variable D x meaning that an object has been detected in the cell X.
  • an object occupies the X cell, but it is not detected by the sensor. This is for example the case when the X cell is outside the detection zone of the sensor, the X cell is masked by another object, or when the sensor is faulty;
  • conditional probability P (Z, X, E x , D x ), expressing the conjunction of the various variables selected, is advantageously decomposed into the form:
  • X) represent a priori knowledge about the environment of the vehicle. At first, in order not to privilege any particular situation, these distributions are chosen uniform. But, as will be explained below, P (E X
  • PD (X) and PFA (X) can be estimated from a modeling of the physical characteristics of sensors and detected objects. They can also be “learned” experimentally in the particular conditions of use of the sensor during a first calibration step.
  • the occupancy grid is a spatial grid. Consequently, for each value of the speed (two dimensions) one has to store a two-dimensional occupation grid. As a result, it is necessary to store a large amount of data in order to have an accurate representation of the environment, ie to monitor large areas of the environment with a fine discretization step to distinguish the objects. Besides the problem of the memory size required, the speed of data processing is a crucial parameter in a real-time application.
  • a data structure representing the occupancy grid but having a reduced memory size is used.
  • the update of the probability of occupation of cell x corresponds to:
  • This update chain is used with the initial distribution which is chosen uniform since no information about the environment is a priori available.
  • the logarithm of the variable q k can be taken into account so as to transform the product into a sum in the preceding relation:
  • the advantage of passing through the log ( ⁇ ) variable is that it is easy to compress the equivalent occupation grid by performing a wavelet transform, for example by means of Haar wavelets, and then removing the low amplitude coefficients.
  • wavelet transform is widely described in the literature and has been the subject of numerous publications both scientific and popularization. It will be noted that, advantageously, the space of the signals transformed into wavelets is a vector space, which is as such stable by the addition and multiplication operations by a scalar. Moreover, the wavelet transformation is a linear operation with respect to the number of data, which guarantees a fast execution of the compression algorithm.
  • Y (Z 1, Z, XE x ) P (X) P ( ⁇ IX) ⁇ P ( ⁇ IE x X).
  • E x , X) is the model of the i th sensor as described in detail above.
  • the modules for predicting and estimating a probability of occupation at time k implement the notion of Bayesian filter applied to the occupation grids.
  • a Bayesian filter is used to predict the temporal evolution of a system. The purpose here is to give the occupancy grid a certain robustness allowing it to take into account a sensor failure or the transient occultation of an object in the risk assessment.
  • a prediction step whose goal is to estimate a priori the state of occupation of the cell.
  • An estimation step whose purpose is to calculate the occupation probability taking into account the prior estimate and the instantaneous observation.
  • the variables considered are:
  • P (E x , X 'z) is the estimated occupancy probability of cell X' at time k-1; where P (E x k is the transition probability of any intermediate state (E x : 1 , X ') of the system at time k-1 to the considered state (E x , X), ie corresponds to the dynamic model of the system; and where we sum on the set of possible intermediate states (E *: 1 , X ').
  • the two-dimensional Cartesian space is continuously discretized, then, in a second step, the number of possible speed planes is restricted.
  • the allowed movements are those that exactly pass a cell to another cell in a number n times the sampling interval ⁇ t.
  • a velocity plane is a two-dimensional spatial grid that is associated with a triplet (p, q, n) defining a velocity. There is certainly a discretized speed space, but it is not continuous.
  • the factor 1 / n makes it possible to consider the velocity plane (p, q, n) only at a frequency 1 / n. for a low-speed plane, the integral will only be calculated at a low frequency, but a plane in which a high-speed object is located will be observed at a higher frequency so as to take into consideration the rapid evolution of the behavior of this object.
  • a spatial region (2D) around a central cell X 0 type is delimited; a maximum number n max of time step is defined.
  • the set of cells in this region are those that can reach the central cell X 0 in 1, 2, ... n max no time.
  • V f The set of possible velocities V f of the form (p / n ( ⁇ xi / ⁇ t), q / n ( ⁇ x 2 / ⁇ t)) that allow one of the cells of this region to propagate towards the central cell X 0 in at most n max no time is determined;
  • each element (p, q, i) belonging to one of the V fi is associated a two-dimensional spatial grid G ⁇ P , q) .
  • the antecedent of a cell (I, m) of this grid is the cell (lp, mq).
  • a counter k giving the index of the time step, incremented by one unit at each iteration evolves between the null value and the value corresponding to the least common multiple of the numbers 2 and n max . (Indeed, we must consider the smallest common multiple since it is a set of loops nested in each other). At the beginning of the process, it is instantiated at the null value; The probability of occupying the cell.
  • Y (XE x MZ) F (X) Y [E x
  • This relation is a static relation, which is made dynamic by introducing the estimation / prediction loop described previously on a set of variables between an initial moment 0 and a present instant k.
  • the association variable M k indexed by time, makes it possible to associate with the estimation of the state, one of the O k observations made at time k.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Train Traffic Observation, Control, And Security (AREA)
  • Inorganic Insulating Materials (AREA)
  • Regulating Braking Force (AREA)
  • Vehicle Body Suspensions (AREA)

Description

Procédé d'assistance à la conduite d'un véhicule et dispositif associé amélioré
L'invention a pour domaine celui de l'assistance à la conduite d'un véhicule. Plus particulièrement, l'invention est relative à une fonction d'assistance permettant d'anticiper les collisions entre le véhicule et des objets présents dans l'environnement du véhicule considéré.
Des fonctions d'assistance à la conduite sont disponibles sur les véhicules actuels pour pallier aux éventuelles erreurs de conduite. Par exemple, la fonction ABS (Anti-Braking System) permet de limiter le glissement des roues et donc de réduire la distance de freinage. Le but ultime de ces fonctions d'assistance est de réduire l'insécurité routière.
A ce titre, on a cherché à mettre au point des fonctions permettant de maintenir une distance de sécurité entre deux véhicules. Ainsi, le système ACC (« Adaptative Cruise Contrai » ou « contrôle adaptatif de la vitesse de croisière ») est disponible sur certains véhicules. Il permet de détecter le véhicule précédent le véhicule équipé d'un laser ou d'une caméra, d'estimer la vitesse et la distance du véhicule précédent, puis de contrôler la vitesse du véhicule équipé pour maintenir la distance de sécurité.
Mais, le système ACC ne peut être utilisé que sur des autoroutes lorsque les situations de conduite sont simples.
Il y a donc un besoin pour une fonction d'assistance, permettant d'éviter les collisions, qui fonctionne dans un environnement complexe, en particulier dans un environnement urbain. En effet, dans ce dernier cas, le véhicule risque de rentrer en collision avec des objets de nature variés, parfois vulnérables et qui ont un comportement imprévisible. En particulier, un objet peut être temporairement occulté par un autre objet de la scène. C'est par exemple le cas d'un piéton masqué derrière un véhicule en stationnement.
Pour répondre à ce problème, certains travaux s'orientent vers un procédé de poursuite multipistes permettant de maintenir une liste de pistes qui représentent chacune un objet supposé être présent dans l'environnement. A chaque nouvelle série d'observations, il s'agit de réaliser une étape d'association des nouvelles mesures avec les pistes existantes ; une étape de modification de la liste de pistes en créant, en confirmant ou en supprimant une piste ; une étape de prédiction de l'état instantané de chaque piste au moyen d'un filtre du type filtre de Kalman ; et une étape de fenêtrage permettant d'associer à une piste les observations à venir autour de l'état estimé de cette piste. Mais cette méthode multipistes présente des problèmes de fiabilité, en particulier lors de l'étape d'association et de l'étape de modification de la liste des pistes. De plus, la représentation de l'environnement au moyen d'une liste de pistes est la cause d'une perte importante de l'information disponible. Par exemple, le procédé multipiste ne permet pas de retenir l'information sur les zones de l'environnement qui sont masquées par un objet.
L'invention a pour but de fournir une fonction d'assistance permettant d'anticiper les collisions qui puisse être mise en œuvre dans un environnement complexe. L'invention a également pour but de répondre aux inconvénients précités et en particulier de tenir compte des occultations d'objets. Pour être effectivement embarqué à bord d'un véhicule, l'invention doit permettre une prise en compte aussi précise que possible des objets de la scène, en limitant au maximum les erreurs sur la présence d'un objet en un lieu donné de la scène. De plus l'invention doit pouvoir être mise en œuvre quasiment en temps réel de manière à prendre en compte des modifications rapides de la scène.
L'invention sera mieux comprise et d'autres buts, détails, caractéristiques et avantages de celle-ci apparaîtront plus clairement au cours de la description donnée uniquement à titre illustratif et non limitatif en référence au dessin annexé.
La Figure 1 représente de manière schématique un véhicule embarquant le dispositif d'aide à la conduite selon l'invention. A - Description générale d'un mode de réalisation Le procédé d'assistance à la conduite selon l'invention est mis en œuvre sur un véhicule 1 représenté schématiquement sur la figure 1.
De manière connue, le véhicule 1 comporte quatre roues 2a-d. Les roues avant 2a et 2b sont par exemple entraînées par un moteur thermique. Chacune des roues 2a-d est équipée de moyens de freinage 3a-d. Par exemple, les roues avant 2a et 2b sont équipées de freins hydrauliques, alors que les roues arrière 2c et 2d sont équipées de freins électromécaniques 3c et 3d.
Le véhicule 1 comporte une pluralité de capteurs. Des capteurs de vitesse 4a-d sont disposés sur chacune des roues 2a-2d. Chaque capteur de vitesse permet de mesurer la vitesse de rotation de la roue qu'il équipe. Le véhicule 1 est également équipé d'un capteur d'accélération 5. Les différents capteurs délivrent des signaux qui sont acheminés via un réseau de communication (par exemple du type CANBus) jusqu'à une unité centrale de calcul 6. L'unité de calcul 6 comporte un processeur apte à exécuter les instructions d'un programme informatique. L'unité de calcul 6 comporte également des moyens de mémorisation permettent de stocker de manière permanente lesdites instructions et des paramètres prédéfinis ou de manière éphémère les résultats des calculs effectués par ledit processeur. L'unité de calcul comporte également une horloge permettant de cadencer et de synchroniser son fonctionnement.
De plus l'unité de calcul 6 comporte des interfaces entrée/sortie permettant la réception en entrée des signaux provenant des différents capteurs et l'émission, en sortie, de signaux de contrôle en direction d'actionneurs.
L'unité de calcul 6 calcule à partir des différents signaux émis par les capteurs de vitesse 4a-d, la vitesse longitudinale du véhicule 1.
L'unité de calcul 6 peut comporter des fonctions de gestion du freinage, par exemple du type ABS (« Anti-lock braking System » pour "anti-blocage des roues"). En fonction de la vitesse, l'unité de calcul 6 détermine le glissement de chacune des roues. Lorsque le glissement d'une des roues est supérieur à un seuil prédéterminé, l'unité de calcul 6 émet un signal d'actionnement des freins de manière à réduire le glissement sur la roue considérée. Ce freinage supplémentaire n'est pas du tout géré par le conducteur du véhicule pour qui cette opération est totalement transparente.
Selon l'invention, le véhicule 1 est équipé d'au moins un capteur permettant de détecter la présence d'objet. Différents types de capteurs peuvent être utilisés. Par exemple, sur la figure 1 , le capteur 10 représenté est un télémètre laser. Il permet de détecter des objets présents dans un « champ de vision » ou zone de détection correspondant, dans un plan horizontal, à un cône d'angle d'ouverture totale φo d'environ 90° sur une profondeur p0 d'environ 20 m en avant du véhicule. En variante de ce mode de réalisation, le capteur embarqué sur le véhicule pourrait être un détecteur du type laser ou sonar, ou encore une caméra CCD. Par caméra CCD, il faut comprendre non seulement le détecteur, mais également l'électronique de pré-traitement de l'image qui produit un signal comportant une information exploitable. Par exemple, l'électronique de pré-traitement est apte à générer un cadre autour d'un objet en mouvement en regroupant l'ensemble des points de l'image animés de la même vitesse.
Sur la figure 1 , le capteur a été représenté en position avant sur le véhicule 1 pour que la zone de détection soit en avant de celui-ci. En variante, par exemple dans le cas d'un bus pour lequel les angles morts sont importants, le capteur peut être disposé de telle sorte qu'il permette une assistance lors d'une marche arrière ou de la fermeture des portes du bus, la zone de détection étant alors en arrière du véhicule ou bien sur le côté de celui-ci.
Dans encore une autre variante de réalisation, les capteurs de détection de présence d'objets peuvent être disposés de manière fixe dans le paysage. Sur la figure 1 , nous avons représenté un tel capteur 10' qui peut être fixé sur un élément de l'infrastructure routière tel qu'un abri de bus, une glissière de sécurité, un panneau de signalisation ou l'équivalent. Le capteur 10' est équipé de moyens d'émission, qui, soit directement soit au travers de moyens relais, permettent de transmettre un signal de détection au véhicule 1. Ce dernier, équipé de moyens de réception schématisés par l'antenne 8 est apte à replacer l'objet détecté dans son propre référentiel. Pour déterminer sa position et sa vitesse relativement au capteur 10', le véhicule 1 comporte des moyens de positionnement du type GPS avec éventuellement des balises de positionnement locales.
Le télémètre laser comporte une source 10a émettant un faisceau directionnel. En une période de temps repérée par un entier k et ayant une période d'échantillonnage de l'ordre de 10 ms, le faisceau balaie le cône d'ouverture φo. Une partie de l'énergie du faisceau émis est réfléchie par un objet en direction du véhicule 1. Un récepteur 10b détecte le faisceau réfléchi. L'électronique d'acquisition de données 10c du capteur 10 détermine, la distance p et la position angulaire Φ de l'objet détecté. Un télémètre laser ne permet pas de fournir une mesure de vitesse. C'est pourquoi l'électronique d'acquisition peut éventuellement effectuer une étape de prétraitement permettant d'estimer une valeur de la vitesse de l'objet détecté, sur la base par exemple d'un algorithme de plus proche voisin entre deux mesures successives de la profondeur et de la position angulaire de l'objet détecté. Finalement, le capteur 10 émet un signal correspondant à une mesure en position et, éventuellement, en vitesse de l'objet détecté à l'instant k.
Les mesures sont faites relativement au référentiel du véhicule 1. Dans le cas d'un capteur statique disposé dans le paysage, tel que le capteur 10', les données de positionnement d'un objet sont transmises au véhicule 1 qui, de manière simple, peut déterminer la position de l'objet détecté par changement de référentiel, compte-tenu de sa position, de sa vitesse et de son accélération par rapport au capteur statique, valeurs dynamiques qui sont obtenues comme indiqué ci- dessus au moyen d'un système de positionnement type GPS.
La mesure faite par le capteur 10 est transmise, via des lignes de communication, en entrée de l'unité de calcul 6. L'unité de calcul 6 exécute alors les instructions de la partie logicielle de l'invention avec une période égale à la période d'échantillonnage du capteur, à savoir Δt=10ms.
L'exécution de ces instructions permet à chaque instant k, d'abord de calculer la probabilité d'occupation d'une région de l'espace par un objet, puis d'associer à cette région de l'espace occupée un niveau de danger. Pour éviter une collision, l'utilisation de l'information correspondant au niveau de danger, peut être faite sous la forme d'une alarme visuelle et/ou sonore indiquant la présence de l'objet au conducteur ou sous la forme d'une commande d'actionnement des freins pour atteindre une vitesse de consigne permettant d'éviter le danger détecté. II est nécessaire que l'exécution de la partie logicielle selon l'invention se fassent entièrement pendant la période Δt, c'est-à-dire quasiment en temps réel. Cette spécification impose des contraintes sur l'algorithme de la présente invention compte tenu des puissances de calcul disponibles actuellement. Typiquement, l'unité de calcul 6 est équipée d'un processeur du type Pentium IV fonctionnant à une fréquence de 2 GHz et d'une capacité mémoire de l'ordre 100 Go. B - Notion de grille d'occupation
Le domaine spatial ξ dans lequel on cherche à déterminer la présence d'un objet correspond à une zone rectangulaire en avant du véhicule 1. Cette zone à deux dimensions est repérée par des coordonnées cartésiennes : Xi dans la direction longitudinale 1 et X2 dans la direction transversale.
Pour obtenir une grille G, ce domaine spatial ξ est numérisé. Il est découpé en cellules ayant un pas régulier prédéterminé ΔX1 selon la direction Xi et ΔX2 selon la direction X2. Il s'agit donc de la discrétisation régulière et statique de l'environnement du véhicule sous la forme d'un ensemble de N cellules X (Xi, X2). La grille à deux dimensions actuellement utilisée possède de l'ordre de 100 000 cellules. Dans le mode de réalisation de la figurel , elle s'étend typiquement de 20 m selon Xi et de 20 m selon X2. Comme cela est représenté sur la figure
1 , le domaine spatial ξ ne se superpose pas exactement à la zone de détection couverte par le capteur 10.
On obtient alors une grille d'occupation en associant à chacune des cellules de la grille un nombre représentant la probabilité qu'un objet occupe cette cellule.
On cherche alors à déterminer la probabilité que la cellule x soit dans l'état occupé Ek x=1 à l'instant k, compte tenu de la série d'observations z° ... zk réalisées au cours du temps. Cette probabilité d'occupation est notée P(Ek x|z°...zk x). Selon une convention classique du domaine des probabilités, P(A|B) signifie la probabilité d'obtenir A, la valeur de B étant connue. Il est à noter que « l'observation zk » n'est pas directement la mesure en p et Φ donnée par le capteur, mais correspond plutôt à cette mesure rapportée au niveau de la cellule : si une mesure indique la présence d'un objet en p et Φ, zk vaut 1 pour la cellule xk associée aux coordonnées p et Φ, et vaut 0 ailleurs.
Une hypothèse est faite quant à l'indépendance de l'état Ex d'une cellule de la grille par rapport aux autres cellules, et en particulier des cellules voisines. Cette hypothèse a pour but de réduire les corrélations entre cellules et donc, de simplifier le calcul de la probabilité d'occupation sur l'ensemble des N cellules X de la grille G. En effet, cela revient alors à répéter N fois le calcul permettant d'estimer la probabilité d'occupation d'une seule cellule. Avantageusement, l'algorithme selon l'invention est codé de manière à être entièrement parallélisable. Sa mise en œuvre peut être faite au moyen d'une carte électronique comportant N processeurs fonctionnant en parallèle. Chaque processeur calculant la probabilité d'occupation de la cellule de la grille qu'il représente. L'algorithme selon l'invention se subdivise de manière schématique en plusieurs modules : le premier module consiste à modéliser la réponse du capteur. Ce « modèle capteur » se fonde sur une distribution de probabilité P(Zk|Ex k X) qui indique la probabilité de l'observation Zk connaissant l'état Ek x de la cellule X à l'instant k. Il est à noter que les majuscules indiquent une variable pouvant prendre un ensemble de valeurs possibles indiquées en minuscule. Par instanciation d'une variable A, il faut entendre la valeur particulière a que prend cette variable A. le deuxième module est un module de prédiction. Il permet de prévoir l'état Ek x de la cellule X à l'instant k compte tenu de l'état de la grille à l'instant k-1. le troisième module est un module d'estimation permettant de calculer la probabilité d'occupation Ek x de la cellule X à l'instant k compte tenu des observations Zk à l'instant k, et du résultat de l'étape de prédiction obtenu en sortie du deuxième module. un quatrième module permet enfin d'associer aux cellules de la grille dont la probabilité d'occupation est élevée une grandeur indiquant un risque à collision et d'émettre un signal adapté. C - Modélisation d'un capteur télémétrique
L'information récupérée par le capteur est limitée en précision. De nombreux facteurs affectent la précision de la mesure : température, éclairage, couleur de l'objet, etc. Pour exploiter au maximum les mesures, il est important de tenir compte du bruitage de la grandeur observée. Selon l'invention, la réponse du capteur est décrite par un modèle probabiliste spécifié sous forme d'un programme bayésien.
Les variables pertinentes du problème sont l'observation Z ; la cellule X ; la variable Ex signifiant qu'un objet existe dans la cellule X ; et, la variable Dx signifiant qu'un objet a été détecté dans la cellule X.
La conjonction des variables Ex et Dx permet d'expliciter les quatre situations possibles suivantes :
-[Ex - 1] A [DX = 1] : un objet occupe effectivement la cellule X, et il a été détecté par le capteur; - [Ex - 0] A [DX = 0] : la cellule est vide, et le capteur n'y détecte effectivement rien.
- [Ex - 1] Λ [Dx = 0] : un objet occupe la cellule X, mais il n'est pas détecté par le capteur. C'est par exemple le cas lorsque la cellule X est en dehors de la zone de détection du capteur, que la cellule X est masquée par un autre objet, ou encore lorsque le capteur est défaillant ;
- [Ex - 0] Λ [Dx = 1] : la cellule X est vide et pourtant le capteur y détecte un objet.
Ces deux dernières situations correspondent à une défaillance du capteur. Le probabilité conditionnelle P(Z, X, Ex , Dx ) , exprimant la conjonction des différentes variables sélectionnées, se décompose avantageusement sous la forme :
P(X) et P(EX|X) représentent des connaissances a priori sur l'environnement du véhicule. Dans un premier temps, afin de ne privilégier aucune situation particulière, ces distributions sont choisies uniformes. Mais, comme cela sera explicité ci-dessous, P(EX|X) permettra de tenir compte de l'historique de la scène.
La probabilité P(DX|EX X) représente la capacité du capteur à détecter ou non une cible, ou bien à générer des fausses alarmes : - P([DX = 1] \[EX = ï\,X) = PD(X) représente la probabilité de détection. - P([Dx = 0] \[Ex =l],X) = l-PD(X) représente la probabilité que le capteur manque une cible existante.
- PaDx =I] I[Ex = O]5X) = Z^(X) représente la probabilité de fausse alarme. - P([DX = 0] |[EX = O]5 X) = I - PFA (X) .
Ces distributions de probabilités dépendent du capteur et des conditions dans lesquelles il est utilisé. PD(X) et PFA(X) peuvent être estimées à partir d'une modélisation des caractéristiques physiques des capteurs et des objets détectés. Elles peuvent également être "apprises" expérimentalement dans les conditions particulières d'utilisation du capteur au cours d'une première étape de calibration.
Il reste à définir les différentes formes paramétriques associées à la famille de distribution P(Z | Dx, Ex, X) suivant les valeurs de Dx et de Ex. PiZ\[Dx = I][Ex = 0], X) et P(Zl[Dx = I][Ex = I]5X) indiquent qu'une détection a eu lieu pour la cellule X. Il s'agit d'une autre formulation de la fonction de vraisemblance du capteur. Le plus souvent une famille de distributions normales est utilisée : où, pour une valeur de X donnée, la moyenne μ(X) de la distribution normale représente la réponse attendue du capteur. La matrice de covariance Σ(X) permet de représenter les variations possibles de la réponse du capteur autour de la réponse attendue. En ce sens, elle représente la précision du capteur. Les paramètres du modèle capteur, comme la moyenne et la matrice de covariance dans le cas Gaussien, peuvent être acquis au cours d'une deuxième étape de calibration du capteur.
/>(Z|[DX = O][Ex = 0],X) indique que la cellule X est vide, et qu'aucune détection n'a eu lieu dans cette cellule. En considérant uniquement ces informations, il est difficile de dire quelle peut être la valeur de l'observation Z dans une autre cellule. On choisit une distribution uniforme.
P(Z\[DX = O][Ex = I]5X) indique que la cellule X est occupée par un objet, et qu'aucune détection n'a eu lieu. Soit un objet masque la cellule X et a été détecté par le capteur, soit l'objet présent dans la cellule X n'est pas masqué, et n'a pas été détecté. On décide que la probabilité pour la mesure Z d'être dans une zone masquée par la cellule X est différente de celle des zones non masquées.
Une fois les paramètres du modèle donnés, la description précédente peut être utilisée pour calculer la probabilité capteur :
F(M)F(Sa \ ∞) Σpx P[Dχ I e* x)P [Z \ Dx e» x) | *) ∑ P[Dx I e* X)T[Z \ Dx e* x)
=1
= Y1 P[Dx \ e* X)P[Z I Dx es x).
Dx D Grille d'occupation équivalente et compression
Dans le mode de réalisation actuellement envisagé de l'invention, la grille d'occupation est une grille spatiale. En conséquence, pour chaque valeur de la vitesse (deux dimensions) il faut stocker une grille d'occupation à deux dimensions. Il s'ensuit qu'il est nécessaire de stocker un grand nombre de données pour disposer d'une représentation précise de l'environnement, i.e. surveiller de larges zones de l'environnement avec un pas de discrétisation fin pour y distinguer les objets. Outre, le problème de la taille mémoire requise, la vitesse de traitement des données est un paramètre crucial dans une application temps réel.
Selon l'invention, on utilise une structure de données représentant la grille d'occupation mais qui possède une taille mémoire réduite.
Dans un premier temps, nous allons décrire la manière dont la probabilité d'occupation d'une cellule est mise à jour à l'instant k à partir d'une nouvelle observation. Soit Z une variable aléatoire dont l'ensemble des événements possibles correspond à l'ensemble des mesures possible d'un capteur. Soit P(Z|EX) la distribution de probabilité conditionnelle sur Z sachant l'état d'occupation Ex de la cellule considérée x. On a alors la distribution conjointe P(Z1Ex) = P(Ex) P(Z|EX), où P(Ex) correspond à un a priori sur le fait que la cellule x est occupée.
Pour une nouvelle mesure zk et une valeur d'occupation ex de la cellule x, la règle de Bayes donne :
avec : p(zk ) = p(ex = l)p(zk ex = l) + p(ex = 0)p(zk ex = 0)
La mise à jour de la probabilité d'occupation de cellule x correspond à :
(1 )
Lors de la construction d'une grille d'occupation, la série d'observation Zk = {z°,zι,...,zk } est perçue par le système, et on note
PÀe x) = P(e x 7° 71 ., Z J -
On utilise cette chaîne de mise à jour avec la distribution initiale qui est choisie uniforme puisque aucune information à propos de l'environnement n'est a priori disponible.
Comme la variable Ex est binaire, on a la relation : Pk (e x = 1) = 1 ~ Pk (e x = 0) - II est alors équivalent de stocker en mémoire pour chacune des cellules de la grille la variable qk définie par :
En injectant la relation (1) dans la définition ci-dessus, il vient la relation récursive :
Avantageusement le logarithme de la variable qk peut être pris en compte de manière à transformer le produit en une somme dans la relation précédente :
La mise à jour de la variable log(^) pour une cellule donnée x, et par voie de conséquence, la mise à jour d'une grille d'occupation équivalent (chaque cellule de cette nouvelle grille comportant la valeur numérique de log(qk) ) est alors une simple opération d'addition à chaque pas temporelle.
L'avantage de passer par la variable log(^) , c'est qu'il est alors facile de compresser la grille d'occupation équivalente en effectuant une transformée en ondelettes, par exemple au moyen d'ondelettes de Haar, puis en supprimant les coefficients de faible amplitude. La notion de transformée en ondelettes est largement décrite dans la littérature et a fait l'objet de nombreuses publications aussi bien scientifiques que de vulgarisation. On notera qu'avantageusement l'espace des signaux transformés en ondelettes est un espace vectoriel, qui est en tant que tel stable par les opérations d'addition et de multiplication par un scalaire. De plus, la transformation en ondelettes est une opération linéaire par rapport au nombre de données, ce qui garantie une exécution rapide de l'algorithme de compression.
L'algorithme suivant est actuellement envisagé pour mettre en oeuvre cette compression par ondelettes de la grille d'occupation équivalente : acquérir les données provenant du capteur à l'instant k sur tout le champ de vue ; construire dans le champ de vue, la grille des logarithmes P(zk-ι e =l) logfo (*)) = -
P(z e = 0)
trouve les carrés c de support de fonction d'échelles de Haar maximaux inclus entièrement dans el champ de vue du capteur ;
Faire une transformée en ondelettes de la fonction log(^ (x)) sur chacun des carrés précédemment trouvés : Wc - Ajouter chaque Wcà la grille d'occupation globale de Haar Si le nombre de coefficients est trop important, effectuer une compression non linéaire en enlevant tous les coefficients dont la norme est négligeable par rapport à la norme de toute la représentation. E. Cas multicapteur II est avantageux d'utiliser plusieurs capteurs pour accroître la robustesse des observations. On peut ainsi s'affranchir des limitations propres à chaque capteur (par exemple un capteur laser fonctionne moins bien par temps de pluie), limiter la dépendance vis-à-vis des défaillances d'un capteur (plusieurs capteurs du même type peuvent être utilisés), et surtout augmenter la précision de la détection d'un objet dans l'environnement en utilisant la redondance des informations.
Lorsque S capteurs sont utilisés, chacun permettant une mesure zk s à l'instant k, l'hypothèse est faite que, connaissant l'état d'une cellule, les observations des différents capteurs sont indépendantes. Alors la probabilité conjointe se décompose selon :
Y(Z1 . . . Zs X Ex) = P(X)P(^ I X) π P(^ I Ex X).
où P(Zi|Ex, X) est le modèle du ieme capteur tel que décrit en détail précédemment.
Etant donné une série d'observations à l'instant k, Zi ... Zs, la probabilité que la cellule X soit occupée devient :
P(E* I rΛ . . . 3sr «) Q£ F(Ea I a?) I E* »)
F - Grille d'occupation et filtres bayésien
Selon l'invention, les modules de prédiction et d'estimation d'une probabilité d'occupation à l'instant k mettent en œuvre la notion de filtre bayésien appliqué aux grilles d'occupation. Un filtre bayésien permet de prédire l'évolution temporelle d'un système. Le but est ici de conférer à la grille d'occupation une certaine robustesse lui permettant de tenir compte d'une défaillance d'un capteur ou de l'occultation passagère d'un objet dans l'évaluation du risque. D'une manière schématique, nous voulons estimer de manière récursive la probabilité d'occupation d'une cellule à l'instant k. Ceci est fait en deux étapes. Une étape de prédiction dont le but est d'estimer a priori l'état d'occupation de la cellule. Une étape d'estimation dont le but est de calculer la probabilité d'occupation en prenant en compte l'estimation a priori et l'observation instantanée. Les variables considérées sont :
- X qui précise sur quelle cellule nous travaillons ;
- Ek x qui représente l'état de la cellule X à l'instant k ;
- z°, ..., zk = z0:k qui représentent la série des observations depuis un instant initial.
Pour l'étape de prédiction, on montre que la probabilité de prédiction s'écrit :
P{Ex k ,
(2)
O t-I où P(Ex,, X' z ) est la probabilité d'occupation estimé de la cellule X' à l'instant k-1 ; où P(Ex k est la probabilité de transition d'un état intermédiaire (Ex:1, X' ) quelconque du système à l'instant k-1 vers l'état considéré (Ex , X ), i.e. correspond au modèle dynamique du système ; et où l'on somme sur l'ensemble des états intermédiaires possibles ( E*:1, X' ).
Pour l'étape d'estimation, on montre que la probabilité d'estimation s'écrit :
'k 0:k 1 0:k-l
P(Ex , X z ) = -P(z E ixk , X)P(Ex , X z a
(3) où apparaît la probabilité du modèle capteur P(Zk |Εχ X ) et la probabilité de prédiction à l'instant k : P(Ex .
Ces deux équations permettent d'avoir une structure du type boucle prédiction/estimation. G - Discrétisation non continue des dimensions de vitesse :
Tout ce qui vient d'être décrit est facilement transposable à une grille d'occupation à plus de 2 dimensions. Il est possible de construire une grille à quatre dimensions, ayant les deux dimensions d'espace Xi et X2, comme ce qui vient d'être décrit, auxquelles on ajoute deux dimensions de vitesse X11 et X21. Si le capteur ne donne pas directement une mesure de la vitesse de l'objet détecté, celle-ci peut être calculée à partir de la variation de la position spatiale de l'objet Xi' =Δxi/Δt et X21=Δx2/Δt, par exemple, en prenant le temps d'échantillonnage du détecteur entre deux mesures successives de la position de l'objet comme intervalle de temps Δt. Les dimensions de vitesse sont ensuite discrétisées de manière régulière et continue avec un pas ΔX1' selon Xi' et ΔX2' selon X2'.
Dans cette approche où l'espace des vitesses est discrétisé de manière continue survient le problème suivant. Soit une grille spatiale associée à une valeur de vitesse XO(XiO et X2O), ci après dénommé plan de vitesse. Soit une cellule de ce plan de vitesse occupée à l'instant k-1 par un objet. Si la vitesse XO ne correspond pas à un multiple entier du pas de discrétisation spatiale ΔX divisé par l'intervalle de temps Δt, alors, à l'instant k, l'objet n'occupera pas une unique cellule du plan de vitesse mais mordra sur un ensemble de cellules. Or, une cellule de la grille sur laquelle mord un objet est considérée comme occupée. A l'intervalle de temps suivant, ces cellules occupées seront propagées en augmentant encore le volume des cellules occupées. Ainsi l'erreur sur l'état de la grille, due essentiellement à la discrétisation, est amplifiée lors de l'étape de prédiction. L'erreur de discrétisation est croissante et n'est seulement réduite que par la phase d'observation.
Selon l'invention, dans un premier temps, l'espace cartésien à deux dimensions est discrétisé de manière continue, puis, dans un second temps, le nombre de plans de vitesse possibles est restreint. On ne considère que les plans de vitesse pour lesquels la vitesse peut s'écrire, en fonction des pas de discrétisation Δxi et Δx2 et de l'intervalle d'échantillonnage Δt, de la manière suivante : X'1 = p/n (Δxi/Δt) et X'2 =q/n (Δx2/Δt) avec p et q appartenant à l'ensemble des entiers relatifs.
Ainsi, les mouvements autorisés sont ceux qui font exactement passer une cellule à une autre cellule en un nombre n de fois l'intervalle d'échantillonnage Δt. Un plan de vitesse est une grille spatiale à deux dimensions qui est associé à un triplet (p,q,n) définissant une vitesse. On a certes un espace des vitesses discrétisé, mais qui n'est pas continu.
Alors, pour calculer l'intégrale sur l'ensemble des cellules qui intervient dans la détermination de la probabilité d'occupation prédite, une hypothèse de vitesse constante est faite. Selon cette hypothèse, entre deux instants successifs, la vitesse d'un objet est constante et la probabilité de transition est nulle d'un plan de vitesse à un autre. C'est- à-dire que, si la cellule Xk"n(Xi, X2) du plan de vitesse X'(p/n (Δx-i/Δt), q/n (Δx2/Δt)) est occupée à l'instant k-n, alors la cellule Xk(X-ι+ p/nΔXi ; X2+ q/n Δx2) sera occupée à l'instant k.
Inversement, lorsqu'on calcule la probabilité d'occupation prédite de la cellule Xk, par plan de vitesse possible (p,q,n), seule la probabilité d'occupation estimée à l'instant k-n de la cellule Xk"n antécédent de la cellule Xk intervient dans le calcul. Avantageusement, à chaque instant d'observation, le facteur 1/n permet de ne considérer le plan de vitesse (p,q,n) qu'à une fréquence 1/n. Ainsi pour un plan de faible vitesse, le calcul de l'intégral ne se fera qu'à une fréquence faible. En revanche, un plan dans lequel se situe un objet à grande vitesse sera observé à une fréquence plus élevée de manière à prendre en considération l'évolution rapide du comportement de cet objet.
La mise en œuvre de l'invention se fait de la manière suivante : Dans un premier temps, une région spatiale (2D) autour d'une cellule centrale X0 type est délimitée ; un nombre maximum nmax de pas de temps est défini. L'ensemble des cellules de cette région sont celles qui peuvent atteindre la cellule centrale X0 en 1 , 2, ... nmax pas de temps.
L'ensemble des vitesses Vf possibles de la forme (p/n (Δxi/Δt) , q/n (Δx2/Δt)) qui permettent à l'une des cellules de cette région de se propager vers la cellule centrale X0 en au plus nmax pas de temps est déterminé ;
L'ensemble Vf est ensuite découpé en sous-ensembles de vitesses permettant à une cellule de rejoindre en n pas de temps la cellule centrale : Vf =γvfι avec Vfι = { v = (p,q,n) e Vf \ n = i } Puis, à chaque élément (p,q,i) appartenant à l'un des Vfi est associée une grille spatiale à deux dimensions G\P,q) . Alors l'antécédent d'une cellule (I, m) de cette grille est la cellule (l-p, m-q).
Un compteur k, donnant l'indice du pas de temps, incrémenté d'une unité à chaque itération évolue entre la valeur nulle et la valeur correspondant au plus petit commun multiple des nombres 2 et nmax. (En effet, il faut considérer le plus petit commun multiple puisqu'il s'agit d'un ensemble de boucles imbriquées les unes dans les autres). En début de processus, il est instancié à la valeur nulle ; La probabilité d'occupation de la cellule.
Puis pour i allant de 1 à nmax, si k est égal à 0 modulo i, alors, pour chacune des grilles d'occupation G\P,q) d'un sous-ensemble Vfi :
- Déterminer la cellule antécédent de la cellule considérée ; - attribuer la probabilité d'occupation estimée donnée par
G'(p,q) pour ledit antécédent en tant que valeur de la probabilité d'occupation prédite pour la cellule considérée (l'équation 2 ci- dessus) ;
- mettre à jour la grille en déterminant la probabilité d'occupation estimée à partir de la probabilité d'occupation prédite et de la probabilité capteur tenant compte de l'observation à ce pas de temps ;
- puis incrémenter k d'une unité et retourner au début de la boucle. H - Cas multiobjets
Dans ce qui précède, seul a été décrit formellement le cas d'un unique objet présent dans l'environnement du véhicule. Dans le cas d'un environnement complexe, il est nécessaire de pourvoir tenir compte de la présence de plusieurs objets dans cet environnement. Lorsque plusieurs objets sont détectés, le capteur réalise O observations à l'instant k : zk-ι, zk 2 ... zko.
On introduit alors la variable M dite d'association. M est un entier entre 0 et O. Si M=O, alors aucune des observations n'est utilisée pour mettre à jour la probabilité d'occupation de la cellule X. en revanche, si M=i, alors la iΘmΘ observation est utilisée pour mettre à jour la probabilité d'occupation de la cellule X.
La probabilité conjointe se décompose de la manière suivante :
O
Y(X Ex M Z) = F(X)Y[Ex | X)Y(M.) f] Y(Zi \ Ex X M)
la valeur de la variable M étant indépendante de l'état Ex et de la cellule
X considérée, P(M | Ex X) = P(M) ; une simplification a été opérée en faisant une hypothèse d'indépendance conditionnelle des différentes observations zt entre elles connaissant l'état de la cellule considérée. Pour l'observation Z1, si M est égal à i, alors la distribution de probabilité à considérer est le modèle capteur dérivé ci-dessus ; en revanche, si M est différent de i, alors une distribution uniforme est choisie (U).
Dans la présente application, on cherche à déterminer : P(Ex|zi...z0 x), qui s'écrit, en utilisant la variable M :
P(S, | * . . . zo «) = -T[E* |«) ( U, + E^1 P(^ I [M = m] Ea «)) )
Cette relation est une relation statique, qui est rendu dynamique en introduisant la boucle estimation/prédiction décrite précédemment sur un jeu de variables entre un instant initial 0 et un instant présent k. En particulier la variable d'association Mk, indexée par le temps, permet d'associer à l'estimation de l'état, l'une des Ok observations faites à l'instant k.
Dans cette modélisation on retrouve l'équation de la prédiction indiquée ci-dessus. En revanche, la relation de l'estimation devient :
P(E& Xk I zϋ k) = )
Pour éviter un objet, il faut combiner au calcul de la probabilité d'occupation d'une cellule P(Ek xX|Zk) avec une probabilité de risque à collision P(Dk x|Ek xX). Ce risque à collision est calculé à partir d'un critère de temps à collision. Il devient alors possible de réguler la vitesse d'un véhicule. Bien que l'invention ait été décrite en référence à un mode de réalisation particulier, elle n'est nullement limitée à ce mode de réalisation. Elle comprend tous les équivalents techniques des moyens décrits ainsi que leurs combinaisons qui entrent dans le cadre de l'invention.

Claims

REVENDICATIONS
1. Procédé d'assistance à la conduite d'un véhicule comportant au moins un capteur apte à émettre un signal de sortie indiquant la présence d'au moins un objet dans une zone de détection, ledit procédé comportant les étapes consistant à : définir une grille correspondant à la discrétisation en cellules d'un espace des paramètres cinématiques dudit objet par rapport audit véhicule ; et, à chaque instant k d'échantillonnage : déterminer une observation zk à partir dudit signal de sortie du capteur ; et, pour chaque cellule x de la grille : déterminer, à partir de ladite observation zk, la valeur d'une probabilité capteur P(zk|Ek xX) modélisant le comportement dudit capteur ; calculer une grandeur d'occupation estimée à l'instant k fonction de la probabilité P(Ek xX|zO:k=z°...zk) que ladite cellule x soit dans l'état Ekx à l'instant k, étant données ladite observation zk ; ladite grandeur d'occupation estimée à l'instant k étant fonction de ladite probabilité capteur P(zk|Ek xX) et d'une grandeur d'occupation prédite P(Ek xX|z0:k" 1=z°...zk-1) à l'instant k ; déterminer ladite grandeur d'occupation prédite à l'instant k P(Ek xX|z0:k-1=z°...zk-1) fonction de la probabilité que la cellule X considérée soit dans l'état occupé Ek x à l'instant k, en prenant en compte les observations depuis un instant initial 0 jusqu'à l'instant k-1 ; ladite grandeur d'occupation prédite à l'instant k étant déterminée en approchant une relation du type : ,
P{Ex k ,
dans laquelle intervient la probabilité d'occupation estimée à l'instant k-1 pour chacune des cellules X' de la grille, en considérant que la probabilité de transition d'une cellule quelconque vers la cellule considérée est non nulle uniquement pour une cellule dite antécédent de ladite cellule considérée ; évaluer, pour chacune des cellules de la grille, une probabilité de risque à collision à partir de ladite grandeur d'occupation estimée à l'instant k ; émettre un signal de commande d'un actionneur en fonction des probabilités de risque à collision des cellules de la grille de manière à éviter ledit objet détecté.
2. Procédé selon la revendication 1 , caractérisé en ce que ladite grandeur d'occupation est égale à ladite probabilité d'occupation.
3. Procédé selon la revendication 1 , caractérisé en ce que ladite grandeur d'occupation est compatible avec une transformation de compression.
4. Procédé selon la revendication 1 , caractérisé en ce que, une grille d'occupation étant définit qui associe à chacune des cellules de la grille une première grandeur fonction de la probabilité d'occupation de ladite cellule, une transformation de compression est appliquée sur ladite grille d'occupation pour obtenir une représentation équivalente de ladite grille d'occupation, ladite grandeur d'occupation étant une deuxième grandeur d'occupation associée à ladite représentation équivalente de ladite grille d'occupation.
5. Procédé selon la revendication 3 ou la revendication 4, caractérisé en ce que ladite première grandeur d'occupation estimée à l'instant k est le logarithme du rapport entre la probabilité d'occupation estimée à l'instant k que la cellule considérée soit occupée et la probabilité d'occupation estimée à l'instant k que la cellule considérée soit vide.
6. Procédé selon l'une des revendications précédentes, caractérisé en ce que ladite grille comporte plus de 10 million de cellules.
7. Procédé selon l'une des revendications précédentes, caractérisé en ce que, ladite grille étant une grille spatiale obtenue en discrétisant avec un pas prédéfini l'espace des positions dudit objet, ledit procédé comporte une étape supplémentaire de détermination d'un ensemble de vitesses possibles, lesdites vitesses possibles étant celles qui permettent de passer exactement d'une cellule de la grille à une autre cellule de la grille en un nombre fini n de pas d'échantillonnage.
8. Procédé selon la revendication 7, caractérisé en ce qu'une grille spatiale est associée à chacune desdites vitesses possibles, et en ce que lesdites étapes dudit procédé sont réalisées pour chaque grilles prise indépendamment des autres, une hypothèse de vitesse constante dudit objet détecté étant faite.
9. Procédé selon l'une des revendications 7 à 8, caractérisé en ce que ladite grille spatiale comporte plus de 1 million de cellules.
10. Procédé selon l'une des revendications précédentes, caractérisé en ce que ladite période d'échantillonnage est inférieure à 10ms.
11. Dispositif d'assistance à la conduite d'un véhicule, caractérisé en ce qu'il comporte des moyens aptes à la mise en œuvre du procédé d'assistance à la conduite selon l'une des revendications 1 à 10.
12. Dispositif selon la revendication 11 , caractérisé en ce qu'il comporte N processeurs, N étant le nombre de cellules de ladite grille, chacun desdits processeurs fonctionnant en parallèle desdits autres processeurs et calculant à chaque instant k d'échantillonnage la grandeur d'occupation estimée de la cellule X qu'il représente.
EP06808298A 2005-09-09 2006-09-08 Procede d'assistance a la conduite d'un vehicule et dispositif associe ameliore Active EP1922706B1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0552736A FR2890774B1 (fr) 2005-09-09 2005-09-09 Procede d'assitance a la conduite d'un vehicule et dispositif associe ameliore
PCT/FR2006/050860 WO2007028932A1 (fr) 2005-09-09 2006-09-08 Procede d'assistance a la conduite d'un vehicule et dispositif associe ameliore

Publications (2)

Publication Number Publication Date
EP1922706A1 true EP1922706A1 (fr) 2008-05-21
EP1922706B1 EP1922706B1 (fr) 2009-01-28

Family

ID=36129850

Family Applications (1)

Application Number Title Priority Date Filing Date
EP06808298A Active EP1922706B1 (fr) 2005-09-09 2006-09-08 Procede d'assistance a la conduite d'un vehicule et dispositif associe ameliore

Country Status (10)

Country Link
US (1) US20080252433A1 (fr)
EP (1) EP1922706B1 (fr)
JP (1) JP2009508199A (fr)
KR (1) KR20080072628A (fr)
CN (1) CN101283387A (fr)
AT (1) ATE422086T1 (fr)
CA (1) CA2621980A1 (fr)
DE (1) DE602006005059D1 (fr)
FR (1) FR2890774B1 (fr)
WO (1) WO2007028932A1 (fr)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8391553B2 (en) * 2008-03-19 2013-03-05 Honeywell International Inc. Systems and methods for using an evidence grid to eliminate ambiguities in an interferometric radar
US8311695B2 (en) 2008-03-19 2012-11-13 Honeywell International Inc. Construction of evidence grid from multiple sensor measurements
JP4615038B2 (ja) 2008-06-23 2011-01-19 日立オートモティブシステムズ株式会社 画像処理装置
DE112010000146A5 (de) * 2009-05-06 2012-06-06 Conti Temic Microelectronic Gmbh Verfahren zur Auswertung von Sensordaten für ein Kraftfahrzeug
EP2289754B1 (fr) * 2009-08-31 2015-04-29 Toyota Motor Europe NV/SA Procédé et système de contrôle de véhicule ou de trafic
CN102883912B (zh) * 2009-10-30 2015-04-22 福特全球技术公司 具有辨识系统的车辆
DE102010017659A1 (de) * 2010-06-30 2012-01-05 Ford Global Technologies, Llc Verfahren und Vorrichtung zur Bereitstellung von Bremsunterstützung in einem Kraftfahrzeug nach einer Erstkollision
JP5206752B2 (ja) * 2010-08-30 2013-06-12 株式会社デンソー 走行環境認識装置
JP5630249B2 (ja) * 2010-12-06 2014-11-26 株式会社デンソー 物体認識装置
US8855911B2 (en) 2010-12-09 2014-10-07 Honeywell International Inc. Systems and methods for navigation using cross correlation on evidence grids
JP5278419B2 (ja) * 2010-12-17 2013-09-04 株式会社デンソー 運転シーンの遷移予測装置及び車両用推奨運転操作提示装置
WO2013060323A1 (fr) * 2011-10-28 2013-05-02 Conti Temic Microelectronic Gmbh Modèle d'environnement à base de grille pour un véhicule
US8818722B2 (en) 2011-11-22 2014-08-26 Honeywell International Inc. Rapid lidar image correlation for ground navigation
DE102012105332A1 (de) * 2012-06-19 2013-12-19 Continental Teves Ag & Co. Ohg Verfahren zur Darstellung einer Fahrzeugumgebung
US9157743B2 (en) 2012-07-18 2015-10-13 Honeywell International Inc. Systems and methods for correlating reduced evidence grids
CN103794006B (zh) * 2012-10-31 2016-12-21 国际商业机器公司 用于处理多个传感器的时序数据的方法和装置
DE102013104257A1 (de) * 2013-04-26 2014-10-30 Continental Teves Ag & Co. Ohg Gitterbasiertes Umfeldmodell für ein Fahrzeug
CN104933064B (zh) * 2014-03-19 2018-02-23 株式会社理光 预测目标对象的运动参数的方法和装置
FR3022049B1 (fr) * 2014-06-06 2016-07-22 Inria Inst Nat De Rech En Informatique Et En Automatique Procede d'analyse d'une scene dynamique, module d'analyse et programme d'ordinateur associes
DE102015201706A1 (de) * 2015-02-02 2016-08-04 Bayerische Motoren Werke Aktiengesellschaft Verarbeitung von Sensormessungen eines Fahrzeugumfeldes bei geringer Querauflösung
US10495469B2 (en) * 2015-06-23 2019-12-03 Ford Global Technologies, Llc Rapid traffic parameter estimation
FR3041451B1 (fr) 2015-09-22 2018-02-16 Commissariat A L'energie Atomique Et Aux Energies Alternatives Procede et systeme de perception de corps materiels
CN105185160B (zh) * 2015-10-09 2017-11-24 卢庆港 虚拟网格内畸变区域移动趋势识别的路面检测方法
CN105761548B (zh) * 2016-04-14 2018-03-06 西安电子科技大学 基于动态贝叶斯网络的交叉路口碰撞避免方法
US10315649B2 (en) * 2016-11-29 2019-06-11 Ford Global Technologies, Llc Multi-sensor probabilistic object detection and automated braking
CN108240807B (zh) * 2016-12-27 2023-06-02 法法汽车(中国)有限公司 估计空间占据的方法
US20180222387A1 (en) * 2017-02-07 2018-08-09 Shenzhen Xiaofeida Electronic Co., Ltd Blind Zone Monitoring Method, License Plate Frame Device with Blind Zone Monitoring Function and Rearview Mirror
FR3062924B1 (fr) 2017-02-16 2019-04-05 Commissariat A L'energie Atomique Et Aux Energies Alternatives Procede et systeme de perception contextualisee de corps materiels
DE102018200683A1 (de) * 2018-01-17 2019-07-18 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Detektion eines Objektes
EP3782083A4 (fr) * 2018-04-17 2022-02-16 HRL Laboratories, LLC Topologie de réseau neuronal permettant de calculer des probabilités conditionnelles
CN109094482B (zh) * 2018-07-25 2021-08-24 哈尔滨工业大学 车辆运行风险评估信息采集系统、风险评估系统及方法
US11808590B2 (en) * 2019-01-11 2023-11-07 Massachusetts Institute Of Technology Autonomous navigation in a cluttered environment
FR3097972B1 (fr) * 2019-06-28 2021-12-10 Aptiv Tech Ltd Procédé et système pour cartographier un environnement physique au moyen d’une grille d’occupation
DE102019125515A1 (de) * 2019-06-28 2020-12-31 Marco Scheffler Bremsvorrichtung für ein Fahrzeug
CN112824836A (zh) * 2019-11-21 2021-05-21 北京图森智途科技有限公司 移动工具碰撞检测方法及相关设备
US20210197805A1 (en) * 2019-12-27 2021-07-01 Motional Ad Llc Safety system for vehicle
DE102021207629A1 (de) 2021-07-16 2023-01-19 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Überprüfen einer Zuverlässigkeit eines Modells einer Verkehrsdynamik an einem Verkehrsknotenpunkt

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000292538A (ja) * 1999-04-07 2000-10-20 Mitsubishi Electric Corp 車両用障害物検出装置
DE102004007553A1 (de) * 2004-02-17 2005-09-01 Daimlerchrysler Ag Erfassungsvorrichtung und Sicherheitssystem für ein Kraftfahrzeug

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2007028932A1 *

Also Published As

Publication number Publication date
FR2890774B1 (fr) 2007-11-16
CN101283387A (zh) 2008-10-08
FR2890774A1 (fr) 2007-03-16
US20080252433A1 (en) 2008-10-16
EP1922706B1 (fr) 2009-01-28
DE602006005059D1 (de) 2009-03-19
KR20080072628A (ko) 2008-08-06
CA2621980A1 (fr) 2007-03-15
ATE422086T1 (de) 2009-02-15
JP2009508199A (ja) 2009-02-26
WO2007028932A1 (fr) 2007-03-15

Similar Documents

Publication Publication Date Title
EP1922706B1 (fr) Procede d'assistance a la conduite d'un vehicule et dispositif associe ameliore
EP2599021B1 (fr) Procede de determination optimale des caracteristiques et de la disposition d'un ensemble de senseurs de surveillance d'une zone
EP3137355B1 (fr) Dispositif de signalisation d'objets a un module de navigation de vehicule equipe de ce dispositif
EP3364213B1 (fr) Procede et systeme de perception contextualisee de corps materiels
WO2020136258A1 (fr) Dispositif de génération d'un ensemble de données simulées du fouillis de mer, procédé et programme d'ordinateur associés
CA2950847A1 (fr) Procede d'analyse d'une scene dynamique, module d'analyse et programme d'ordinateur associes
FR3041451A1 (fr) Procede et systeme de perception de corps materiels
FR2718874A1 (fr) Procédé de surveillance de trafic pour la détection automatique d'incident de véhicules.
EP3781965B1 (fr) Dispositif, procede et produit programme d'ordinateur de validation de donnees fournies par une sonde pluviometrique
FR2890773A1 (fr) Procede d'assistance a la conduite d'un vehicule et dispositif associe
EP4002274A1 (fr) Procédé itératif d'estimation du mouvement d'un corps matériel par génération d'une grille de mouvement filtrée
EP3189348B1 (fr) Procede de gestion de croisements dans le suivi d'objets mobiles et dispositif associe
CN116861262B (zh) 一种感知模型训练方法、装置及电子设备和存储介质
WO2009086928A1 (fr) Procede, systeme et installation de detection pour garantir l'unicite de passage d'un objet
FR3117223A1 (fr) Système et procédé de contrôle de véhicule à base d’apprentissage machine
WO2022165602A1 (fr) Procédé, système et support lisible par ordinateur pour une prévision spatio-temporelle probabiliste
WO2017216495A1 (fr) Procédé de détermination d'une classe de conduite de référence
FR2875626A1 (fr) Procede de detection et de pistage de cibles ponctuelles, dans un systeme de surveillance optronique
EP3640841B1 (fr) Dispositif électronique et procédé de surveillance d'une scène via un ensemble de capteur(s) électronique(s), programme d'ordinateur associé
WO2018069060A1 (fr) Dispositif de localisation et dispositif de production de données d'intégrité
EP4322061A1 (fr) Dispositif électronique et procédé de traitement de données comportant au moins un modèle d'intelligence artificielle auto-adaptatif avec apprentissage local, système électronique et programme d'ordinateur associés
FR2688909A1 (fr) Procede de trajectographie de mobiles dans un environnement bruite.
FR3135790A1 (fr) Procede et systeme de perception de corps materiels a balayage optimise
EP4386425A1 (fr) Procédé de caractérisation de l'environnement d'un dispositif mobile, produisant une grille d'espace statique et/ou une grille d'espace libre
FR3143810A1 (fr) Système de détection d’objets dans des trames de données radar utilisant un réseau de neurones convolutionnel récurrent

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20080307

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC NL PL PT RO SE SI SK TR

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: PROBAYES

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC NL PL PT RO SE SI SK TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: FRENCH

REF Corresponds to:

Ref document number: 602006005059

Country of ref document: DE

Date of ref document: 20090319

Kind code of ref document: P

NLV1 Nl: lapsed or annulled due to failure to fulfill the requirements of art. 29p and 29m of the patents act
PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090128

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090128

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090128

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090509

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090128

REG Reference to a national code

Ref country code: IE

Ref legal event code: FD4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090128

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090629

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090128

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090428

Ref country code: AT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090128

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090528

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090128

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090128

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090128

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090128

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090128

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090128

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20091029

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090428

BERE Be: lapsed

Owner name: PROBAYES

Effective date: 20090930

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20090930

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20090930

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090429

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090128

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20090908

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20100908

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090729

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20100930

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20100930

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20100908

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090128

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090128

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 11

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 12

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 13

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20240618

Year of fee payment: 19

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20240620

Year of fee payment: 19