FR3082165A1 - Système d’aide a la conduite - Google Patents

Système d’aide a la conduite Download PDF

Info

Publication number
FR3082165A1
FR3082165A1 FR1906056A FR1906056A FR3082165A1 FR 3082165 A1 FR3082165 A1 FR 3082165A1 FR 1906056 A FR1906056 A FR 1906056A FR 1906056 A FR1906056 A FR 1906056A FR 3082165 A1 FR3082165 A1 FR 3082165A1
Authority
FR
France
Prior art keywords
information
dynamic information
confidence
dynamic
external environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR1906056A
Other languages
English (en)
Other versions
FR3082165B1 (fr
Inventor
Taira Nagashima
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzuki Motor Corp
Original Assignee
Suzuki Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzuki Motor Corp filed Critical Suzuki Motor Corp
Publication of FR3082165A1 publication Critical patent/FR3082165A1/fr
Application granted granted Critical
Publication of FR3082165B1 publication Critical patent/FR3082165B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04Traffic conditions
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09626Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096775Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a central station
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096783Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a roadside individual element
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60Traffic rules, e.g. speed limits or right of way
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/20Data confidence level
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/35Data fusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

L’invention concerne un système d’aide à conduite, comprenant : une unité d'acquisition d'informations dynamiques (52) configurée pour acquérir des informations dynamiques basées sur l’emplacement sur la route ; un dispositif d'imagerie (2) destiné à prendre des données d'image d'un champ de vision externe autour du véhicule (1), et un contrôleur (6). Dans le contrôleur (6), un état de l’environnement extérieur associé aux informations dynamiques acquises est présumé sur la base de l’image ; et la confiance dans les informations dynamiques acquises est déterminée sur la base du résultat de la détermination si les informations dynamiques correspondent bien à l'état présumé de l’environnement extérieur. Le système permet de déterminer de manière appropriée si les informations dynamiques acquises à partir de l’extérieur sont fiables pour ce qui concerne l’emplacement actuel. Figure pour l’abrégé : Figure 1

Description

Description
Titre de l’invention : SYSTÈME D’AIDE A LA CONDUITE [0001] La présente invention porte sur un système d’aide à la conduite.
[0002] Il est connu, par le document JP 2004-125479 A (également publié sous la référence JP 3875941 B2), un système d’assistance à la conduite dans lequel un itinéraire recommandé est calculé sur la base d’informations statiques sous forme d'informations géographiques stockées dans une unité de stockage et d'informations dynamiques concernant l’emplacement actuel.
[0003] Les informations dynamiques basées sur l’emplacement peuvent inclure différentes informations concernant une route. Le contenu de telles informations peut varier dans le temps, il est donc possible qu'il puisse présenter une erreur au moment où le véhicule s’approche de l’emplacement.
[0004] Ainsi, il est nécessaire d'évaluer le contenu de chaque élément d’information dynamique, acquis à partir de l’extérieur, pour déterminer s'il est fiable.
[0005] Un objet de la présente invention est de proposer un système d’aide à la conduite apte à déterminer de manière appropriée si les informations dynamiques acquises à partir de l’extérieur sont fiables à l’emplacement actuel.
[0006] Il est proposé un système d’aide à la conduite (aide à la conduite) pour un véhicule, comprenant : un gestionnaire d'informations géographiques configuré pour acquérir des informations dynamiques basées sur l’emplacement concernant une chaussée ; un dispositif d'imagerie destiné à prendre une image d'un champ de vision externe en avant du véhicule ; et un contrôleur. Dans le contrôleur, un état de l’environnement extérieur associé aux informations dynamiques acquises est présumé sur la base de l’image ; et la confiance dans les informations dynamiques acquises est déterminée sur la base du résultat de la détermination si les informations dynamiques correspondent bien à l'état présumé de l’environnement extérieur.
[0007] Ainsi, la présente invention permet de déterminer de manière appropriée si les informations dynamiques acquises à partir de l’extérieur sont fiables à l’emplacement actuel.
[0008] Dans des modes de réalisation du système d’aide à la conduite, il est prévu une ou plusieurs des particularités suivantes :
- la confiance dans les informations dynamiques acquises qui ne correspondent pas bien à l’état présumé de l’environnement extérieur est diminuée d’une valeur prédéterminée, ayant des incréments variables avec différents éléments d'information dynamique, tandis qu’une bonne correspondance entraîne l’augmentation de la confiance de la valeur prédéterminée.
- les différents éléments d’information dynamique comprennent un élément d’information sur les contrôles de circulation, un élément d'information sur les travaux de construction, un élément d'information sur les accidents de la circulation, un élément d’information sur les embouteillages ; un élément d’information reçu à partir de Systèmes de Transport Intelligents, et un élément d’information sur la présence transitoire d'objets sur une chaussée.
- la valeur prédéterminée prend un premier incrément dans le cas où les informations dynamiques acquises sont des éléments d’information sur le contrôle de la circulation routière ou des éléments d’information sur des travaux de construction.
- la valeur prédéterminée prend un second incrément, qui est supérieur au premier incrément, dans le cas où l'information dynamique acquise est un élément d’information sur un accident de la circulation.
- la valeur prédéterminée prend un troisième incrément, qui est supérieur au second incrément prédéterminé, dans le cas où l'information dynamique acquise est un élément d’information sur un embouteillage, sachant que le traitement de détermination du niveau de confiance définit, comme valeur prédéterminée, un quatrième incrément prédéterminé, qui est supérieur au troisième incrément prédéterminé, dans le cas où l’information dynamique acquise est un élément d’information sur la présence transitoire d’objet(s) sur une chaussée.
Selon une particularité, dans le cas où les informations dynamiques acquises sont un élément d'information sur un ou des feu(x) de circulation, la confiance dans les informations dynamiques acquises qui ne correspondent pas bien à l'état présumé de l'environnement extérieur successivement pour une période prédéterminée est diminuée, tandis que la confiance dans les informations dynamiques acquises qui correspondent bien à l'état présumé de l'environnement extérieur successivement un nombre de fois prédéterminé est augmentée.
Brève description des dessins [0009] D’autres caractéristiques, détails et avantages de l’invention apparaîtront à la lecture de la description détaillée ci-après, et à l’analyse des dessins annexés, sur lesquels :
[fig.l] la figure 1 est un diagramme de blocs illustrant un système d’aide à la conduite selon la présente invention.
[fig.2] la figure 2 est un graphe illustrant l’association entre différentes situations et différents éléments d’information dynamique, avec des exemples de ces divers éléments d’information dynamique fondés sur l’emplacement en regard de contextes/ conditions d’environnement extérieur.
[fig.3] la figure 3 est un ordinogramme présentant le traitement permettant de déterminer la confiance dans les informations dynamiques acquises fondées sur l’emplacement.
Description des modes de réalisation [0010] Il est proposé un système d’aide à la conduite pour un véhicule. Le système d’aide à la conduite comprend : un gestionnaire d'informations géographiques configuré pour acquérir des informations dynamiques basées sur l’emplacement concernant une chaussée ; un dispositif d'imagerie destiné à prendre une image d'un champ de vision externe en avant du véhicule ; et un contrôleur. Dans le contrôleur, un état de l’environnement extérieur associé aux informations dynamiques acquises est présumé sur la base de l’image ; et la confiance dans les informations dynamiques acquises est déterminée sur la base du résultat de la détermination si les informations dynamiques correspondent bien à l'état présumé de l’environnement extérieur.
[0011] Ainsi, le système d’aide à la conduite peut déterminer de manière appropriée si les informations dynamiques acquises à partir de l’extérieur sont fiables à l’emplacement actuel.
[0012] Se référant aux dessins annexés, divers modes de réalisation d’un système d’aide à la conduite selon la présente invention sont décrits. Comme illustré sur la figure 1, un véhicule routier, comprenant un système d’aide à la conduite suivant un mode de réalisation conforme à la présente invention, est désigné par le numéro de référence 1. Le véhicule 1 comprend au moins un dispositif d’imagerie 2, un ou plusieurs dispositifs d’affichage/d’alerte 3, un ou plusieurs dispositifs de communication 4, un gestionnaire 5 d'informations géographiques, et un contrôleur 6.
[0013] Le dispositif d’imagerie 2, qui peut être, par exemple, une caméra, est en général prévisionnel et orienté de manière à imager les panneaux de circulation approchant à un intervalle approprié. Un flux d'images prises par le dispositif d’imagerie 2 est fourni au contrôleur 6.
[0014] Le dispositif d’affichage/d’alerte 3, pouvant inclure, par exemple, un moniteur, un haut-parleur, une lampe, un compteur et une alarme, fournit de manière visuelle et/ou audible diverses informations à un conducteur ou un passager du véhicule 1.
[0015] Le dispositif de communication 4 communique ici avec des serveurs externes et avec des dispositifs de communication routiers pour échanger des informations avec ces derniers.
[0016] Le gestionnaire d’informations géographiques 5 peut être une unité d’ordinateur qui comprend une unité centrale (UC), une mémoire vive (RAM), une mémoire morte (ROM), une mémoire flash, un disque dur (DD), des ports d’entrée, et des ports de sortie.
[0017] La mémoire ROM du gestionnaire 5 d’informations géographiques stocke des programmes configurés pour permettre à l’unité d’ordinateur d’effectuer les fonctions requises en tant que gestionnaire 5 d’informations géographiques 5 ainsi que divers types de paramètres et divers types de cartes. En d’autres termes, l’unité d'ordinateur fonctionne comme gestionnaire 5 d’informations géographiques en permettant à l’unité centrale d’exécuter les programmes stockés pour effectuer les fonctions requises.
[0018] Un récepteur Global Navigation Satellite System (GNSS ou similaire) 53 et différents capteurs incluant un capteur d’accélération, non illustré, sont connectés aux ports d’entrée du gestionnaire d’informations géographiques 5.
[0019] Le récepteur 53, ici de type GNSS, peut recevoir des ondes radio à partir de satellites GNSS par le biais d’une antenne GNSS (non illustrée) pour déterminer l’emplacement (longitude, latitude, et altitude/élévation). Le capteur d’accélération est agencé pour la détection d’accélération du véhicule 1.
[0020] Le gestionnaire d'informations géographiques 5 et le contrôleur 6 communiquent mutuellement pour échanger des signaux, y compris des signaux de commande, par le biais d’un réseau local (en anglais LAN ou Local Area Network).
[0021] Le gestionnaire 5 d'informations géographiques agit comme unité de stockage d'informations statiques 51. L’unité de stockage d'informations statiques 51 peut gérer des informations géographiques statiques, qui sont stockées, par exemple, dans un disque dur et contiennent des informations sur les panneaux de circulation, des informations sur les feux de circulation, des informations sur les voies et analogues, par rapport à chacun des liens de chacune des chaussées.
[0022] Chaque lien dans une chaussée est une section reliant des nœuds constituant des échangeurs ou des croisements de la route avec différentes routes.
[0023] Le gestionnaire 5 d'informations géographiques agit/fonctionne comme unité d’acquisition d'informations dynamiques 52. L’unité d’acquisition d'informations dynamiques 52 peut acquérir des informations dynamiques à partir de serveurs et/ou de dispositifs de communication routiers par le biais du dispositif de communication 4. Les informations dynamiques acquises comprennent des informations sur la circulation routière, des informations sur la régulation routière, des informations sur la construction de chaussées, des informations sur congestion de la circulation (ou les embouteillages), des informations sur les accidents, des informations issues de Systèmes de Transport Intelligents (STI), des informations météorologiques, etc.
[0024] Le gestionnaire 5 d'informations géographiques peut déterminer l’emplacement actuel du véhicule 1 sur la base des sorties du récepteur GNSS susmentionné 53 et du capteur d’accélération.
[0025] Le gestionnaire 5 d'informations géographiques peut déterminer, sur la base de l’emplacement actuel, un lien dans une chaussée/portion de route dans lequel l’emplacement actuel se trouve. En utilisant le lien déterminé, le gestionnaire 5 d'informations géographiques récupère les informations géographiques statiques stockées pour acquérir des informations géographiques associées avec le lien déterminé, telles que des informations sur les panneaux de signalisation, des informations sur les feux de circulation, des informations sur la classification des chaussées, des informations sur les attributs de la route, etc.
[0026] Le gestionnaire 5 d'informations géographiques acquiert des informations sur la circulation autour de l’emplacement actuel, telles que les informations sur la congestion de la circulation, les informations sur les accidents et les informations météorologiques autour de l’emplacement actuel à partir de l’unité d’acquisition d’informations dynamiques 52.
[0027] Le gestionnaire 5 d’informations géographiques peut transmettre au contrôleur 6 les informations géographiques acquises, les informations sur la circulation, les informations météorologiques et analogues. Lorsque le véhicule entre un nouveau lien, le gestionnaire 5 d’informations géographiques acquiert de nouveau des informations géographiques associées au nouveau lien. A l’acquisition de nouvelles informations depuis les serveurs et/ou les dispositifs de communication routiers, le gestionnaire 5 d’informations géographiques acquiert de nouveau les dernières informations sur la circulation autour de l’emplacement actuel et les dernières informations météorologiques autour de l’emplacement actuel. Les informations géographiques, sur la circulation et météorologiques nouvellement acquises sont transmises au contrôleur 6.
[0028] Le contrôleur 6 est par exemple une unité d’ordinateur comprenant une unité centrale UC, une mémoire RAM, une mémoire ROM, une mémoire flash, des ports d’entrée et des ports de sortie.
[0029] La mémoire ROM du contrôleur 6 stocke des programmes configurés pour permettre à l’unité d’ordinateur d’effectuer les fonctions requises en tant que contrôleur 6 ainsi que divers types de paramètres et divers types de cartes. En d’autres termes, l’unité d'ordinateur fonctionne comme contrôleur 6 en permettant à l’UC d’exécuter les programmes stockés pour effectuer les fonctions requises.
[0030] Différents capteurs et analogues, y compris le ou les dispositif(s) d'imagerie 2, sont connectés aux ports d’entrée du contrôleur 6. Différents systèmes ou dispositifs à contrôler, y compris le ou les dispositif(s) d’affichage/d’alerte 3, sont connectés aux sorties du contrôleur 6.
[0031] Le contrôleur 6 assure la réception du flux d’images 61 et peut lire les données d’image prises par le dispositif d'imagerie 2. Le contrôleur assure le prétraitement des images 62 en prétraitant les images pour faciliter l’établissement de candidats d’objets d'intérêt.
[0032] Le contrôleur 6 assure la définition d'objets d'intérêt 63 pour permettre de définir des objets d’intérêt pour la commande d’un procédé de reconnaissance prédéterminé sur chacun des candidats trouvés dans les données d'image prétraitées.
[0033] Le contrôleur 6 assure la reconnaissance d'objets 64 et peut permettre de commander le procédé de reconnaissance prédéterminé sur chacun des candidats pour différents objets trouvés dans les données d’image prétraitées. Dans cet exemple, les différents objets peuvent être choisis parmi les panneaux de signalisation, les personnages, les panneaux d'affichage, les personnes, les véhicules routiers, les feux de circulation pour les véhicules, les feux de circulation pour les piétons, les postes de péage, les voies de circulation, etc.
[0034] Le contrôleur 6 assure le traitement de sortie 65, en pouvant par exemple effectuer le processus d’émission d’alerte pour mener le dispositif d’affichage/d’alerte 3 à fournir un rapport sur le candidat reconnu pour un panneau de signalisation approchant, nécessitant, par exemple, l’attention et la conformité immédiates du conducteur du véhicule.
[0035] Le contrôleur 6 assure la détermination du niveau de confiance 66 ce qui peut provoquer la détermination de la confiance en chacune des informations dynamiques acquises par le gestionnaire 5 d’informations géographiques. La confiance présente de multiples niveaux et est augmentée ou diminuée d’une valeur prédéterminée en utilisant le procédé décrit plus tard.
[0036] Le contrôleur 6 assure la présomption d’un état de l’environnement extérieur 67 et propose un procédé de présomption qui peut présumer un état de l’environnement extérieur associé à chacune de la pluralité d’éléments d’information dynamique acquises sur la base du résultat de reconnaissance obtenu par la reconnaissance d'objets 64. Un module de reconnaissance apte à collecter des données d’images peut être inclus dans le contrôleur 6 pour fournit un tel résultat de reconnaissance.
[0037] Le procédé consistant à déterminer un niveau de confiance 66 compare chacune de la pluralité d’éléments d’information dynamique acquis, que le gestionnaire d’informations géographiques 5 acquiert, à l’état présumé de l’environnement extérieur associé à l'élément d'information dynamique pour déterminer si l'élément d'information dynamique correspond bien à l'état présumé de l’environnement extérieur. La confiance en l'élément d'information dynamique qui correspond bien à l'état présumé de l’environnement extérieur est augmentée.
[0038] Une valeur prédéterminée, par laquelle la confiance est augmentée ou diminuée, présente des incréments variables avec différents éléments d'information dynamique.
[0039] Voici quelques exemples de la pluralité d’éléments d’information dynamique : un élément d’information sur le(s) contrôle(s) de circulation ; un élément d'information sur les travaux routiers ; un élément d'information sur les accidents ; un élément d’information sur les embouteillages ; un élément d’information provenant de STI ; et un élément d’information sur la présence transitoire d'objets, tels que des pylône(s), personnes, vélo(s) sur une chaussée.
[0040] Pour un élément d’information sur le(s) contrôle(s) de circulation ou les travaux routiers, la valeur prédéterminée par laquelle la confiance est augmentée ou diminuée prend un premier incrément.
[0041] Pour un élément d'information sur les accidents, la valeur prédéterminée par laquelle la confiance est augmentée ou diminuée peut prendre un deuxième incrément qui est supérieur au premier incrément.
[0042] Pour un élément d'information sur les embouteillages, la valeur prédéterminée par laquelle la confiance est augmentée ou diminuée peut prendre un troisième incrément qui est supérieur au deuxième incrément.
[0043] Pour un élément d'information sur la présence transitoire d'objets dans une chaussée, la valeur prédéterminée par laquelle la confiance est augmentée ou diminuée prend un quatrième incrément qui est supérieur au troisième incrément.
[0044] Chacun des éléments d'information est classé en fonction de sa rapidité de changement. Ainsi, les différents incréments pris par la valeur prédéterminée sont déterminés de sorte que plus le changement des éléments d'information est rapide, plus leurs confiances sont augmentées ou diminuées de manière importante.
[0045] Dans le cas d’un élément d'information sur les feux de circulation, l'élément d’information dynamique acquis sur les feux de circulation qui correspond bien à l'état présumé de l’environnement extérieur associé à l’élément d'information dynamique acquis, c.-à-d. la confiance en l'état du feu de circulation (présumé par le procédé ou étape de présomption 67 consistant à présumer l’environnent externe successivement un nombre prédéterminé de fois est augmentée, tandis que la confiance en l'élément d’information dynamique acquis qui ne correspond pas bien à l'état présumé de l'environnement extérieur associé à l'élément d’information dynamique acquis successivement pendant une période prédéterminée est diminuée. On peut noter que la confiance en l'élément d’information dynamique acquis qui ne correspond pas bien à l'état présumé de l'environnement extérieur associé à l'élément d’information dynamique, successivement un nombre prédéterminé de fois, peut être diminuée.
[0046] Par référence à la figure 2, le graphe illustre six différentes situations pour illustrer divers éléments d’information dynamique acquis et les états de l'environnement extérieur associés aux différents éléments d'information dynamique requis, à présumer à partir d'images prises par le dispositif d'imagerie 2. Le procédé de détermination de la confiance consistant à déterminer le niveau de confiance 66 détermine si l'élément d’information dynamique acquis par le gestionnaire d’informations géographiques 5 correspond bien à l'état présumé de l’environnement extérieur associé à l’élément d’information dynamique acquis, qui est présumé par le procédé de présomption consistant à présumer l’environnement extérieur 67.
[0047] En référence à la figure 2, dans la situation 1/, lorsque, ou immédiatement après que, le procédé ou étape de présomption consistant à présumer l’environnement extérieur a présumé un état de l’environnement extérieur, tel que « Route fermée », «Alerte de limitation de vitesse maximale », « Alerte de contrôle de voie », « Alerte de circulation unidirectionnelle alternée », sur la base du résultat de la reconnaissance du ou des signes variables dans la ou les images prises par le dispositif d'imagerie 2, le procédé de détermination de la confiance consistant à déterminer le niveau de confiance 66 détermine si l'élément d'information dynamique acquis sur le contrôle de la circulation, qui est acquis par le gestionnaire d’informations géographiques 5, correspond bien à l’état présumé de l’environnement extérieur.
[0048] Dans la situation 2/, lorsque, ou immédiatement après que, le procédé ou étape de présomption consistant à présumer l’environnement extérieur 67 a présumé un état de l’environnement extérieur, tel que « Section de construction », « Période de construction », « Distance à la section de construction », sur la base du résultat de la reconnaissance des panneaux d'affichage et des objets sur une chaussée dans les images prises par le dispositif d'imagerie 2, le processus de détermination de la confiance consistant à déterminer le niveau de confiance 66 détermine si l’élément d’information dynamique indiquant des travaux de construction, acquis par le gestionnaire d'informations géographiques 5, correspond bien à l'état présumé de l'environnement extérieur.
[0049] Dans la situation 3/, lorsque, ou immédiatement après que, le procédé de présomption consistant à présumer l’environnement extérieur 67 a présumé un état de l’environnement extérieur, tel que « Site d'accident », « Contenu d’accident », « Embouteillage suite à un accident », sur la base du résultat de la reconnaissance des comportements des véhicules précédents et du ou des signes variables dans les images prises par le dispositif d'imagerie 2, le procédé de détermination de la confiance consistant à déterminer le niveau de confiance 66 détermine si l'élément d’information dynamique acquis concernant les accidents de la circulation, acquis par le gestionnaire d'informations géographiques 5, correspond bien à l'état présumé de l'environnement extérieur.
[0050] Dans la situation 4/, lorsque, ou immédiatement après que, le procédé de présomption consistant à présumer l’environnement extérieur 67 a présumé un état de l’environnement extérieur, tel qu’un embouteillage, sur la base du résultat de la reconnaissance du ou des signes variables dans la ou les images prises par le dispositif d'imagerie 2, le procédé de détermination de la confiance consistant à déterminer le niveau de confiance 66 détermine si l'élément d’information dynamique acquis concernant les embouteillages, acquis par le gestionnaire d'informations géographiques 5, correspond bien à l'état présumé de l'environnement extérieur.
[0051] L’embouteillage peut être présumé par les comportements des véhicules précédents et des modifications adéquates de l'éclairage des feux arrière de chacun des véhicules précédents, ou en tenant compte de la vitesse du véhicule en question, ou en tenant compte du contenu de l'affichage/de l'alerte à l'intérieur du véhicule 1.
[0052] Dans la situation 5/, lorsque, ou immédiatement après que, le procédé de présomption consistant à présumer l’environnement extérieur 67 a présumé un état de l’environnement extérieur, tel que la présence de feux de circulation, les états (couleurs) des feux de circulation, sur la base du résultat de la reconnaissance du ou des feux de circulation dans la ou les images prises par le dispositif d'imagerie 2, il est déterminé au procédé de détermination de la confiance consistant à déterminer le niveau de confiance 66, si l'élément d’information dynamique acquis concernant les feux de circulation, acquis par le gestionnaire d'informations géographiques 5, correspond bien à l'état présumé de l'environnement extérieur.
[0053] Dans la situation 6/ de la figure 2, lorsque, ou immédiatement après que, le procédé de présomption consistant à présumer l’environnement extérieur 67 a présumé un état de l’environnement extérieur, tel que la présence de personnes dans la route, sur la base du résultat de la reconnaissance de la présence transitoire d’objets dans la ou les images prises par le dispositif d'imagerie 2, le procédé de détermination de la confiance consistant à déterminer le niveau de confiance 66 permet de déterminer si l'élément d’information dynamique acquis concernant la présence transitoire d'objets, acquis par le gestionnaire d'informations géographiques 5, correspond bien à l'état présumé de l'environnement extérieur.
[0054] Si l’environnement présumé indique la présence de personnes sur la route malgré le fait que l'élément d’information dynamique acquis n’indique pas la présence de personnes sur la route, le procédé de détermination de la confiance consistant à déterminer le niveau de confiance 66 peut interdire l'utilisation de cet élément et/ou tous les éléments d’information dynamique acquis par le gestionnaire d'informations géographiques 5.
[0055] Lors de, ou immédiatement après, l’augmentation ou la diminution de la confiance d'un élément d'information dynamique acquis par le gestionnaire d'informations géographiques 5, le procédé de détermination de la confiance consistant à déterminer le niveau de confiance 66 transmet la confiance mise à jour à divers contrôleurs au sein du véhicule 1 pour permettre à ces derniers d’utiliser les informations dynamiques sur la base de la confiance transmise.
[0056] En référence à la figure 3, la procédure de détermination de la confiance effectuée par le système d’aide à la conduite est décrite. L’exécution de la procédure de détermination de confiance est initiée lors du début de fonctionnement du contrôleur 6 et se répète à intervalles prédéfinis.
[0057] A l’étape SI, un élément (ou un type) d'information dynamique acquis par le gestionnaire d'informations géographiques 5 est saisi.
[0058] À l’étape S2, un état de l’environnement extérieur associé à l’élément d'information dynamique est présumé sur la base de la reconnaissance d'image.
[0059] Il est déterminé si l’élément d'information dynamique correspond bien à l’état présumé de l’environnement extérieur ou non. Le nombre de fois qu’une bonne correspondance se répète successivement est compté. Si un nombre de fois prédéterminé est atteint, une étape de décision S3 renvoie à l'étape S4. A l’étape S4, la confiance de l'élément d'information dynamique qui correspond bien à l’état présumé de l’environnement extérieur, successivement le nombre prédéterminé de fois, est augmentée.
[0060] Si l’élément d’information dynamique ne correspond pas bien à l’état présumé d'un environnent externe successivement pendant une période prédéterminée, l’étape de décision S3 renvoie à l’étape S5. A l’étape S5, la confiance de l'élément d'information dynamique est diminuée.
[0061] A l’étape S6, les confiances de tous les éléments d'information dynamique sont transmises à chacun des contrôleurs présents sur le véhicule 1, avant la fin de la routine.
[0062] Le nombre de fois prédéterminé utilisé à l’étape de décision S3 peut varier avec différents éléments d’information dynamique. Le nombre de fois prédéterminé qui est normalement une fois peut être plusieurs fois. Un nombre de fois supérieur à 1 peut être utilisé par exemple pour l'évaluation de l'élément d’information dynamique concernant le contrôle de la circulation et l'élément d'information concernant les feux de circulation à l'étape S3.
[0063] A l'étape S6, chacune des confiances peut être comparée à un niveau seuil pour déterminer si la confiance est élevée si la confiance dépasse le niveau seuil, mais la confiance est faible si elle n'excède pas le niveau seuil avant que les confiances de tous les éléments d'information dynamique ne soient transmises à chacun des contrôleurs du véhicule 1.
[0064] Les informations dynamiques acquises par le gestionnaire d’informations géographiques 5 varient avec le temps car elles sont mises à jour. Dans la présente mise en œuvre, les informations dynamiques variables en fonction du temps sont évaluées en les comparant à l’état de l’environnement extérieur présumé sur la base des résultats de l’exécution du procédé de reconnaissance consistant en la reconnaissance d'objets 64. Ainsi, cela peut déterminer de manière appropriée la présence d'une ou plusieurs erreurs dans les informations dynamiques acquises. Le processus de reconnaissance comprend une reconnaissance d'image ayant pour but de rechercher et reconnaître des candidats pour des objets dans un flux d'images prises par le dispositif d'imagerie 2.
[0065] La présente mise en œuvre garantit une détermination appropriée de la confiance en fonction de chaque élément (ou type) d'information dynamique en ajustant le degré auquel la confiance est augmentée ou diminuée, à différents éléments d’information dynamique afin de résoudre le problème selon lequel la gravité du risque posé par une erreur d’information diffère d’un élément d’information dynamique à un autre et le problème selon lequel l’exactitude de l’estimation basée sur la reconnaissance d’image varie en fonction de nombreux facteurs.
[0066] La présente mise en œuvre peut garantir une détermination appropriée de la confiance en fonction de chacun de ces éléments (ou types) d'information dynamique basée sur la localisation, qui sont mis à jour au fil du temps, tels que les informations sur le contrôle de la circulation routière, les informations sur les travaux de construction, les informations sur le(s) accident(s), les informations sur la présence transitoire d'un ou de plusieurs objet(s) sur une chaussée, et les informations provenant de STI, en comparant chacun des éléments d’information dynamique à l'état de l'environnement extérieur présumé sur la base de la reconnaissance d'image afin d’en déterminer la confiance, et en ajustant le degré ou niveau auquel la confiance déterminée est augmentée ou diminuée, à différents éléments d'information dynamique.
[0067] Etant donné que les valeurs prédéterminées sont définies de telle sorte que plus le changement des éléments d’information est rapide, plus leurs confiances sont augmentées ou diminuées, la présente mise en œuvre garantit une détermination appropriée de la confiance en fonction de chacun de ces éléments d'information dynamique.
[0068] La présente mise en œuvre garantit une détermination appropriée de la confiance des informations acquises sur le(s) feu(x) de circulation, qui sont sujettes à changement au fil du temps, car la confiance dans les informations acquises qui ne correspondent pas bien à l'état présumé de l'environnement extérieur successivement pour une période de temps prédéterminée est diminuée, tandis que la confiance dans les informations acquises qui correspondent bien à l'état présumé de l'environnement extérieur successivement au nombre de fois prédéterminé est augmentée.
[0069] Bien que l’invention qui précède mette l’accent sur un exemple de la présente mise en œuvre dans lequel le contrôleur 6 effectue plusieurs déterminations et calculs sur la base des informations issues de différents capteurs, la présente mise en œuvre ne se limite pas à cet exemple. Par exemple, le véhicule 1 peut comporter un dispositif de communication capable d'envoyer des résultats de détection issus de différents capteurs à une unité externe, telle qu'un serveur, qui effectue diverses déterminations, et de recevoir les résultats des déterminations et des calculs effectués par l'unité externe. Sur la base des résultats des déterminations et des calculs reçus par le dispositif de communication, la présente mise en œuvre peut effectuer différents types de contrôles.
[0070] Bien que l'invention soit liée, sans s’y limiter, à la présente mise en œuvre, l'homme du métier comprendra que des modifications peuvent être apportées sans sortir du cadre de la présente invention. Toutes ces modifications et leurs équivalents sont destinés à être couverts par la présente invention.

Claims (1)

  1. Revendications [Revendication 1] Système d’aide à la conduite pour un véhicule, comprenant : un gestionnaire d'informations géographiques (5) configuré pour acquérir des informations dynamiques basées sur l’emplacement concernant une chaussée ; un dispositif d'imagerie (2) permettant de prendre une image d'un champ de vision externe en avant du véhicule (1) ; et un contrôleur (6), caractérisé en ce que un état de l’environnement extérieur associé aux informations dynamiques acquises est présumé sur la base de l’image ; et la confiance dans les informations dynamiques acquises est déterminée sur la base du résultat de détermination si les informations dynamiques acquises correspondent bien à l'état présumé de l’environnement extérieur. [Revendication 2] Système d’aide à la conduite selon la revendication 1, dans lequel la confiance dans les informations dynamiques acquises qui ne correspondent pas bien à l’état présumé de l’environnement extérieur est diminuée d’une valeur prédéterminée, ayant des incréments variables selon les différents éléments d'information dynamique, tandis qu’une bonne correspondance entraîne l’augmentation de la confiance de la valeur prédéterminée. [Revendication 3] Système d’aide à la conduite selon la revendication 2, dans lequel les différents éléments d’information dynamique comprennent un élément d’information sur les contrôles de circulation, un élément d'information sur les travaux de construction, un élément d'information sur les accidents de la circulation, un élément d’information sur les embouteillages, un élément d’information reçu à partir de Systèmes de Transport Intelligents, et un élément d’information sur la présence transitoire d'objet(s) sur une chaussée. [Revendication 4] Système d’aide à la conduite selon la revendication 3, dans lequel : la valeur prédéterminée prend un premier incrément dans le cas où les informations dynamiques acquises sont des éléments d’information sur le contrôle de la circulation routière ou des éléments d’information sur des travaux de construction ; la valeur prédéterminée prend un second incrément, qui est supérieur au premier incrément, dans le cas où l'information dynamique acquise est
    [Revendication 5] un élément d’information sur un accident de la circulation ;
    la valeur prédéterminée prend un troisième incrément, qui est supérieur au second incrément prédéterminé, dans le cas où l'information dynamique acquise est un élément d’information sur un embouteillage ; et le traitement de détermination du niveau de confiance (66) définit, comme valeur prédéterminée, un quatrième incrément prédéterminé, qui est supérieur au troisième incrément prédéterminé, dans le cas où l’information dynamique acquise est un élément d’information sur la présence transitoire d’objet(s) sur une chaussée.
    Système d’aide à la conduite selon l’une quelconque des revendications 1 à 4, dans lequel :
    dans le cas où les informations dynamiques acquises sont un élément d'information sur un ou des feu(x) de circulation, la confiance dans les informations dynamiques acquises qui ne correspondent pas bien à l'état présumé de l'environnement extérieur successivement pour une période prédéterminée est diminuée, tandis que la confiance dans les informations dynamiques acquises qui correspondent bien à l'état présumé de l'environnement extérieur successivement un nombre de fois prédéterminé est augmentée.
FR1906056A 2018-06-08 2019-06-07 Système d’aide a la conduite Active FR3082165B1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018110070A JP2019212186A (ja) 2018-06-08 2018-06-08 運転支援装置
JP2018-110070 2018-06-08

Publications (2)

Publication Number Publication Date
FR3082165A1 true FR3082165A1 (fr) 2019-12-13
FR3082165B1 FR3082165B1 (fr) 2021-10-22

Family

ID=68652004

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1906056A Active FR3082165B1 (fr) 2018-06-08 2019-06-07 Système d’aide a la conduite

Country Status (4)

Country Link
JP (1) JP2019212186A (fr)
CN (1) CN110580441B (fr)
DE (1) DE102019208185A1 (fr)
FR (1) FR3082165B1 (fr)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3108194B1 (fr) * 2020-03-11 2022-02-25 Psa Automobiles Sa Méthodes et systèmes d’interprétation des messages des panneaux de signalisation à messages variables
CN112069279B (zh) 2020-09-04 2022-11-08 北京百度网讯科技有限公司 地图数据更新方法、装置、设备及可读存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3875941B2 (ja) 2002-09-30 2007-01-31 三菱電機株式会社 車両走行支援装置および車両走行支援サービスの提供方法
JP6364747B2 (ja) * 2013-11-14 2018-08-01 オムロン株式会社 監視装置および監視方法
JP6154839B2 (ja) * 2015-03-18 2017-06-28 本田技研工業株式会社 道路標識判断装置及び道路標識判断方法
CN105741595B (zh) * 2016-04-27 2018-02-27 常州加美科技有限公司 一种基于云端数据库的无人驾驶车辆导航行车方法

Also Published As

Publication number Publication date
FR3082165B1 (fr) 2021-10-22
DE102019208185A1 (de) 2019-12-12
CN110580441A (zh) 2019-12-17
CN110580441B (zh) 2024-07-19
JP2019212186A (ja) 2019-12-12

Similar Documents

Publication Publication Date Title
US10021254B2 (en) Autonomous vehicle cameras used for near real-time imaging
KR20210129190A (ko) 운전 데이터 분석 방법, 장치, 전자 기기 및 컴퓨터 저장 매체
EP3716097B1 (fr) Procédé d'acquisition de données capturées par un module de capture embarqué dans un engin mobile suivant une trajectoire prédéterminée, programme d'ordinateur et dispositif correspondants
KR101785401B1 (ko) 무인비행체를 이용한 적재불량 차량 단속 시스템 및 그 방법
US7333634B2 (en) Method and apparatus for a velocity detection system using optical growth rate
FR3082340A1 (fr) Systeme de reconnaissance de panneaux de signalisation
EP3361412A1 (fr) Système, programme, et procédé de détection de glace noire
US20240303852A1 (en) Methods and systems for detecting vessels
FR3082349A1 (fr) Systeme d'assistance à la conduite monte sur vehicule
KR20190043396A (ko) 도로 경로 촬영 영상을 이용한 도로 경로 별 날씨정보 생성 및 제공하기 위한 방법 및 시스템
FR3082165A1 (fr) Système d’aide a la conduite
EP1710767B1 (fr) Procédé et système de détection de la présence d'un objet gênant, et module d'activation pour ce système
CA3056611A1 (fr) Systeme de generation automatique d'alertes destinees aux usagers d'une route
EP3828866A1 (fr) Procede et dispositif pour la determination de trajectoires d'elements mobiles
FR3082166A1 (fr) Système d’assistance a la conduite
CN114264310B (zh) 定位及导航方法、装置、电子设备、计算机存储介质
KR102317311B1 (ko) 영상을 이용한 정보 분석 시스템 및 그에 관한 방법
EP2332131B1 (fr) Systeme passif et autonome de detection du depassement par un vehicule d'une vitesse limitee
FR3082348A1 (fr) Systeme d’aide a la conduite de vehicule
FR3055287A1 (fr) Dispositif de determination d'une limitation de vitesse, systeme embarque comprenant un tel dispositif et procede de determination d'une limitation de vitesse
EP3712871A1 (fr) Dispositif électronique de sélection automatique d'une configuration de surveillance d'une zone de trafic routier, procédé de sélection et programme d'ordinateur associés
FR3082342A1 (fr) Systeme d’aide a la conduite de vehicule
FR3103305A1 (fr) Procédé et dispositif de prédiction d’au moins une caractéristique dynamique d’un véhicule en un point d’un segment routier.
FR3082167A1 (fr) Systeme d’assistance à la conduite
WO2018069060A1 (fr) Dispositif de localisation et dispositif de production de données d'intégrité

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLFP Fee payment

Year of fee payment: 3

PLSC Publication of the preliminary search report

Effective date: 20210430

PLFP Fee payment

Year of fee payment: 4

PLFP Fee payment

Year of fee payment: 5

PLFP Fee payment

Year of fee payment: 6