FR2993844A1 - METHOD FOR ASSISTING THE DRIVER OF A VEHICLE - Google Patents

METHOD FOR ASSISTING THE DRIVER OF A VEHICLE Download PDF

Info

Publication number
FR2993844A1
FR2993844A1 FR1357452A FR1357452A FR2993844A1 FR 2993844 A1 FR2993844 A1 FR 2993844A1 FR 1357452 A FR1357452 A FR 1357452A FR 1357452 A FR1357452 A FR 1357452A FR 2993844 A1 FR2993844 A1 FR 2993844A1
Authority
FR
France
Prior art keywords
vehicle
change
camera
navigation system
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR1357452A
Other languages
French (fr)
Other versions
FR2993844B1 (en
Inventor
Wolfgang Niem
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of FR2993844A1 publication Critical patent/FR2993844A1/en
Application granted granted Critical
Publication of FR2993844B1 publication Critical patent/FR2993844B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/20Direction indicator values
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • B60W2556/50External transmission of data to or from the vehicle for navigation systems

Abstract

« Procédé d'assistance du conducteur d'un véhicule » Procédé pour assister le conducteur à bord d'un véhicule automobile (105) comprenant les étapes suivante consistant à déterminer un changement futur de direction du véhicule (105) en se fondant sur les informations d'un système de navigation (115), sélectionner une image fournie par une caméra frontale (125) ou une caméra latérale (130, 135) en fonction du changement de direction, et déterminer un signal de circulation dans l'environnement du véhicule (105) en se fondant sur l'image sélectionnée.'Vehicle driver assistance method' means a method of assisting the driver in a motor vehicle (105) comprising the steps of determining a future change of direction of the vehicle (105) based on the information of a navigation system (115), selecting an image provided by a front camera (125) or a side camera (130, 135) according to the change of direction, and determining a traffic signal in the vehicle environment ( 105) based on the selected image.

Description

Domaine de l'invention La présente invention se rapporte à un pro cédé d'assistance du conducteur d'un véhicule et notamment à un procédé de reconnaissance de signes de circulation à partir d'un véhicule à l'aide de plusieurs caméras différentes. Etat de la technique La reconnaissance de signes ou panneaux de circulation à bord d'un véhicule automobile consiste à saisir l'image d'une caméra dirigée vers l'avant et d'identifier un signe de circulation dans l'image saisie. Le signe de circulation est par exemple celui d'un feu lumineux ou d'un panneau. Dans le cas d'un feu lumineux on peut exploiter l'état actuel c'est-à-dire déterminer le signal émis à un instant donné par les feux rouges. L'information détectée est fournie habituellement de manière optique au conducteur du véhicule. Mais il y a également d'autres possibilités d'information, par exemple une information haptique ou acoustique si le véhicule dépasse une limite réglementée telle qu'une limitation de vitesse liée aux signes de circulation détectés. La plage de visée de la caméra qui fournit l'image du signe de circulation est habituellement limitée à un angle prédéfini. Si le véhicule change par exemple de direction, un signe de circulation risque d'être difficile à saisir à la fois pour le conducteur et pour le système de détection, si bien le conducteur ne sera pas informé de la règle de circulation applicable malgré l'utilisation d'un système de détection de sorte que le conducteur risque de ne pas respecter les règles de circulation. Le document WO 2011/105710 A3 décrit un système d'affichage avec une caméra dirigée vers l'avant et deux caméras orientées latéralement. Lorsqu'on constate un signal clignotant qui met en évidence un changement de direction du véhicule sur un écran on affiche l'image de la caméra orientée latéralement de façon correspondante ; par ailleurs l'image est celle de la caméra orientée vers l'avant. Le document US 2010/0033571 Al décrit une technique de détermination de l'horizon artificiel pour détecter des signes de circulation lorsqu'un tel signe se trouve dans une courbe.Field of the Invention The present invention relates to a method of assisting the driver of a vehicle and in particular to a method of recognizing traffic signs from a vehicle using a plurality of different cameras. State of the art The recognition of signs or traffic signs on board a motor vehicle consists of capturing the image of a camera directed towards the front and of identifying a traffic sign in the captured image. The traffic sign is for example that of a light or a panel. In the case of a luminous light it is possible to exploit the current state, that is to say to determine the signal emitted at a given moment by the red lights. The detected information is usually provided optically to the driver of the vehicle. But there are also other possibilities for information, for example haptic or acoustic information if the vehicle exceeds a regulated limit such as a speed limit related to the detected traffic signs. The viewing range of the camera that provides the image of the traffic sign is usually limited to a predefined angle. If, for example, the vehicle changes direction, a traffic sign may be difficult for both the driver and the detection system to grasp, so the driver will not be informed of the applicable traffic rule despite the use of a detection system so that the driver may not respect the traffic rules. The document WO 2011/105710 A3 describes a display system with a camera directed towards the front and two cameras oriented laterally. When a flashing signal is detected which shows a change of direction of the vehicle on a screen, the image of the camera oriented laterally is displayed correspondingly; in addition, the image is that of the camera facing forward. US 2010/0033571 A1 describes a technique for determining the artificial horizon for detecting signs of movement when such a sign is in a curve.

Le document US 5,530,421 décrit un système d'écran à plusieurs caméras dont les images sont représentées en fonction de la vitesse de circulation déterminée sur un moniteur. En particulier on utilise le signal clignotant pour sélectionner l'image vers la droite ou l'image vers la gauche fournie par la caméra. But de l'invention La présente invention a pour but de développer un procédé, un produit programme d'ordinateur, un dispositif et un système permettant d'améliorer la reconnaissance de signes de circulation ou signes ou panneaux routiers. Exposé et avantages de l'invention A cet effet l'invention a pour objet un procédé d'assistance du conducteur d'un véhicule automobile comprenant les étapes consistant à déterminer un changement futur de direction du véhicule automobile en se fondant sur les informations d'un système de navigation, sélectionner une image de caméra fournie par une caméra frontale ou une caméra latérale en fonction du changement de direction déterminé, et déterminer un signe de circulation dans l'environnement du véhicule en se fondant sur l'image de caméra sélectionnée.Document US 5,530,421 describes a multi-camera screen system whose images are represented according to the determined traffic speed on a monitor. In particular, the flashing signal is used to select the image to the right or the image to the left provided by the camera. OBJECT OF THE INVENTION The present invention aims to develop a method, a computer program product, a device and a system for improving the recognition of traffic signs or signs or road signs. DESCRIPTION AND ADVANTAGES OF THE INVENTION To this end, the subject of the invention is a method of assisting the driver of a motor vehicle comprising the steps of determining a future change of direction of the motor vehicle on the basis of the information of a navigation system, selecting a camera image provided by a front camera or a side camera according to the determined direction change, and determining a traffic sign in the vehicle environment based on the selected camera image.

En tenant compte des informations fournies par le système de navigation, on détermine mieux s'il y a un changement de direction futur et quand ce changement de direction du véhicule se fera. En sélectionnant la caméra avec l'angle de visée correspondante on peut fournir une image améliorée en ce que l'on a un signe de circulation caractéristique pour la suite de la circulation du véhicule. En particulier le procédé assiste le conducteur si dans la région d'un croisement il y a un état de circulation que l'on ne peut voir ou si après le changement de direction plusieurs signes de circulation apparaissent parmi lesquels seuls certains doivent être respectés. Pour les opérations de changements de direction ou changements de voie de circulation le conducteur sera assisté et n'aura pas à identifier en plus de sa conduite et la circulation qui existe, s'il y a un signe de circulation valable localement. Selon un développement préférentiel on détermine le changement de direction en plus en s'appuyant sur le signal clignotant.Taking into account the information provided by the navigation system, it is better to determine whether there is a future change of direction and when this change of direction of the vehicle will occur. By selecting the camera with the corresponding viewing angle it is possible to provide an improved image in that there is a characteristic traffic sign for the further circulation of the vehicle. In particular the method assists the driver if in the region of a crossing there is a state of circulation that can not be seen or if after the change of direction several traffic signs appear among which only some must be respected. For changes of direction or lane changes the driver will be assisted and will not have to identify in addition to his driving and the existing traffic, if there is a valid traffic sign locally. According to a preferential development the change of direction is determined in addition by relying on the flashing signal.

Le signal clignotant peut dans une bonne approximation donner une conclusion concernant l'intention du conducteur du véhicule ; l'information du signal clignotant peut être mise en corrélation avec les informations du système de navigation pour, par exemple, distinguer une phase d'arrêt dans laquelle on attend pas de signes de circulation et une opération de changement de direction qui est risquée sur un trajet avec des signes de circulation. Le système de navigation peut servir à piloter vers la destination et le changement de direction sera déterminé sur le fondement d'un trajet prédéfini entre la position actuelle du véhicule et l'emplacement de définition. Si le conducteur suit le trajet prédéfini, la détermination des changements de direction sera particulièrement simple et efficace. Cela permet de rendre la reconnaissance des signes de circulation plus efficace à mettre en oeuvre.The flashing signal can in a good approximation give a conclusion concerning the intention of the driver of the vehicle; the information of the flashing signal can be correlated with the information of the navigation system to, for example, distinguish a stop phase in which no signs of traffic are expected and a change of direction operation which is risky on a journey with traffic signs. The navigation system can be used to steer towards the destination and the change of direction will be determined on the basis of a predefined path between the current position of the vehicle and the location of definition. If the driver follows the predefined route, the determination of direction changes will be particularly simple and effective. This makes recognition of traffic signs more efficient to implement.

Selon un développement, le changement de direction se détermine sur le fondement de la position du véhicule automobile sur un réseau routier et les informations concernant des phases des changements de direction non autorisés. C'est ainsi que l'on peut déterminer d'une manière améliorée, les changements de direction qui sont possibles. Selon un développement, plusieurs changements de direction peuvent être pris en compte de façon cumulée si bien que des signes de circulation ont peut être déjà été envoyés même avant que le changement de direction du véhicule automobile ne soit définitivement fixé.According to a development, the change of direction is determined on the basis of the position of the motor vehicle on a road network and the information concerning phases of unauthorized changes of direction. In this way, changes in direction that are possible can be determined in an improved manner. According to a development, several directional changes can be taken into account cumulatively so that traffic signs may have already been sent even before the change of direction of the motor vehicle is definitively fixed.

Selon un développement particulièrement préférentiel on définit plusieurs changements de direction possibles et pour chaque changement de direction on définit la probabilité avec laquelle ce changement de direction se fera. Le changement de direction à la base de la sélection de l'image de caméra peut ainsi être défini de manière quelconque pour le produit ayant la plus grande probabilité. Ce développement est notamment combiné à une prise en compte spéculative de plusieurs changements de direction. Cela peut provenir de ce que les changements de direction corrects se font de manière plus anticipés de sorte que pour déterminer un signe de circulation valable il faut disposer de plus temps ou encore la saisie des informations de circulation ne peut se faire qu'avec une précision réduite. Selon un autre développement préférentiel, le système de navigation fournit un horizon électronique représentant une région visible ou déterminante localement d'un tracé autoroutier en amont. Le changement de direction se détermine dans la région de l'horizon électronique. Cela peut donner la priorité à une possibilité de changement de direction permettant de mieux déterminer le changement de direction.According to a particularly preferential development, several possible changes of direction are defined and for each change of direction the probability with which this change of direction will be made is defined. The change of direction at the base of the selection of the camera image can thus be defined in any way for the product having the greatest probability. This development is in particular combined with a speculative taking into account of several changes of direction. This can be due to the fact that the correct direction changes are made in a more anticipated manner so that in order to determine a valid traffic sign it is necessary to have more time or else the input of the traffic information can only be done with precision scaled down. According to another preferred development, the navigation system provides an electronic horizon representing a region visible or locally determining an upstream motorway route. The change of direction is determined in the region of the electronic horizon. This may give priority to a possibility of a change of direction to better determine the change of direction.

Selon un développement, l'émission d'un signal indiquant un signe de circulation reconnu est retardée jusqu'à ce que le véhicule ait effectué le changement de direction déterminé. On évite ainsi qu'un changement de direction futur, déterminé par erreur, se traduise par une indication relative à un signe de circulation qui ne serait pas alors caractéristique de la direction effectivement utilisée par le véhicule. Un produit programme d'ordinateur selon l'invention comporte un moyen de code de programme pour exécuter le procédé décrit ci-dessus lorsque le produit programme d'ordinateur est exécuté par une installation de traitement ou est enregistré sur un support de données, lisible par un ordinateur. En particulier le produit programme d'ordinateur peut servir à combiner une reconnaissance de signes de circulation usuels et un système de navigation usuel comme cela est décrit ci-dessus. Le produit programme d'ordinateur peut alors être appliqué en variante par une installation de traitement du système de navigation, du système de détection ou d'une installation de traitement dédiée. L'invention a également pour objet un dispositif embarqué dans un véhicule comprenant une première interface relative à des informations d'un système de navigation, une seconde interface liée à un système de reconnaissance de signes de circulation dans la région du véhicule automobile en se fondant sur l'image d'une caméra, une installation de traitement pour déterminer un futur changement de direction du véhicule en se fondant sur les informations indiquées au système de navigation et pour sélectionner une image de caméra provenant d'une caméra frontale ou d'une caméra latérale pour le système de reconnaissance sur la base du changement de direction déterminé. Le dispositif peut utiliser des éléments ou des sous- systèmes déjà installés à bord d'un véhicule pour améliorer la reconnaissance de signes de circulation. Cela permet de réduire les coûts de développement et d'installation du dispositif. Suivant une autre caractéristique, le système selon l'invention d'assistance du conducteur d'un véhicule comprend une caméra frontale, une caméra latérale, un système de navigation, un système de reconnaissance pour déterminer un signe de circulation dans l'environnement du véhicule en se fondant sur une image caméra, caractérisé par une installation de traitement pour déterminer un futur changement de direction du véhicule en se fondant sur les informations du système de navigation, et une image de caméra fournie par la caméra sur le fondement du changement déterminé de direction. Dessins La présente invention sera décrite ci-après de manière plus détaillée à l'aide d'un mode de réalisation d'un procédé d'assistance du conducteur et d'un dispositif pour la mise en oeuvre de ce procédé, représentés dans les dessins annexés dans lesquels : - la figure 1 montre un système de reconnaissance de signes de circulation embarqué dans un véhicule automobile, - la figure 2 montre dans les parties 2a, 2b, 2c, les cas dans lesquelles le véhicule change de direction, - la figure 3 montre un ordinogramme d'un procédé de reconnaissance de signes de circulation embarqué dans le véhicule de la figure 1. Description de modes de réalisation La figure 1 montre un système de reconnaissance de signes de circulation embarqué dans un véhicule 105. Le système 100 comprenant un système de reconnaissance 110, un système de navigation 115 et une installation de sélection 120. Le système de reconnaissance 110 reconnaît un signe de circulation dans l'image d'une caméra embarquée dans le véhicule 105. A bord du véhicule 105 il y a une caméra frontale 125, une caméra latérale pour le côté gauche 130 et une caméra latérale pour le côté droit 135. Les caméras 125-135 peuvent également servir à d'autres fins dans le véhicule 105, par exemple pour aider le conducteur dans les manoeuvres d'engagement ou de dégagement d'un emplacement de stationnement ou encore pour fournir une image panoramique au conducteur. L'indication relative à un signe de circulation reconnu par le système de reconnaissance 110 peut être émise par une installation d'émission 140 qui génère un signal acoustique, optique ou haptique. L'installation d'émission 140 peut également servir à d'autres systèmes ou assistants embarqués dans le véhicule 105 ; selon un développement, l'installation d'émission 140 est associée exclusivement au système de reconnaissance 110. L'installation de sélection 120 sélectionne l'image de l'une des caméras 125, 130, 135 servant à l'exploitation par le système de reconnaissance 110. Dans le mode de réalisation présenté, on a utilisé une installation de commutation 145 pour qu'à partir de la sélection faite par l'installation de sélection 120 l'une des images des caméras 125-135 soit transmise en système de reconnaissance 110. L'installation de commutation 145 peut être une installation indépendante ou, correspondre à un autre mode de réalisation du système de reconnaissance 110. L'installation de commutation 145 est reliée par une première interface 150 à l'installation de sélection 120. Une seconde interface 155 relie l'installation de sélection 120 au système de reconnaissance 110. Une troisième interface 160 relie l'installation de sélection 120 au système de navigation 116. Selon un autre développement, l'installation de commutation 145 fait partie de l'installation de sélection 120 et les caméras 125-135 sont reliées directement à l'installation de sélection 120 qui fournit les images sélectionnées au système de reconnaissance 110. Selon une autre variante, l'installation de commutation 145 comprenant le système de reconnaissance 110.According to a development, the emission of a signal indicating a recognized traffic sign is delayed until the vehicle has made the determined change of direction. This avoids a future direction change, determined by mistake, resulting in an indication relative to a traffic sign that would not then be characteristic of the direction actually used by the vehicle. A computer program product according to the invention comprises program code means for executing the method described above when the computer program product is executed by a processing facility or is recorded on a data carrier, readable by a computer. In particular the computer program product can be used to combine a recognition of usual traffic signs and a conventional navigation system as described above. The computer program product can then be alternatively applied by a processing installation of the navigation system, the detection system or a dedicated processing facility. The invention also relates to a device embedded in a vehicle comprising a first interface relating to information of a navigation system, a second interface linked to a recognition system of traffic signs in the region of the motor vehicle on the basis of in the image of a camera, a processing facility for determining a future change of direction of the vehicle based on the information indicated to the navigation system and for selecting a camera image from a front camera or a camera. side camera for the recognition system on the basis of the determined change of direction. The device can use elements or subsystems already installed in a vehicle to improve the recognition of traffic signs. This reduces the cost of developing and installing the device. According to another characteristic, the system according to the invention of assisting the driver of a vehicle comprises a front camera, a side camera, a navigation system, a recognition system for determining a traffic signal in the vehicle environment. based on a camera image, characterized by a processing facility for determining a future change of direction of the vehicle based on the information from the navigation system, and a camera image provided by the camera on the basis of the determined change in direction. Drawings The present invention will be described hereinafter in more detail with the aid of an embodiment of a driver assistance method and a device for carrying out this method, shown in the drawings. appended in which: - Figure 1 shows a recognition system of traffic signs embedded in a motor vehicle, - Figure 2 shows in parts 2a, 2b, 2c, the cases in which the vehicle changes direction, - the figure 3 shows a flowchart of a method for recognizing traffic signs embedded in the vehicle of FIG. 1. DESCRIPTION OF EMBODIMENTS FIG. 1 shows a system for recognizing traffic signs embedded in a vehicle 105. The system 100 comprising a recognition system 110, a navigation system 115 and a selection facility 120. The recognition system 110 recognizes a traffic sign in the image of a vehicle. There is a front camera 125, a side camera for the left side 130 and a side camera for the right side 135. The cameras 125-135 can also be used for other purposes in the vehicle 105, for example to assist the driver in the engagement or disengagement maneuvers of a parking space or to provide a panoramic image to the driver. The indication relating to a traffic sign recognized by the recognition system 110 may be emitted by a transmission facility 140 which generates an acoustic, optical or haptic signal. The transmission facility 140 may also be used for other systems or assistants embedded in the vehicle 105; according to a development, the transmission installation 140 is associated exclusively with the recognition system 110. The selection installation 120 selects the image of one of the cameras 125, 130, 135 used by the system to operate. recognition 110. In the embodiment shown, a switching installation 145 was used so that from the selection made by the selection facility 120, one of the images of the cameras 125-135 would be transmitted in a recognition system. 110. The switching installation 145 may be an independent installation or correspond to another embodiment of the recognition system 110. The switching installation 145 is connected by a first interface 150 to the selection installation 120. second interface 155 connects the selection facility 120 to the recognition system 110. A third interface 160 connects the selection facility 120 to the navigation system 116. According to another development, the switching installation 145 is part of the selection installation 120 and the cameras 125-135 are connected directly to the selection facility 120 which supplies the selected images to the recognition system 110. another variant, the switching installation 145 comprising the recognition system 110.

Le système de navigation 115 est de préférence un système de navigation par satellite tel que GPS, GLONASS ou GALILEO. Suivant une caractéristique préférentielle, l'installation de navigation 115 détermine le trajet entre la position actuelle du véhicule 105 et la destination et génère des indications pour suivre le trajet pour le conducteur du véhicule 105. Suivant une autre caractéristique préférentielle, le système de navigation 115 comporte une mémoire pour recevoir des données cartographiques avec notamment des informations relatives au réseau routier dans l'environnement du véhicule 105. Les données cartographiques peuvent également comporter des informations relatives aux trajets interdits tels que par exemple les sens interdits ou les interdictions de tourner. La troisième interface 160 permet d'accéder à des informations du système de navigation 115 pour l'installation de sélection 120. Selon un développement préférentiel, l'installation de sélection 120 est reliée en plus à un générateur de signal clignotant 165 qui fournit un signal clignotant poussant le conducteur du véhicule 105 à indiquer aux tiers un changement de direction ou une manoeuvre de changement de direction. La figure 2 donne des exemples de cas dans lesquels le véhicule 105 de la figure 1 change de direction. La figure 2a montre le véhicule 105 sur une chaussée 205 avec une courbe sans embranchement. Derrière la courbe, il y a un panneau de signalisation ou signe routier 210 qui interdit le passage ou indique une autre règle de circulation valable pour la route 205, par exemple une limitation de vitesse ou une interdiction de dépassement. Le tracé de la chaussée 205 peut également s'obtenir à partir de données cartographiques du système de navigation 115 par la troisième interface 160 pour l'installation de sélection 120. A partir de ces informations, dans la situation représentée, on à un changement de direction vers la droite et pour cela la caméra du côté droit 135 de la figure 1 est reliée par l'installation de commutation 145 au système de reconnaissance 110. La caméra latérale du côté droit permet de détecter le signe de circulation 210 avant que ne soit fait le changement de direction du véhicule 105. Cela permet de détecter le signe de circulation 210 significativement avant le système de reconnaissance 110 et de l'exploiter au-delà de ce qui serait possible avec la seule caméra frontale 125. La figure 2b montre un autre exemple de cas dans lequel une seconde route 215 dérive à droite à partir de la route 205 sur laquelle le véhicule 105 circule actuellement. Si le véhicule 105 suit la route 205 droite, le signe de circulation 210 est valable pour le véhicule 105. Mais si le véhicule bifurque à droite sur la seconde chaussée 215 alors le second signe de circulation 220 s'applique. Si un trajet est enregistré dans le système de navigation 115 qui indique au conducteur du véhicule 105 laquelle des routes 205 ou 215 il doit suivre alors ce trajet 205, 215 sera défini comme direction en amont pour le véhicule 105 par l'installation de sélection 120. Si le véhicule 105 doit suivre, selon le trajet, la route 215, la caméra latérale droite 135 sera choisie. Dans le cas contraire, il s'agira de la caméra frontale 125. Si le système de navigation ne présente pas de trajet on peut se servir de la probabilité d'utilisation de la route 205, 215 pour déterminer d'autres informations. La route ou trajet 205, 215 de plus grande probabilité constitue alors la base du changement de direction fourni par l'installation de sélection 120. Le trajet 205 peut par exemple se déterminer comme le plus probable s'il est plus important du point de vue de la circulation que le trajet 215 ou si la vitesse du véhicule 105 dans la région de l'intersection des routes 205, 215 rend improbable une manoeuvre de changement de direction.The navigation system 115 is preferably a satellite navigation system such as GPS, GLONASS or GALILEO. According to a preferred characteristic, the navigation installation 115 determines the path between the current position of the vehicle 105 and the destination and generates indications for following the path for the driver of the vehicle 105. According to another preferred feature, the navigation system 115 includes a memory for receiving map data including information relating to the road network in the environment of the vehicle 105. The map data may also include information relating to prohibited routes such as for example prohibited directions or prohibitions to turn. The third interface 160 makes it possible to access information from the navigation system 115 for the selection installation 120. According to a preferred development, the selection facility 120 is additionally connected to a flashing signal generator 165 which provides a signal flashing light causing the driver of the vehicle 105 to indicate to third parties a change of direction or a maneuver of change of direction. FIG. 2 gives examples of cases in which the vehicle 105 of FIG. 1 changes direction. Figure 2a shows the vehicle 105 on a roadway 205 with a curve without branching. Behind the curve, there is a traffic sign or road sign 210 which prohibits the passage or indicates another traffic rule valid for the road 205, for example a speed limit or an overtaking prohibition. The course of the roadway 205 can also be obtained from cartographic data of the navigation system 115 by the third interface 160 for the selection installation 120. From this information, in the situation shown, there is a change of direction to the right and for this the camera on the right side 135 of Figure 1 is connected by the switching facility 145 to the recognition system 110. The side camera on the right side can detect the traffic sign 210 before being This makes it possible to detect the traffic sign 210 significantly before the recognition system 110 and to exploit it beyond what would be possible with the single front camera 125. FIG. another example of a case in which a second road 215 drifts to the right from the road 205 on which the vehicle 105 is currently traveling. If the vehicle 105 follows the right road 205, the traffic sign 210 is valid for the vehicle 105. But if the vehicle forks to the right on the second roadway 215 then the second traffic sign 220 applies. If a path is recorded in the navigation system 115 which indicates to the driver of the vehicle 105 which of the roads 205 or 215 he must follow then this path 205, 215 will be defined as upstream direction for the vehicle 105 by the selection facility 120 If the vehicle 105 is to follow, depending on the route, the road 215, the right side camera 135 will be selected. In the opposite case, it will be the front camera 125. If the navigation system has no path can be used the probability of use of the road 205, 215 to determine other information. The route or path 205, 215 of greater probability then constitutes the basis of the change of direction provided by the selection facility 120. The path 205 can for example be determined as the most probable if it is more important from the point of view of traffic that the path 215 or if the vehicle speed 105 in the region of the intersection of the roads 205, 215 makes it unlikely a change of direction maneuver.

La figure 2C montre un autre cas analogue à celui de la figure 2b mais avec une troisième route 225 à gauche du véhicule 105. Si le véhicule 105 suit la troisième route 225 il devra tenir compte d'un troisième signe ou panneau de circulation 230. Les routes en amont 205, 215 ou 225 peuvent se déterminer par exemple en se fondant sur le signal clignotant émis par le générateur de signal clignotant 165 et à partir des routes en amont 205, 215 ou 225 pour déduire un changement de direction du véhicule 105. Dans les cas dans lesquels il y a plus d'une possibilité de changement de direction (voir les figures 2B et 2C) on pourra également déterminer plusieurs changements de direction et exploiter de manière spéculative les caméras correspondantes 125-135. La figure 3 montre l'ordinogramme d'un procédé 300 pour améliorer la reconnaissance de signes de circulation ou panneaux de circulation. Dans une étape 305 en option, à partir des informations du système de navigation 115 on détermine un horizon électronique et dans la suite on ne tiendra compte que des informations relatives à la région de l'horizon électronique. Dans l'étape 310 suivante on détermine si un changement de trajectoire est possible ce qui se fait de préférence en se fondant sur des informations cartographiques du système de navigation 115. Selon un mode de réalisation on tient compte des interdictions telles que par exemple les interdictions de changement de direction. Dans l'étape 315 suivante on détermine les probabilités de tous les changements de direction possibles selon l'étape 310. Dans l'étape 320 suivante on détermine un changement de direction en amont du véhicule 105 en s'appuyant sur les informations disponibles. De façon préférentielle on sélectionne ainsi le changement de direction qui correspond à la plus forte probabilité. Cette sélection dans l'étape 320 peut se déterminer en plus en se fondant sur une étape 325 dans laquelle on a exploité le signal clignotant du générateur de signal clignotant 165 comme cela a été décrit ci-dessus en référence à la figure 2. En outre dans l'étape 330 on prédéfinit un trajet dans le système de navigation 115 utilisé en plus pour la sélection. On suppose alors que le véhicule 105 suit le trajet déterminé et on déduit un changement de direction futur. Dans l'étape 335 on détermine le changement de direction futur. S'il y a un changement de direction vers la gauche alors dans l'étape 340 on sélectionne la caméra 130 du côté gauche. S'il y a un changement de direction vers la droite alors dans l'étape 345 on sélectionne la caméra latérale droite 135. L'absence de changement de direction vers la droite ou vers la gauche se traduit par la sélection de la caméra frontale 125 dans l'étape 350. Ensuite, dans l'étape 355 on reconnaît les signes de circulation 210, 220, 230 avec le système de reconnaissance 110 et le cas échéant, on donne au conducteur du véhicule 105 une indication par l'installation d'émission 140. L'émission de l'indication peut être temporisée par un signal de commande correspondant transmis par la seconde interface 155 et l'installation de sélection 120 jusqu'à ce que le véhicule 105 ait effectué selon un certain degré le changement de direction déterminé. Cela peut notamment être intéressant si dans l'étape 320 on a déterminé comme probables plusieurs changements de direction et si une exécution spéculative des étapes 325-350 a été appliquée pour différents scénarios.5 NOMENCLATURE DES ELEMENTS PRINCIPAUX 100 Système de reconnaissance d'un signe ou panneau de circulation 105 Véhicule automobile 110 Système de reconnaissance 115 Système de navigation 120 Installation de sélection 125 Caméra frontale 130 Caméra de côté gauche 135 Caméra latérale droite 140 Installation d"émissin 145 Installation de commutation 150 Première interface 155 Seconde interface 160 Troisième interface 165 Générateur de signal de clignotant 205 Route 210 Signe ou panneau de signalisation ou de circulation 215 Seconde route 220 Second signe ou panneau indicateur 225 Route 230 Signe ou panneau indicateur ou panneau de signalisation 300 Ordinogramme d'un procédé 305-355 Etapes de l'ordinogramme 300FIG. 2C shows another case similar to that of FIG. 2b but with a third road 225 to the left of the vehicle 105. If the vehicle 105 follows the third road 225, it will have to take into account a third sign or traffic sign 230. The upstream roads 205, 215 or 225 can be determined for example by relying on the flashing signal from the flashing signal generator 165 and from the upstream roads 205, 215 or 225 to derive a change of direction of the vehicle 105 In cases where there is more than one possibility of a change of direction (see FIGS. 2B and 2C), it will also be possible to determine several changes of direction and to use speculatively the corresponding cameras 125-135. Figure 3 shows the flow chart of a method 300 for improving the recognition of traffic signs or traffic signs. In an optional step 305, from the information of the navigation system 115 an electronic horizon is determined and in the following only the information relating to the region of the electronic horizon will be taken into account. In the following step 310, it is determined whether a change of trajectory is possible, which is preferably done on the basis of cartographic information of the navigation system 115. According to one embodiment, prohibitions such as, for example, prohibitions are taken into account. change of direction. In the following step 315, the probabilities of all the possible changes of direction according to step 310 are determined. In the following step 320, a change of direction is determined upstream of the vehicle 105 on the basis of the available information. Preferably, the change in direction corresponding to the highest probability is thus selected. This selection in step 320 can be further determined on the basis of a step 325 in which the flashing signal of the flashing signal generator 165 has been exploited as described above with reference to FIG. in step 330, a path in the navigation system 115 used in addition for the selection is predefined. It is assumed that the vehicle 105 follows the determined path and deduces a future direction change. In step 335 the future direction change is determined. If there is a change of direction to the left then in step 340 the camera 130 on the left side is selected. If there is a change of direction to the right then in step 345 the right side camera 135 is selected. The absence of a directional change to the right or to the left results in the selection of the front camera 125 in step 350. Then, in step 355, the traffic signs 210, 220, 230 are recognized with the recognition system 110 and, if necessary, the driver of the vehicle 105 is given an indication by the installation of The emission of the indication may be delayed by a corresponding control signal transmitted by the second interface 155 and the selection facility 120 until the vehicle 105 has made the change of direction to a certain degree. determined. This may be of particular interest if, in step 320, several directional changes have been determined as probable and if a speculative execution of steps 325-350 has been applied for different scenarios.5 NOMENCLATURE OF THE MAIN ELEMENTS 100 Recognition system of a sign or traffic sign 105 Motor vehicle 110 Recognition system 115 Navigation system 120 Selection installation 125 Front camera 130 Left side camera 135 Right side camera 140 Transmitter installation 145 Switching installation 150 First interface 155 Second interface 160 Third interface 165 Blinker signal generator 205 Route 210 Traffic sign or sign or traffic sign 215 Second road 220 Second sign or road sign 225 Route 230 Sign or road sign or road sign 300 Flow chart 305-355 Flowchart steps 300

Claims (9)

REVENDICATIONS1°) Procédé (300) d'assistance du conducteur d'un véhicule automobile (105) comprenant les étapes suivantes consistant à: déterminer (320) un changement futur de direction du véhicule automobile (105) en se fondant sur les informations d'un système de navigation (115), sélectionner (340, 345, 350) une image de caméra fournie par une caméra frontale (125) ou une caméra latérale (130, 135) en fonction du changement de direction déterminé, et déterminer (355) un signe de circulation (210, 220, 230) dans l'environnement du véhicule (105) en se fondant sur l'image de caméra sélectionnée.CLAIMS 1 °) A method (300) for assisting the driver of a motor vehicle (105) comprising the following steps: determining (320) a future change of direction of the motor vehicle (105) on the basis of the information of a navigation system (115), selecting (340, 345, 350) a camera image provided by a front camera (125) or a side camera (130, 135) according to the determined change of direction, and determining (355) a traffic sign (210, 220, 230) in the vehicle environment (105) based on the selected camera image. 2°) Procédé (300) selon la revendication 1, caractérisé en ce qu' on détermine (325) le changement de direction en outre en se fondant sur un signal de clignotant (165).Method (300) according to claim 1, characterized in that the further change of direction (325) is determined on the basis of a flashing signal (165). 3°) Procédé (300) selon la revendication 1, caractérisé en ce que le système de navigation (115) assure le guidage vers la destination déterminée et on détermine le changement de direction en se fondant sur un trajet prédéfini entre la position actuelle du véhicule (105) et la destination déterminée (330).3) Method (300) according to claim 1, characterized in that the navigation system (115) provides guidance to the determined destination and determines the change of direction based on a predefined path between the current position of the vehicle (105) and the determined destination (330). 4°) Procédé (300) selon la revendication 1, caractérisé en ce qu' on détermine le changement de direction en se fondant sur la position du véhicule (105) dans un réseau routier (205, 215, 225) et sur des informations concernant des changements de direction autorisés (320).Method (300) according to claim 1, characterized in that the change of direction is determined on the basis of the position of the vehicle (105) in a road network (205, 215, 225) and information concerning permitted changes of direction (320). 5°) Procédé (300) selon la revendication 1, caractérisé en ce qu'on détermine (320) la probabilité de plusieurs changements de direction possibles et on utilise (320) le changement de direction ayant la probabilité la plus élevée.5) Method (300) according to claim 1, characterized in that (320) determines the probability of several possible changes of direction and uses (320) the change of direction having the highest probability. 6°) Procédé (300) selon la revendication 1, caractérisé en ce que le système de navigation (115) définit un horizon électronique (305) et il détermine (320) le changement de direction dans la région de l'horizon électronique.Method (300) according to claim 1, characterized in that the navigation system (115) defines an electronic horizon (305) and determines (320) the change of direction in the region of the electronic horizon. 7°) Procédé (300) selon la revendication 1, caractérisé en ce qu' on retarde l'émission (355) d'un signal indiquant la détection d'un signe de circulation jusqu'à ce que le véhicule (105) ait effectué le changement de direction déterminé.Method (300) according to Claim 1, characterized in that the transmission (355) of a signal indicative of the detection of a traffic signal is delayed until the vehicle (105) has made the determined change of direction. 8°) Produit programme d'ordinateur comportant des moyens de code de programme pour exécuter le procédé (300) selon l'une quelconque des revendications 1 à 7, lorsque le produit programme d'ordinateur est appliqué par une installation de traitement (110, 115, 120) ou est enregistré dans un support de données visibles par un ordinateur.A computer program product having program code means for performing the method (300) according to any one of claims 1 to 7, when the computer program product is applied by a processing facility (110, 115, 120) or is stored in a data carrier visible to a computer. 9°) Dispositif (110) embarqué dans un véhicule (115) comprenant : - une première interface (160) relative à des informations d'un système de navigation (115), - une seconde interface (155) liée à un système de reconnaissance (110) de signes de circulation (210, 220, 230) dans la région du véhicule automobile (105) en se fondant sur l'image d'une caméra, - une installation de traitement (120) pour déterminer un futur changement de direction du véhicule (105) en se fondant sur les informations données au système de navigation et pour sélectionner une image de caméra provenant d'une caméra frontale (125) ou d'une caméra latérale (130, 135) pour le système de reconnaissance (110) sur la base du changement de direction déterminé.10°) Système (100) d'assistance du conducteur embarqué dans un véhicule (105) comprenant : - une caméra frontale (125), - une caméra latérale (130, 135), - un système de navigation (115), - un système de reconnaissance (110) pour déterminer un signe de circulation (210, 220, 230) dans l'environnement du véhicule (105) en se fondant sur une image de caméra, caractérisé par - une installation de traitement pour déterminer un futur changement de direction du véhicule en se fondant sur les informations du système de navigation, et - sélectionner une image de caméra fournie par la caméra en se fondant sur le changement déterminé de direction.159 °) Device (110) embedded in a vehicle (115) comprising: - a first interface (160) relating to information of a navigation system (115), - a second interface (155) linked to a recognition system (110) traffic signs (210, 220, 230) in the area of the motor vehicle (105) based on the image of a camera, - a processing facility (120) for determining a future change of direction of the vehicle (105) based on the information given to the navigation system and for selecting a camera image from a front camera (125) or a side camera (130, 135) for the recognition system (110). ) on the basis of the determined change of direction. 10 °) Driver assistance system (100) in a vehicle (105) comprising: - a front camera (125), - a side camera (130, 135), - a navigation system (115), - a recognition system (110) for terminating a traffic sign (210, 220, 230) in the vehicle environment (105) based on a camera image, characterized by - a processing facility for determining a future change of direction of the vehicle based on the navigation system information, and - select a camera image provided by the camera based on the determined change in direction.
FR1357452A 2012-07-30 2013-07-29 METHOD FOR ASSISTING THE DRIVER OF A VEHICLE Active FR2993844B1 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE201210213344 DE102012213344A1 (en) 2012-07-30 2012-07-30 Method for driver assistance on board of motor vehicle, particularly for traffic sign recognition, involves determining direction change of motor vehicle, selecting camera image as function of direction change, and determining traffic sign

Publications (2)

Publication Number Publication Date
FR2993844A1 true FR2993844A1 (en) 2014-01-31
FR2993844B1 FR2993844B1 (en) 2016-10-14

Family

ID=49780029

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1357452A Active FR2993844B1 (en) 2012-07-30 2013-07-29 METHOD FOR ASSISTING THE DRIVER OF A VEHICLE

Country Status (3)

Country Link
CN (1) CN103578286B (en)
DE (1) DE102012213344A1 (en)
FR (1) FR2993844B1 (en)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150121977A (en) * 2014-04-22 2015-10-30 주식회사 만도 Traffic signs recognition apparatus and method for outputing limiting speed of the same
CN104134364B (en) * 2014-07-29 2017-02-15 电子科技大学 Real-time traffic sign identification method and system with self-learning capacity
DE102015202826A1 (en) * 2014-11-20 2016-05-25 Conti Temic Microelectronic Gmbh Device and method for detecting turning operations
JP6062473B2 (en) * 2015-03-17 2017-01-18 本田技研工業株式会社 Road sign judgment device and road sign judgment method
JP6154839B2 (en) * 2015-03-18 2017-06-28 本田技研工業株式会社 Road sign judgment device and road sign judgment method
DE102015205524B4 (en) 2015-03-26 2020-11-05 Mando Corporation Method and device for classifying an object, for example a traffic sign, in an image
JP6319173B2 (en) * 2015-05-11 2018-05-09 トヨタ自動車株式会社 Vehicle regulation speed display device
ITUB20151802A1 (en) 2015-07-01 2017-01-01 Magneti Marelli Spa On-board vehicle system and improved method for detecting objects in a vehicle's surroundings.
DE102016208025B4 (en) * 2016-05-10 2019-06-27 Continental Automotive Gmbh Method for detecting traffic signs
CN106157664A (en) * 2016-07-21 2016-11-23 浙江吉利汽车研究院有限公司 A kind of road speed limit identification recognition device
DE102016217489A1 (en) 2016-09-14 2018-03-15 Robert Bosch Gmbh Method and an associated device for guiding a means of locomotion
DE102017210090A1 (en) * 2017-06-16 2018-12-20 Robert Bosch Gmbh Method for operating a lane keeping assistance system
CN108470459B (en) * 2018-03-28 2020-07-07 吉利汽车研究院(宁波)有限公司 Ramp speed limit prompting device and method
JP7081316B2 (en) * 2018-06-08 2022-06-07 スズキ株式会社 Driving support device
DE102021200457A1 (en) 2021-01-19 2022-07-21 Volkswagen Aktiengesellschaft Method for operating a driver assistance system, driver assistance system and motor vehicle

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070047809A1 (en) * 2005-08-24 2007-03-01 Denso Corporation Environment recognition device
DE102009005571A1 (en) * 2009-01-21 2010-07-22 Adc Automotive Distance Control Systems Gmbh Retrofittable driver assistance system
DE102010034262A1 (en) * 2010-08-13 2012-02-16 Valeo Schalter Und Sensoren Gmbh Retrofit system for a motor vehicle and method for assisting a driver when driving a motor vehicle

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5530421A (en) 1994-04-26 1996-06-25 Navistar International Transportation Corp. Circuit for automated control of on-board closed circuit television system having side and rear view cameras
DE29902457U1 (en) * 1999-02-12 2000-07-20 Bosch Gmbh Robert Environment recognition device, in particular for traffic sign recognition
JP2006163756A (en) * 2004-12-07 2006-06-22 Honda Lock Mfg Co Ltd Vehicular view supporting device
JP2007127419A (en) * 2005-10-31 2007-05-24 Aisin Aw Co Ltd System and method for route guidance
JP4783431B2 (en) 2006-09-28 2011-09-28 パイオニア株式会社 Traffic information detection apparatus, traffic information detection method, traffic information detection program, and recording medium
CN101508299B (en) * 2009-03-12 2011-04-06 上海交通大学 Vehicle intelligent device capable of automatically recognizing road speed-limit sign
KR100979881B1 (en) 2010-02-25 2010-09-02 남세인 Operating device for side camera and flank indicator lamp of car
JP5136671B2 (en) * 2010-05-13 2013-02-06 株式会社デンソー Map display device
CN102313554B (en) * 2010-06-30 2014-04-16 株式会社电装 Vehicle-mounted navigation system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070047809A1 (en) * 2005-08-24 2007-03-01 Denso Corporation Environment recognition device
DE102009005571A1 (en) * 2009-01-21 2010-07-22 Adc Automotive Distance Control Systems Gmbh Retrofittable driver assistance system
DE102010034262A1 (en) * 2010-08-13 2012-02-16 Valeo Schalter Und Sensoren Gmbh Retrofit system for a motor vehicle and method for assisting a driver when driving a motor vehicle

Also Published As

Publication number Publication date
FR2993844B1 (en) 2016-10-14
DE102012213344A1 (en) 2014-01-30
CN103578286A (en) 2014-02-12
CN103578286B (en) 2017-06-30

Similar Documents

Publication Publication Date Title
FR2993844A1 (en) METHOD FOR ASSISTING THE DRIVER OF A VEHICLE
US11767024B2 (en) Augmented reality method and apparatus for driving assistance
US10392009B2 (en) Automatic parking system and automatic parking method
US11155299B2 (en) Automatic parking system and automatic parking method
US10924679B2 (en) Display device for vehicle and control method thereof
US10606257B2 (en) Automatic parking system and automatic parking method
EP2448786B1 (en) Method for controlling a vehicle member
FR2965764A1 (en) METHOD AND DEVICE FOR DETERMINING THE PREFERRED IMAGE DATA CONCERNING THE ENVIRONMENT OF A VEHICLE
FR2863091A1 (en) APPARATUS FOR ASSISTING THE DRIVING OF A VEHICLE
FR2979878A1 (en) METHOD FOR APPLYING A DRIVING ASSISTANCE SYSTEM AND COMPUTING UNIT FOR ITS IMPLEMENTATION
FR2997046A1 (en) DRIVING ASSISTANCE SYSTEM AND METHOD FOR MANAGING IT
EP3241035B1 (en) Radar-assisted optical tracking method and mission system for implementation of this method
EP3530521B1 (en) Driver assistance method and apparatus
CN107406072B (en) Vehicle assistance system
FR2861488A1 (en) Drive assisting device for vehicle, has collision possibility determining unit to determine whether possibility of collision between certain and subject vehicles exists or not based on result of relative position determining unit
FR2952599A1 (en) DRIVER ASSISTANCE SYSTEM OF A MOTOR VEHICLE
FR2958741A1 (en) METHOD AND INFORMATION SYSTEM FOR MARKING A DESTINATION IN A VEHICLE
US20170248958A1 (en) Adjacent lane verification for an automated vehicle
FR3096130A1 (en) TRAFFIC LANE RECOGNITION DEVICE AND TRAFFIC LANE RECOGNITION PROCESS
FR2866951A1 (en) Navigation system user guiding method for motor vehicle, involves obtaining guiding information using image recognition components, where information is transmitted in optical and visual manner or acoustic manner
FR3034067A1 (en) METHOD AND DEVICE FOR DRIVING ASSISTANCE
EP2332131B1 (en) Stand-alone passive system for detecting a vehicle exceeding a speed limit
US10864856B2 (en) Mobile body surroundings display method and mobile body surroundings display apparatus
FR2965960A1 (en) METHOD AND DEVICE FOR FORMING A GUIDANCE INDICATION TO A DESTINATION FOR THE DRIVER OF A VEHICLE
US20210216775A1 (en) Roadway alert system using video stream from a smart mirror

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 3

PLFP Fee payment

Year of fee payment: 4

PLFP Fee payment

Year of fee payment: 5

PLFP Fee payment

Year of fee payment: 6

PLFP Fee payment

Year of fee payment: 7

PLFP Fee payment

Year of fee payment: 8

PLFP Fee payment

Year of fee payment: 9

PLFP Fee payment

Year of fee payment: 10

PLFP Fee payment

Year of fee payment: 11