EP3326110A1 - Procédé et système d' affichage d' un panneau de direction de la scène routière pour véhicule automobile - Google Patents

Procédé et système d' affichage d' un panneau de direction de la scène routière pour véhicule automobile

Info

Publication number
EP3326110A1
EP3326110A1 EP16753952.7A EP16753952A EP3326110A1 EP 3326110 A1 EP3326110 A1 EP 3326110A1 EP 16753952 A EP16753952 A EP 16753952A EP 3326110 A1 EP3326110 A1 EP 3326110A1
Authority
EP
European Patent Office
Prior art keywords
panel
displayed
screen
vehicle
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP16753952.7A
Other languages
German (de)
English (en)
Inventor
Francois Laurent
Adrien CARMONE
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renault SAS
Original Assignee
Renault SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renault SAS filed Critical Renault SAS
Publication of EP3326110A1 publication Critical patent/EP3326110A1/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Definitions

  • the technical field of the invention is the processing and display of images acquired by an on-board camera, and more particularly the application of such a treatment to traffic assistance systems.
  • document KR101478258 discloses a method of lane detection on a multi-lane road. However, the direction signs are not detected or displayed.
  • the subject of the invention is a method of displaying a direction sign of the road scene for a motor vehicle equipped with a camera, a screen and a first calculation means able to realize a recognition of the panels. of speed, the camera being fixed on the motor vehicle so as to acquire images of the road scene in front of the vehicle, the screen being arranged so as to be visible to the driver during the use of the vehicle.
  • the method comprises the following steps:
  • the image of the direction sign to be displayed is scaled and the scaled image is processed, and
  • the display on the display of the direction panel is displayed, as long as the direction sign remains on the acquired image.
  • the sign to be displayed can be determined by performing the following steps:
  • the detected direction panels are associated with a track according to the respective positions of the panels and tracks,
  • the route is determined in the vehicle, and the panel is displayed as a panel to display the steering panel among the detected direction signs associated with the lane in which the vehicle is traveling.
  • the panel to be displayed is the direction sign detected.
  • Another object of the invention is a system for displaying a roadside direction sign for a motor vehicle. equipped with a camera, a screen and a first calculation means adapted to perform a recognition of the speed panels, the camera being fixed on the motor vehicle so as to acquire images of the road scene in front of the vehicle , the screen being arranged so as to be visible to the driver during the use of the vehicle.
  • the system comprises the first calculation means capable of detecting the presence of signaling panels on the image received from the camera, a second calculation means able to determine if at least one direction sign is present among the detected signaling panels, and a fourth calculation means adapted to determine the readability of the characters of the direction panel to be displayed on the vehicle screen.
  • the fourth calculation means is furthermore capable of scaling the image of the directional panel to be displayed as well as scaled image processing, and to maintain the display on the screen. the display of the direction panel to be displayed, as long as the steering panel remains present on the acquired image, the first calculation means being connected at the output to the second calculation means itself connected at the output to the fourth calculation means, the fourth calculation means being outputted to the screen.
  • the second calculation means may be able to determine if a traffic sign is a direction sign comparing the shape of the traffic sign with a database of the shapes of the direction signs.
  • the second calculation means may be able to determine if a traffic sign is a direction sign by determining the presence of a direction arrow by comparison with a database of direction arrows on steering panels.
  • the system may comprise a third calculation means able to carry out an unintentional line crossing warning or a line maintenance assistance connected between the second calculation means and the fourth calculation means, the third calculation means being able to determine whether the road includes one or more lanes, and capable of determining the direction sign to be displayed in function of the respective positions of the panels, tracks and the vehicle.
  • the fourth calculation means may be able to determine the size in number of pixels of the characters whose presence has been detected on a cropped image of the vehicle. panel to be displayed from the first calculation means, to determine whether the determined size of the characters is greater than or equal to a predetermined minimum character size value according to the Johnson Rosell criterion with a pixel number value corresponding to 50% of recognition of an empirically determined character and if so, to confirm the possibility of scaling without degradation of readability on the screen according to ergonomic rules,
  • FIG. 1 illustrates the main steps of a method of displaying a direction sign of the road scene for a motor vehicle according to the invention
  • FIG. 2 illustrates the main elements of a display system of a roadside direction sign for a motor vehicle according to a first embodiment of the invention
  • FIG. 3 illustrates the main elements of a display system of a road sign of the road scene for a motor vehicle according to a second embodiment of the invention.
  • the Johnson Rosell Criterion was originally defined for military thermal observation applications in which detection, identification and recognition thresholds were to be determined. This criterion is employed in the present invention to determine the driver's ability to detect, identify and recognize on a display screen the image of characters present on a direction sign.
  • Johnson Rosell's criterion is to substitute for the object to be detected a target of the same size containing one or more pairs of lines in its height and width.
  • the number of line pairs in the target is associated with a detection, recognition, and identification rate. These rates represent the probabilities of detection, recognition or identification of the object by the user.
  • the implementation of the Johnson Rosell criterion in the invention makes it possible to determine whether an acquired image can be displayed or not, while knowing that it will be readable for the driver.
  • the number of pairs of lines N corresponds to a number of pairs of lines of pixels on the screen displaying the final image while the object to be identified corresponds to the shape of a letter on the direction sign.
  • the probability curve of Johnson's criterion is constructed according to the following formula:
  • N the number of line pairs
  • N50 the number of line pairs with a probability of identification.
  • the N50 value must be determined empirically and is dependent on the screen and the camera, as well as the position of the camera relative to the user.
  • This curve therefore makes it possible to determine the number N of lines or pixels on the screen necessary for the user to be able to identify a letter with a probability of success Probability (N) given and a number N50 of lines or pixels on the screen necessary for the user to be able to identify a letter with a 50% probability of success.
  • the letter On the sensor of the camera, the letter must at least make the same number of pixels as on the screen (a pixel of the screen corresponds to a pixel of the camera) for such a conclusion to be valid. In the opposite case, a ratio of pixels between the camera and the screen must be introduced.
  • a pixel of the camera corresponds to a pixel of the screen.
  • the number of line pairs of the camera is equal to the number of pixel pairs.
  • a probability table identifying a letter is then defined according to the number of pairs of lines acquired. Such a table can be determined empirically.
  • a threshold of number of line pairs is determined which makes it possible to exceed a chosen identification probability threshold.
  • a 95% probability of good identification corresponds to a number of pairs of pixels equal to at least 12, ie 24 pixels in height.
  • the character when the size of the letter is greater than 24 pixels, the character is considered identifiable in the horizontal direction.
  • a first step 1 it acquires, without digital zoom, an image of the scene observed with a camera attached to the motor vehicle so as to acquire images of the road scene in front of the vehicle.
  • a second step 2 it is detected whether at least one traffic sign is present on the observed scene via a recognition of speed panels known from the state of the prior art. Indeed, this type of method is able to recognize the traffic signs, and among these panels, to recognize those of the speed panel type. Such a method can therefore be used to detect the presence of a traffic sign. If this is the case, the process continues with a third step.
  • the third step 3 it is determined whether at least one direction sign is present among the detected traffic signs.
  • the detected panels are classified according to their type by determining the shape of the panels detected by recognizing the speed panels and by comparing the determined shapes to a database of panel shapes. Alternatively, it is also determined by comparison with a database whether the panel comprises a direction arrow. If this is the case, the panel is a direction sign. If at least one detected panel is a direction panel, the method continues with a fourth step.
  • a fourth optional step 4 it is determined whether the road comprises one or more lanes through an AFIL line crossing warning method (in English "Lane”). departure warning System ") or Lane Keeping Assist (known in French as” Lane Keeping Assist ”) known from the state of the art.
  • AFIL line crossing warning method in English "Lane”
  • Lane Keeping Assist known in French as” Lane Keeping Assist
  • the directional sign to be displayed is determined by performing the following steps:
  • the presence of tracks is determined according to the signaling lines present on the road,
  • the panel to be displayed is the direction sign detected.
  • a fifth step 5 the liability of the directional panel to be displayed on the screen is determined. To achieve this, the following steps are applied:
  • the number of pixels of the characters whose presence has been detected on the cropped image of the panel to be displayed is determined by the method of recognizing the speed panels
  • a possible sixth step 6 the image of the directional panel to be displayed is displayed at the scale determined in the fifth step.
  • a possible seventh step 7 an image processing (saturation, contrast) of the direction panel to be displayed and scaled is performed.
  • the method continues with the display on the screen of the direction panel to be displayed, the panel display being maintained as long as the panel remains present on the acquired image.
  • the method displays at least one other type of road signs, for example an indication panel of fixed speed control radars.
  • Figure 2 illustrates the main elements of a roadside sign display system for a motor vehicle.
  • the display system comprises a calculator 10 comprising calculation means (10a, 10b, 10c, 10d), input connected to a camera 11 so as to acquire images of the road scene situated in front of the vehicle, the computer being connected at the output to a screen 12 disposed in the passenger compartment for displaying information to the driver during the use of the vehicle.
  • the computer 10 comprises a first calculation means 10a able to analyze the image received from the camera 11 in order to detect the presence of traffic signs.
  • a calculation means 10a may be a means for recognizing the speed limit signs. Indeed, such a means is able to determine the presence of road signs and then among these panels, those indicating a speed limit. It is thus possible to use the intermediate result of such a means to have road signs of the scene.
  • the first calculation means 10a is outputted to a second calculation means 10b capable of detecting the presence of direction panels among the detected panels.
  • the calculation means 10b is able to determine the shape of the panels detected by known means of the state of the art and to compare the determined forms to a database of forms of direction signs. As a variant, the calculation means 10b is also able to determine whether a signaling panel is a direction panel by determining the presence of a direction arrow by comparing it with a database of the direction arrows present on the steering arrows. direction signs.
  • the second calculation means 10b is connected at the output to a fourth calculation means l Od able to evaluate the liability of the characters detected which will be described later.
  • the system comprises a third computing means 10c connected at input to the second calculation means I Od and connected at the output to the fourth calculation means I Od able to evaluate the accessibility. detected characters.
  • the third calculation means 10c is able to determine the position of said panels with respect to the different traffic lanes on the road and to detect the characters present on said panels.
  • the third calculation means 10c may be an AFIL (Lane departure warning System) line crossing warning system or a line maintenance system (in the English language). "Lane Keeping Assi st”) known from the state of the art.
  • the calculation means 10c is able to determine whether the road comprises one or more traffic lanes.
  • the calculating means 10c is able to determine the directional sign to be displayed by determining the presence of lanes according to the signaling lines present on the road, by associating the detected directional signs with a lane according to the respective positions of the panels and the lanes, by determining the lane in which the vehicle is traveling, by choosing panel to display the direction sign among the panels detected direction associated with the lane in which the vehicle is traveling.
  • the calculating means 10c is able to determine that the panel to be displayed is the direction panel detected.
  • the calculation means l 0 is capable of determining the number of pixels of the characters whose presence has been detected on the cropped image of the panel to be displayed received from the first calculation means 10 a, determining whether the determined size of the characters is greater than or equal to a predetermined minimum character size value based on Johnson Rosell's criterion with a pixel number s corresponding to 50% recognition of an empirically determined character, and if this is the case, to confirm the possibility of scaling without impairing the accessibility on the screen according to ergonomic rules specific to the manufacturer.
  • the present invention can be applied to any type of panel and ensures a comprehensible display by the driver of the image captured by the camera.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

Procédé d'affichage d'un panneau de direction de la scène routière pour un véhicule automobile muni d'une caméra, d'un écran et d'un premier moyen de calcul (10a) apte à réaliser une reconnaissance des panneaux de vitesse, la caméra étant fixée sur le véhicule automobile de sorte à acquérir des images de la scène routière située devant le véhicule, l'écran étant disposé de sorte à être visible du conducteur durant l'utilisation du véhicule. Le procédé comprend les étapes suivantes : on acquiert, sans zoom numérique, une image de la scène observée avec la caméra, on détecte si au moins un panneau de signalisation est présent sur l'image de la scène routière observée par le premier moyen de calcul (10a), si tel est le cas, on détermine si au moins un panneau de direction est présent parmi les panneaux de signalisation détectés par l'intermédiaire le premier moyen de calcul (10a), si tel est le cas, on détermine le panneau de direction à afficher et on procède à une reconnaissance des caractères sur le panneau de direction à afficher, on détermine la lisibilité des caractères du panneau de direction à afficher sur l'écran du véhicule, si le panneau de direction est considéré comme lisible, on réalise une mise à l'échelle de l'image du panneau de direction à afficher ainsi qu'un traitement de l'image mise à l'échelle, et on maintient l'affichage sur l'écran du panneau de direction à afficher, tant que le panneau de direction demeure présent sur l'image acquise.

Description

Procédé et système d'affichage d'un panneau de direction de la scène routière pour véhicule automobile.
L'invention a pour domaine technique le traitement et l'affichage d'images acquises par une caméra embarquée, et plus particulièrement l'application d'un tel traitement aux systèmes d'aide à la circulation routière.
Lorsqu'un conducteur de véhicule automobile arrive sur un échangeur routier, il est intéressant pour lui d'identifier la voie qu'il doit emprunter afin de se positionner correctement selon sa direction et éviter des manœuvres précipitées au dernier moment.
Ceci est généralement proposé par les systèmes de navigation lorsqu'un parcours est défini. Par contre, lorsque le parcours dans le système de navigation n'a pas été défini, que la cartographie n'est plus à jour, que des zones de contournements/déviations sont proposées pour des raisons de travaux sur voie, que des itinéraires « bis » sont proposés ou que le signal GPS est perdu en cours de roulage (ex : sous tunnel), il est intéressant pour le conducteur d'avoir une aide visuelle sur l'écran présent dans le tableau de bord du véhicule.
De l'état de la technique, on connaît le document KR101478258 divulguant une méthode de détection de voie de circulation sur une route à plusieurs voies. Toutefois, les panneaux de direction ne sont ni détectés ni affichés.
De plus, il est connu de l'état de la technique, des procédés d'affichage des panneaux de limitation de vitesse dans un écran multimédia de véhicule automobile. Ces panneaux de limitation de vitesse sont situés sur la scène routière. Cependant, ces procédés ne permettent pas d'afficher les panneaux de direction.
II existe un besoin pour un procédé et un système d'affichage d'images de panneaux de direction de la scène routière détectés sur une image acquise par une caméra embarquée. L'invention a pour objet un procédé d'affichage d'un panneau de direction de la scène routière pour un véhicule automobile muni d'une caméra, d'un écran et d'un premier moyen de calcul apte à réaliser une reconnaissance des panneaux de vitesse, la caméra étant fixée sur le véhicule automobile de sorte à acquérir des images de la scène routière située devant le véhicule, l'écran étant disposé de sorte à être visible du conducteur durant l'utilisation du véhicule.
Le procédé comprend les étapes suivantes :
on acquiert, sans zoom numérique, une image de la scène observée avec la caméra,
on détecte si au moins un panneau de signalisation est présent sur l'image de la scène routière observée par le premier moyen de calcul,
si tel est le cas, on détermine si au moins un panneau de direction est présent parmi les panneaux de signalisation détectés par l'intermédiaire du premier moyen de calcul,
si tel est le cas, on détermine le panneau de direction à afficher et on procède à une reconnaissance des caractères sur le panneau de direction à afficher,
on détermine la lisibilité des caractères du panneau de direction à afficher sur l'écran du véhicule,
si le panneau de direction est considéré comme lisible, on réalise une mise à l'échelle de l'image du panneau de direction à afficher ainsi qu'un traitement de l'image mise à l'échelle, et
on maintient l'affichage sur l'écran du panneau de direction à afficher, tant que le panneau de direction demeure présent sur l'image acquise.
Pour déterminer si au moins un panneau de direction est présent parmi les panneaux de signalisation détectés, on peut déterminer la forme des panneaux détectés par reconnaissance des panneaux de vitesse et on peut comparer les formes déterminées à une base de données de formes de panneaux de direction.
On peut déterminer si un panneau de signalisation est un panneau de direction en déterminant la présence d'une flèche de direction par comparai son avec une base de données des flèches de direction présentes sur des panneaux de direction.
Lorsque la route comprend plusieurs voies de circulation, on peut déterminer le panneau à afficher en réali sant les étapes suivantes :
on détermine la présence de voies en fonction des lignes de signali sation présentes sur la route par l ' intermédiaire d'un procédé d' alerte de franchi ssement involontaire de ligne AFIL (en langue anglai se « Lane departure warning System ») ou d' assi stance de maintien de ligne réali sables par un système de calcul équipant le véhicule,
on associe les panneaux de direction détectés à une voie en fonction des positions respectives des panneaux et des voies,
on détermine la voie dans l aquelle le véhicule circule, et on choi sit comme panneau à afficher le panneau de directio n parmi les panneaux de direction détectés associé à la voie dans laquelle le véhicule circule.
Lorsque la route comprend une seule voie de circulation, on peut déterminer que le panneau à afficher est le panneau de direction détecté.
Pour déterminer la lisibilité du panneau de direction à affi cher, on peut déterminer la taill e en nombre de pixels des caractères dont la présence a été détectée sur l ' image rognée du panneau à afficher i ssue de la reconnai ssance des panneaux de vitesse,
on peut déterminer si la taille déterminée des caractères est supérieure ou égale à une valeur minimale de taille de caractère prédéterminée en fonction du critère de Johnson Rosell avec une valeur de nombre de pixel s correspondant à 50% de reconnai ssance d' un caractère déterminée empiriquement, et
si tel est le cas, on peut confirmer la possibilité d'une mi se à l ' échelle sans dégradation de la li sibilité sur l ' écran en fonction de règles ergonomiques .
Un autre obj et de l ' invention est un système d' affichage d' un panneau de direction de la scène routière pour un véhicule automobil e muni d'une caméra, d'un écran et d'un premier moyen de calcul apte à réaliser une reconnaissance des panneaux de vitesse, la caméra étant fixée sur le véhicule automobile de sorte à acquérir des images de la scène routière située devant le véhicule, l'écran étant disposé de sorte à être visible du conducteur durant l'utilisation du véhicule.
Le système comprend le premier moyen de calcul apte à détecter la présence de panneaux de signalisation sur l'image reçue de la caméra, un deuxième moyen de calcul apte à déterminer si au moins un panneau de direction est présent parmi les panneaux de signalisation détectés, et un quatrième moyen de calcul apte à déterminer la lisibilité des caractères du panneau de direction à afficher sur l'écran du véhicule. Le quatrième moyen de calcul est par ailleurs apte à réaliser une mise à l'échelle de l'image du panneau de direction à afficher ainsi qu'un traitement de l'image mise à l'échelle, et à maintenir l'affichage sur l'écran du panneau de direction à afficher, tant que le panneau de direction demeure présent sur l'image acquise, le premier moyen de calcul étant relié en sortie au deuxième moyen de calcul lui-même connecté en sortie au quatrième moyen de calcul, le quatrième moyen de calcul étant connecté en sortie à l'écran.
Le deuxième moyen de calcul peut être apte à déterminer si un panneau de signalisation est un panneau de direction en comparant la forme du panneau de signalisation avec une base de données des formes des panneaux de direction.
Le deuxième moyen de calcul peut être apte à déterminer si un panneau de signalisation est un panneau de direction en déterminant la présence d'une flèche de direction par comparaison avec une base de données des flèches de direction présentes sur des panneaux de direction.
Le système peut comprendre un troisième moyen de calcul apte à réaliser une alerte de franchissement involontaire de ligne ou une assistance de maintien de ligne connecté entre le deuxième moyen de calcul et le quatrième moyen de calcul, le troisième moyen de calcul étant apte à déterminer si la route comprend une ou plusieurs voies de circulation, et apte à déterminer le panneau de direction à afficher en fonction des positions respectives des panneaux, des voies et du véhicule.
Pour déterminer la lisibilité des caractères du panneau de direction à afficher sur l'écran du véhicule, le quatrième moyen de calcul peut être apte à déterminer la taille en nombre de pixels des caractères dont la présence a été détectée sur l'une image rognée du panneau à afficher issue du premier moyen de calcul, à déterminer si la taille déterminée des caractères est supérieure ou égale à une valeur minimale de taille de caractère prédéterminée en fonction du critère de Johnson Rosell avec une valeur de nombre de pixels correspondant à 50% de reconnaissance d'un caractère déterminée empiriquement et si tel est le cas, à confirmer la possibilité d'une mise à l'échelle sans dégradation de la lisibilité sur l'écran en fonction de règles ergonomiques,
D'autres buts, caractéristiques et avantages de l'invention apparaîtront à la lecture de la description suivante, donnée uniquement à titre d'exemple non limitatif et faite en référence aux dessins annexés sur lesquels :
- la figure 1 illustre les principales étapes d'un procédé d'affichage d'un panneau de direction de la scène routière pour un véhicule automobile selon l'invention,
- la figure 2 illustre les principaux éléments d'un système d'affichage d'un panneau de direction de la scène routière pour un véhicule automobile selon un premier mode de réalisation de l'invention, et
- la figure 3 illustre les principaux éléments d'un système d'affichage d'un panneau de direction de la scène routière pour un véhicule automobile selon un deuxième mode de réalisation de Γ invention.
Le critère Johnson Rosell a été initialement défini pour des applications militaires d'observation thermique au cours desquelles des seuils de détection, d'identification et de reconnaissance devaient être déterminés. Ce critère est employé dans la présente invention afin de déterminer la capacité du conducteur à détecter, identifier et reconnaître sur un écran d'affichage l'image de caractères présents sur un panneau de direction.
Le critère de Johnson Rosell consiste à substituer à l'objet à détecter une cible de même taille contenant une ou plusieurs paires de lignes dans sa hauteur et dans sa largeur. Le nombre de paires de lignes de la cible est associé à un taux de détection, de reconnaissance et d'identification. Ces taux représentent les probabilités de détection, de reconnaissance ou d'identification de l'objet par l'utilisateur. En d'autres termes, la mise en œuvre du critère de Johnson Rosell dans l'invention permet de déterminer si une image acquise peut être affichée ou non, tout en sachant qu'elle sera lisible pour le conducteur.
Appliqué à la détermination de la lisibilité de caractères sur un panneau de direction, le nombre de paires de lignes N correspond à un nombre de paires de lignes de pixels sur l'écran affichant l'image finale tandis que l'objet à identifier correspond à la forme d'une lettre sur le panneau de direction. La courbe des probabilités du critère de Johnson est construite selon la formule suivante :
E
( N
Probabilité (N)= (Eq. 1)
Avec
N : le nombre de paires de lignes
N50 : le nombre de paires de lignes avec une probabilité de 'identification. La valeur N50 doit être déterminée empiriquement et est dépendante de l'écran et de la caméra, ainsi que de la position de celui-ci par rapport à l'utilisateur.
Cette courbe permet donc de déterminer le nombre N de lignes ou de pixels sur l'écran nécessaires à l'utilisateur pour pouvoir identifier une lettre avec une probabilité de réussite Probabilité (N) donnée et un nombre N50 de lignes ou de pixels sur l'écran nécessaires à l'utilisateur pour pouvoir identifier une lettre avec une probabilité de réussite de 50% donnée.
Connaissant le nombre de pixels N requis pour une identification, on peut le comparer au nombre de pixels affichés afin de déterminer si l'utilisateur peut identifier une lettre ou non.
Sur le capteur de la caméra, la lettre doit à minima faire le même nombre de pixels que sur l'écran (un pixel de l'écran correspond à un pixel de la caméra) pour qu'une telle conclusion soit valable. Dans le cas contraire, un ratio de pixels entre la caméra et l'écran doit être introduit.
Compte tenu des éléments exposés ci-dessus, on peut également définir les probabilités suivantes par extension de l'équation (Eq. 1) à différentes situations :
Sur la scène de route avec l'acquisition d'un panneau de direction par la caméra, on peut détecter la présence d'informations à l'intérieur de ce panneau à hauteur d'une probabilité de détection. Dans ce cas on considère une valeur N50 relative à la détection.
Parmi les informations détectées à l'intérieur du panneau, on peut reconnaître un caractère d'un autre type d'information (flèche, symbole, etc.) à hauteur d'une probabilité de reconnaissance. Dans ce cas, on considère une valeur N50 relative à la reconnaissance.
Sur les panneaux contenant des caractères reconnus, on peut identifier ces caractères à hauteur d'une probabilité d'identification. Dans ce cas, on considère une valeur N50 relative à l'identification.
Dans chacune de ces situations, on peut déterminer une taille caractéristique minimale de détection, de reconnaissance et d'identification à comparer avec la taille de l'objet correspondant sur l'image issue de la caméra ou affichée sur l'écran.
On va maintenant décrire l'évaluation de la lisibilité d'un caractère.
Le raisonnement présenté ci-après est effectué par rapport à la direction horizontale d'un caractère et doit être reproduit de la même façon pour la taille verticale.
On pose qu'un pixel de la caméra correspond à un pixel de l'écran.
On pose également que le nombre de paires de lignes de la caméra est égal au nombre de paires de pixels.
On définit également les grandeurs suivantes :
Pe_h : Taille horizontale de l'écran en pixels
Pe_v : Taille verticale de l'écran en pixels
PL h : Taille horizontale de la lettre en pixels
PL v : Taille verticale de la lettre en pixels
On définit ensuite une table de probabilité d'identification d'une lettre en fonction du nombre de paires de lignes acquises. Une telle table peut être déterminée de façon empirique.
De cette table, on détermine un seuil de nombre de paires de lignes permettant de dépasser un seuil de probabilité d'identification choisi. Par exemple, une telle table peut renseigner qu'une probabilité de 95% de bonne identification correspond à un nombre de paires de pixels égal au minimum à 12, soit 24 pixels de hauteur.
En d'autres termes, dans cet exemple, lorsque la taille de la lettre est supérieure à 24 pixels, le caractère est considéré comme identifiable dans la direction horizontale.
On reproduit ensuite les mêmes étapes pour déterminer la taille verticale minimale d'identification.
On considère ensuite que le caractère est lisible lorsque ses dimensions satisfont les tailles minimales d'identification, dans les deux directions. Le procédé d'affichage d'un panneau de direction de la scène routière pour un véhicule automobile va maintenant être décrit en relation avec la figure 1.
Au cours d'une première étape 1, on acquiert, sans zoom numérique, une image de la scène observée avec une caméra fixée sur le véhicule automobile de sorte à acquérir des images de la scène routière située devant le véhicule.
Au cours d'une deuxième étape 2, on détecte si au moins un panneau de signalisation est présent sur la scène observée par l'intermédiaire d'une reconnaissance des panneaux de vitesse connus de l'état de la technique antérieure. En effet, ce type de procédé est apte à reconnaître les panneaux de signalisation, et parmi ces panneaux, à reconnaître ceux du type panneau de vitesse. Un tel procédé peut donc être utilisé pour détecter la présence d'un panneau de signalisation. Si tel est le cas, le procédé se poursuit par une troisième étape.
Au cours de la troisième étape 3, on détermine si au moins un panneau de direction est présent parmi les panneaux de signalisation détectés. Pour cela, on classe les panneaux détectés en fonction de leur type en déterminant la forme des panneaux détectés par reconnaissance des panneaux de vitesse et en comparant les formes déterminées à une base de données de formes de panneaux. Alternativement, on détermine également par comparaison avec une base de données si le panneau comprend une flèche de direction. Si tel est le cas, le panneau est un panneau de direction. Si au moins un panneau détecté est un panneau de direction, le procédé se poursuit par une quatrième étape.
Au cours d'une quatrième étape 4 optionnelle selon les modes de réalisation, on détermine si la route comprend une ou plusieurs voies de circulation par l'intermédiaire d'un procédé d'alerte de franchissement involontaire de ligne AFIL (en langue anglaise « Lane departure warning System ») ou d'assistance de maintien de ligne (en langue anglaise « Lane Keeping Assist ») connus de l'état de la technique antérieure. Lorsque la route comprend plusieurs voies de circul ation et que plusieurs panneaux de direction sont détectés sur la partie centrale de la route au-dessus de chaque voie, on détermine le panneau de direction à afficher en réali sant les étapes suivantes :
-on détermine la présence de voies en fonction des lignes de signali sation présentes sur la route,
-on associe les panneaux de direction détectés à une voie en fonction des positions respectives des panneaux et des voies,
-on détermine la voie dans laquelle le véhicule circule,
-on choi sit comme panneau à afficher le panneau de direction parmi les panneaux de direction détectés associé à la voie dans laquelle le véhicule circule.
Lorsque la route comprend une seule voie de circulation, on détermine que le panneau à afficher est le panneau de direction détecté.
On considère implicite la présence de caractères dès lors qu ' un panneau de direction est détecté.
Au cours d' une cinquième étape 5 , on détermine la li sibilité du panneau de direction à afficher sur l ' écran. Pour réali ser cel a, on applique les étapes suivantes :
on détermine la taill e en nombre de pixels des caractères dont la présence a été détectée sur l ' image rognée du panneau à afficher i ssue du procédé de reconnai ssance des panneaux de vitesse,
on détermine si la taille déterminée des caractères est supérieure ou égale à une valeur minimale de taille de caractère prédéterminée en fonction du critère de Johnson Rosell avec une valeur N50 de nombre de pixel s correspondant à 50% de reconnai ssance d'un caractère déterminée empiriquement,
si tel est le cas, on confirme la possibilité d'une mi se à l ' échelle sans dégradation de la li sibilité sur l ' écran par application de règles ergonomiques propres au constructeur.
Au cours d' une éventuelle sixième étape 6, on met à l ' échelle l ' image du panneau de direction à afficher avec la mi se à l ' échelle déterminée à la cinquième étape. Au cours d'une éventuelle septième étape 7, on réalise un traitement de l'image (saturation, contraste) du panneau de direction à afficher et mis à l'échelle.
Dans tous les cas, le procédé se poursuit par l'affichage sur l'écran du panneau de direction à afficher, l'affichage du panneau étant maintenu tant que le panneau demeure présent sur l'image acquise.
Alternativement, le procédé affiche au moins un autre type de panneaux routiers, par exemple un panneau d'indication de radars fixes de contrôle de vitesse.
La figure 2 illustre les principaux éléments d'un système d'affichage d'un panneau de direction de la scène routière pour un véhicule automobile. On peut voir que le système d'affichage comprend un calculateur 10 comprenant des moyens de calculs (10a, 10b, 10c, lOd), connectés en entrée à une caméra 11 de sorte à acquérir des images de la scène routière située devant le véhicule, le calculateur étant connecté en sortie à un écran 12 disposé dans l'habitacle pour l'affichage d'informations au conducteur lors de l'utilisation du véhicule.
Le calculateur 10 comprend un premier moyen de calcul 10a apte à analyser l'image reçue de la caméra 11 afin d'y détecter la présence de panneaux de signalisation. Un moyen de calcul 10a peut être un moyen de reconnaissance des panneaux de limitation de vitesse. En effet, un tel moyen est apte à déterminer la présence de panneaux de signalisation routière puis parmi ces panneaux, ceux signalant une limitation de vitesse. Il est ainsi possible d'utiliser le résultat intermédiaire d'un tel moyen pour disposer des panneaux de signalisation routière de la scène.
Le premier moyen de calcul 10a est relié en sortie à un deuxième moyen de calcul 10b apte à détecter la présence de panneaux de direction parmi les panneaux détectés.
Pour cela, le moyen de calcul 10b est apte à déterminer la forme des panneaux détectés par des moyens connus de l'état de la technique et à comparer les formes déterminées à une base de données de formes de panneaux de direction. En variante, le moyen de calcul 10b est également apte à déterminer si un panneau de signali sation est un panneau de direction en déterminant la présence d' une fl èche de direction par comparai son avec une base de données des flèches de direction présentes sur des panneaux de direction. Le deuxième moyen de calcul 10b est connecté en sortie à un quatrième moyen de calcul l Od apte à évaluer la li sibilité des caractères détectés qui sera décrit plus loin.
Selon un deuxième mode de réali sation illustré par la figure 3 , le système comprend un troi sième moyen de calcul 10c connecté en entrée au deuxième moyen de calcul l Od et connecté en sortie au quatrième moyen de calcul l Od apte à évaluer la li sibilité des caractères détectés .
Le troi sième moyen de calcul 10c est apte à déterminer la position desdits panneaux par rapport aux différentes voies de circul ation sur la route et à détecter les caractères présents sur lesdit s panneaux. Le troi sième moyen de calcul 10c peut être un sy stème d' alerte de franchi ssement involontaire de ligne AFIL (en langue anglai se « Lane departure warning System ») ou un sy stème d' assi stance de maintien de ligne (en langue anglai se « Lane Keeping Assi st ») connus de l ' état de la technique antérieure.
Pour déterminer la position desdits panneaux par rapport aux différentes voies de circulation sur la route, le moyen de calcul 10c est apte à déterminer si la route comprend une ou plusieurs voies de circul ation. Lorsque la route comprend plusieurs voies de circulatio n et que plusieurs panneaux de direction sont détectés sur la partie centrale de la route au-dessus de chaque voie, le moyen de calcul 1 0c est apte à déterminer le panneau de direction à affi cher en déterminant la présence de voies en fonction des lignes de signali sation présentes sur la route, en associant les panneaux de direction détectés à une voie en fonction des positions respectives des panneaux et des voies, en déterminant la voie dans laquelle le véhicule circule, en choisissant comme panneau à afficher le panneau de direction parmi les panneaux de direction détectés associé à la voie dans laquelle le véhicule circul e.
Lorsque la route comprend une seule voie de circulation, le moyen de calcul 10c est apte à déterminer que le panneau à afficher est le panneau de direction détecté .
Par ailleurs, on considère implicite la présence de caractères dès lors qu' un panneau de direction est détecté.
Quel que soit le mode de réali sation, le moyen de calcul l Od est apte à déterminer la taille en nombre de pixels des caractères dont la présence a été détectée sur l ' image rognée du panneau à afficher reçue du premier moyen de calcul 10a, à déterminer si la taille déterminée des caractères est supérieure ou égale à une valeur minimale de taille de caractère prédéterminée en fonction du critère de Johnson Rosell avec une valeur de nombre de pixel s correspondant à 50% de reconnai ssance d'un caractère déterminée empiriquement et si tel est le cas, à confirmer la possibilité d'une mise à l ' échelle sans dégradation de la li sibilité sur l ' écran en fonction de règl es ergonomiques propres au constructeur.
La présente invention peut s' appliquer à tout type de panneau et permet de garantir un affichage compréhensibl e par le conducteur de l ' image capturée par la caméra.

Claims

REVENDICATIONS
1. Procédé d'affichage d'un panneau de direction de la scène routière pour un véhicule automobile muni d'une caméra (11), d'un écran (12) et d'un premier moyen de calcul (10a) apte à réaliser une reconnaissance des panneaux de vitesse,
la caméra (11) étant fixée sur le véhicule automobile de sorte à acquérir des images de la scène routière située devant le véhicule,
l'écran (12) étant disposé de sorte à être visible du conducteur durant l'utilisation du véhicule,
caractérisé par le fait qu'il comprend les étapes suivantes : on acquiert, sans zoom numérique, une image de la scène observée avec la caméra (11),
on détecte si au moins un panneau de signalisation est présent sur l'image de la scène routière observée par le premier moyen de calcul (10a),
si tel est le cas, on détermine si au moins un panneau de direction est présent parmi les panneaux de signalisation détectés par l'intermédiaire le premier moyen de calcul (10a),
si tel est le cas, on détermine le panneau de direction à afficher et on procède à une reconnaissance des caractères sur le panneau de direction à afficher,
on détermine la lisibilité des caractères du panneau de direction à afficher sur l'écran du véhicule,
si le panneau de direction est considéré comme lisible, on réalise une mise à l'échelle de l'image du panneau de direction à afficher ainsi qu'un traitement de l'image mise à l'échelle, et
on maintient l'affichage sur l'écran du panneau de direction à afficher, tant que le panneau de direction demeure présent sur l'image acquise.
2. Procédé selon la revendication 1, dans lequel, pour déterminer si au moins un panneau de direction est présent parmi les panneaux de signalisation détectés, on détermine la forme des panneaux détectés par reconnaissance des panneaux de vitesse et on compare les formes déterminées à une base de données de formes de panneaux de direction.
3 Procédé selon l ' une quelconque des revendicatio ns précédentes, dans lequel on détermine si un panneau de signali satio n est un panneau de direction en déterminant la présence d ' une flèche de direction par comparai son avec une base de données des flèches de direction présentes sur des panneaux de direction.
4. Procédé selon l ' une quelconque des revendications précédentes, dans lequel, lorsque la route comprend plusieurs voies de circul ation, on détermine le panneau à afficher en réali sant les étapes suivantes :
on détermine la présence de voies en fonction des lignes de signali sation présentes sur la route par l ' intermédiaire d'un procédé d' alerte de franchi ssement involontaire de ligne ou d' assi stance de maintien de ligne réali sables par un système de calcul équipant le véhicule,
on associe les panneaux de direction détectés à une voie en fonction des positions respectives des panneaux et des voies,
on détermine la voie dans laquelle le véhicule circule, et on choi sit comme panneau à afficher le panneau de direction parmi les panneaux de direction détectés associé à la voie dans laquelle l e véhicule circule.
5. Procédé selon l ' une quelconque des revendications précédentes, dans lequel, lorsque la route comprend une seule voie de circul ation, on détermine que le panneau à afficher est le panneau de direction détecté.
6. Procédé selon l ' une quelconque des revendications précédentes, dans lequel, pour déterminer la li sibilité du panneau de direction à afficher, on détermine la taille en nombre de pixel s des caractères dont la présence a été détectée sur l ' image rognée du panneau à afficher i ssue de la reconnai ssance des panneaux de vitesse, on détermine si la taille déterminée des caractères est supérieure ou égale à une valeur minimale de taille de caractère prédéterminée en fonction du critère de Johnson Rosell avec une valeur de nombre de pixels correspondant à 50% de reconnaissance d'un caractère déterminée empiriquement, et
si tel est le cas, on confirme la possibilité d'une mise à l'échelle sans dégradation de la lisibilité sur l'écran en fonction de règles ergonomiques.
7. Système d'affichage d'un panneau de direction de la scène routière pour un véhicule automobile muni d'une caméra (11), d'un écran (12) et d'un premier moyen de calcul (10a) apte à réaliser une reconnaissance des panneaux de vitesse,
la caméra (11) étant fixée sur le véhicule automobile de sorte à acquérir des images de la scène routière située devant le véhicule,
l'écran (12) étant disposé de sorte à être visible du conducteur durant l'utilisation du véhicule, le système étant caractérisé par le fait qu'il comprend
le premier moyen de calcul (10a) étant apte à détecter la présence de panneaux de signalisation sur l'image reçue de la caméra (H),
un deuxième moyen de calcul (10b) apte à déterminer si au moins un panneau de direction est présent parmi les panneaux de signalisation détectés,
un quatrième moyen de calcul (10d) apte à déterminer la lisibilité des caractères du panneau de direction à afficher sur l'écran du véhicule,
le quatrième moyen de calcul (10d) étant par ailleurs apte à réaliser une mise à l'échelle de l'image du panneau de direction à afficher ainsi qu'un traitement de l'image mise à l'échelle, et à maintenir l'affichage sur l'écran (12) du panneau de direction à afficher, tant que le panneau de direction demeure présent sur l'image acquise,
le premier moyen de calcul (10a) étant relié en sortie au deuxième moyen de calcul (10b) lui-même connecté en sortie au quatrième moyen de calcul (10d), le quatrième moyen de calcul (lOd)étant connecté en sortie à l'écran (12).
8. Système selon la revendication 7, dans lequel le deuxième moyen de calcul ( 10b) est apte à déterminer si un panneau de signali sation est un panneau de direction en comparant la forme du panneau de signali sation avec une base de données des formes des panneaux de direction.
9. Système selon l ' une quelconque des revendications 7 ou 8, dans lequel le deuxième moyen de calcul ( 10b) est apte à déterminer si un panneau de signali sation est un panneau de direction en déterminant la présence d' une flèche de direction par comparai son avec une base de données des flèches de direction présentes sur des panneaux de direction.
10. Système selon l ' une quel conque des revendications 7 à 9, comprenant un troisième moyen de calcul ( 10c) apte à réali ser une alerte de franchi ssement involontaire de ligne ou une assi stance de maintien de ligne connecté entre le deuxième moyen de calcul ( 10b) et le quatrième moyen de calcul ( 10d), le troi sième moyen de calcul ( 10c) est apte à déterminer si la route comprend une ou plusieurs voies de circulation, et apte à déterminer le panneau de direction à afficher en fonction des positions respectives des panneaux, des voies et du véhicule.
1 1 . Système selon l ' une quel conque des revendications 7 à 10, dans lequel pour déterminer la lisibilité des caractères du panneau de direction à afficher sur l ' écran du véhicule, le quatrième moyen de calcul ( 10d) est apte à déterminer la taille en nombre de pixel s des caractères dont la présence a été détectée sur l ' une image rognée du panneau à afficher i ssue du premi er moyen de calcul ( 10a), à déterminer si la taille déterminée des caractères est supérieure ou égale à une valeur minimale de taille de caractère prédéterminée en fonction du critère de Johnson Rosell avec une valeur de nombre de pixel s correspondant à 50% de reconnai ssance d' un caractère déterminée empiriquement et si tel est le cas, à confirmer la possibilité d' une mise à l ' échelle sans dégradation de la lisibilité sur l ' écran en fonction de règles ergonomiques.
EP16753952.7A 2015-07-24 2016-07-22 Procédé et système d' affichage d' un panneau de direction de la scène routière pour véhicule automobile Withdrawn EP3326110A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1557056A FR3039309B1 (fr) 2015-07-24 2015-07-24 Procede et systeme d'affichage d'un panneau de direction de la scene routiere pour vehicule automobile
PCT/FR2016/051911 WO2017017359A1 (fr) 2015-07-24 2016-07-22 Procédé et système d' affichage d' un panneau de direction de la scène routière pour véhicule automobile

Publications (1)

Publication Number Publication Date
EP3326110A1 true EP3326110A1 (fr) 2018-05-30

Family

ID=54199887

Family Applications (1)

Application Number Title Priority Date Filing Date
EP16753952.7A Withdrawn EP3326110A1 (fr) 2015-07-24 2016-07-22 Procédé et système d' affichage d' un panneau de direction de la scène routière pour véhicule automobile

Country Status (3)

Country Link
EP (1) EP3326110A1 (fr)
FR (1) FR3039309B1 (fr)
WO (1) WO2017017359A1 (fr)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008010968A1 (de) * 2008-02-25 2009-09-17 Robert Bosch Gmbh Anzeige eines relevanten Verkehrszeichens oder einer relevanten Verkehrseinrichtung
DE102008043155A1 (de) * 2008-10-24 2010-04-29 Robert Bosch Gmbh Fahrerinformationseinrichtung
DE102008054041B3 (de) * 2008-10-31 2010-06-10 Audi Ag Verfahren zur kombinierten Ausgabe eines Bildes und einer ein Verkehrszeichen betreffenden Information, sowie Kraftfahrzeug hierfür
JP5819420B2 (ja) * 2010-06-15 2015-11-24 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミットベシュレンクテル ハフツングＣｏｎｔｉ Ｔｅｍｉｃ ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ＧｍｂＨ 自動車の交通標識認識システムと車線認識システムとを融合する方法
DE102012025067A1 (de) * 2012-12-19 2014-06-26 Valeo Schalter Und Sensoren Gmbh Fahrerassistenzeinrichtung mit kombinierter Verkehrszeichenerfassung und Markierungserfassung für ein Kraftfahrzeug und entsprechendes Verfahren

Also Published As

Publication number Publication date
WO2017017359A1 (fr) 2017-02-02
FR3039309A1 (fr) 2017-01-27
FR3039309B1 (fr) 2017-07-14

Similar Documents

Publication Publication Date Title
US11967109B2 (en) Vehicle localization using cameras
EP3462377B1 (fr) Procédé et appareil permettant d'identifier une voie de conduite
CN113673438B (zh) 一种碰撞预警的方法、装置、电子设备及存储介质
CN108437795B (zh) 限速值输出方法与装置
US20180009378A1 (en) Pedestrian detection when a vehicle is reversing
CN107487258A (zh) 盲区检测系统和方法
JP4988781B2 (ja) 車両の周辺監視装置
JP2013225295A5 (fr)
JP2009048629A (ja) 検出方法
KR101748780B1 (ko) 스테레오 카메라를 이용한 도로객체 인식방법 및 장치
CN110909699A (zh) 视频车辆非导向行驶检测方法、装置及可读存储介质
CN111967451B (zh) 一种道路拥堵检测方法及装置
KR20190095567A (ko) 객체를 인식하는 방법 및 장치
CN106696824A (zh) 车辆行驶辅助方法及装置、车辆
JP5811918B2 (ja) 注視対象物推定装置、方法、及びプログラム
US9600894B2 (en) Image processing apparatus and computer-readable storage medium
CN114333414A (zh) 停车让行检测装置、停车让行检测系统以及记录介质
JP7398257B2 (ja) 道路標示認識装置
Muzammel et al. Rear-end vision-based collision detection system for motorcyclists
EP3326110A1 (fr) Procédé et système d' affichage d' un panneau de direction de la scène routière pour véhicule automobile
JP6665522B2 (ja) 情報処理装置、情報処理システム、および情報処理プログラム
JP2016085105A (ja) 移動体の速度推定装置、方法、及びプログラム
Yoo et al. A new lane detection method based on vanishing point estimation with probabilistic voting
JP2018163592A (ja) 物体検知支援装置
CN107452230B (zh) 一种障碍物检测方法、装置、终端设备及存储介质

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20180122

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20210406

RAP3 Party data changed (applicant data changed or rights of an application transferred)

Owner name: RENAULT S.A.S

RAP3 Party data changed (applicant data changed or rights of an application transferred)

Owner name: RENAULT S.A.S

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN WITHDRAWN

18W Application withdrawn

Effective date: 20221121