EP4277802A1 - Véhicule automobile comportant un système adas couplés à un système d'affichage en réalité augmentée dudit véhicule - Google Patents

Véhicule automobile comportant un système adas couplés à un système d'affichage en réalité augmentée dudit véhicule

Info

Publication number
EP4277802A1
EP4277802A1 EP21830462.4A EP21830462A EP4277802A1 EP 4277802 A1 EP4277802 A1 EP 4277802A1 EP 21830462 A EP21830462 A EP 21830462A EP 4277802 A1 EP4277802 A1 EP 4277802A1
Authority
EP
European Patent Office
Prior art keywords
vehicle
augmented reality
prohibited
display system
sign
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP21830462.4A
Other languages
German (de)
English (en)
Inventor
Vincent LAINE
David Vrinat
Anthony Guillaud
Michael DUQUEROY
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stellantis Auto SAS
Original Assignee
PSA Automobiles SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PSA Automobiles SA filed Critical PSA Automobiles SA
Publication of EP4277802A1 publication Critical patent/EP4277802A1/fr
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/166—Navigation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/178—Warnings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/179—Distances to obstacles or vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/40—Hardware adaptations for dashboards or instruments
    • B60K2360/48—Sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/18—Steering angle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/20—Direction indicator values

Definitions

  • Motor vehicle comprising an ADAS system coupled to an augmented reality display system of said vehicle.
  • the present invention generally relates to the driving assistance systems also designated by ADAS (English acronym for Advanced Driver-Assistance System) fitted to certain motor vehicles.
  • ADAS American acronym for Advanced Driver-Assistance System
  • It relates more particularly to a motor vehicle comprising an ADAS system coupled to an augmented reality display system of said vehicle.
  • ADAS systems are generally associated with systems for displaying visual information on a display medium present in the field of vision of the driver of the vehicle and in particular, on the windshield of the vehicle. This information is intended for the driver of the vehicle to help him guide the vehicle in its road environment.
  • This information is complementary to the basic information presented in particular on the dashboard or on a screen present in the cockpit of the vehicle, in order to improve safety, comfort or navigation.
  • augmented reality can present on the windshield which serves as a support or screen for the information, safety information such as a reminder of the signs on the road followed, better visualization of the road at night, materialization at the floor of the routes to follow, ...
  • VTH an acronym for "Head Up Display” or HUD in Anglo-Saxon terminology for “Head Up Display”
  • HUD Head Up Display
  • New generations of so-called “long distance” HUDs make it possible to project images further on the road scene extending to the front of the vehicle (up to 10 m or even more) in order to "superimpose”” virtual" graphic elements on the "real" road scene and to offer an augmented reality service.
  • the interest of augmented reality is to be able to superimpose on the road scene taking place in front of the vehicle, floating virtual arrows, a track on the ground or a heading/compass, or any other guidance information indicating the road to follow and/or pointing the direction of the road to follow.
  • an augmented reality display system generally cooperates with an on-board ADAS system which uses maps, in particular high definition, and data delivered by sensors on board the vehicle, in particular a multifunction camera which is positioned against the windscreen of the vehicle, at the level of the interior mirror.
  • Vehicles equipped with a multifunction camera generally include means of recognizing road signs.
  • the images captured by the multifunction camera are processed by software means specialized in the recognition of traffic signs, and which then make the link between the sign that the vehicle has just passed and those present in its database.
  • a vehicle display system coupled to the ADAS system then displays the panel thus recognized on the vehicle's instrument panel.
  • Recognized signs include speed limit signs, no-entry signs and signs prohibiting turning left or right; these signs indicating to the driver of the vehicle which lanes are prohibited to traffic.
  • document US10336190A discloses a method for displaying signs recognized by a sign-reading device, in particular a no-entry sign or a stop sign.
  • the present invention proposes an augmented reality display solution of prohibited traffic lane signaling information for the vehicle which is adaptive and intuitive for the driver of the vehicle.
  • the present invention has as its first object, a motor vehicle comprising a driving assistance system, and an augmented reality display system coupled to the driving assistance system, said display system displaying in an augmented reality window in the field of vision of the driver of the vehicle, a determined graphic, representative of real information indicating a prohibited lane for the vehicle; the format and position of the graphics in the window being adapted according to the distance between the vehicle and the actual prohibited lane signaling information.
  • the driving assistance system includes at least one multifunction camera and high-definition mapping; the driving assistance system receiving information delivered by an activation sensor of a direction change indicator of the vehicle and by a sensor for measuring the angle of rotation of the steering wheel of the vehicle; said sensors being embedded in the vehicle.
  • the actual prohibited lane signaling information is a no-entry sign and/or a sign prohibiting turning to the right or to the left.
  • the second object of the present invention is a method for activating the augmented reality display system, implemented by the vehicle as described above, characterized in that it consists of:
  • the augmented reality display system displays in the augmented reality window, the graphics representative of all the prohibited routes present identified; - in a second stage, from a distance of 30 m up to the junction of the prohibited lane with the vehicle's traffic lane then, if an activation of the direction change indicator is detected by the driving assistance, the augmented reality display system displays a graphic superimposed on the junction otherwise, in the absence of activation of the turn indicator to the left or to the right, and if an entry into a prohibited lane is identified or detected by the driver assistance system, from a recognition of the actual signaling information of the prohibited lane and/or from a map coupled with a rotation angle measurement of the steering wheel of the vehicle, then the augmented reality display system displays
  • the real prohibited lane signaling information is a no-entry sign and the augmented reality display system displays the graphics of the no-entry sign in the open field, then the graphic representation of the no-entry sign is displayed in perspective in the window, so that seen from the driver, the no-entry sign does not completely obscure the driver's field of vision.
  • the present invention has as its third and final object, a computer program product comprising instructions for the execution of the steps of the method as described above.
  • Augmented reality makes it possible to anticipate a driving action on the part of the driver, in particular to avoid entering areas prohibited to traffic, in particular one-way lanes which are numerous in urban areas.
  • Augmented reality simplifies the driver's mental workload and decision-making when choosing which lane or which lane to avoid.
  • FIG. 1 illustrates a block diagram of a vehicle according to the invention
  • FIG. 2 illustrates a flowchart for activating the vehicle's augmented reality display system according to the invention.
  • window is meant the area of the windshield on which the graphic information delivered by an augmented reality system on board the vehicle is displayed.
  • the window is located in the driver's field of vision.
  • the dimensions of the window available in which it is possible to actually superimpose graphic elements on real objects of the road scene are not infinite: they are constrained in particular by the size of the optical system which is integrated in the dashboard and which is used to generate the window.
  • a window which is generally rectangular in shape, are therefore limited.
  • a window is characterized by a determined maximum width and depth of field in augmented reality, also designated by “Field of View” in English terminology.
  • the maximum coverage in depth of field of an augmented reality window is between 20 and 80 m in front of the vehicle; the window is centered on the vehicle's traffic lane which passes in front of the vehicle and which the driver sees.
  • This coverage also considers the side lanes adjacent to the vehicle's traffic lane but with a more limited depth of field, typically between 40 and 80 m.
  • the rectangle is superimposed on the traffic lanes which take place in front of the vehicle and which, due to the perspective effect, defines the portion of the traffic lane of the vehicle as a trapezoid rectangle inscribed in the window while being centered on the window; the lower edge of the rectangle therefore of the window, corresponding to the large side of the trapezium.
  • This object can be, for example, a warning information sign, in particular a sign prohibiting the use of the adjacent lane or another lane prohibited for traffic at an intersection.
  • FIG. 1 schematically illustrates in the form of a block diagram, a motor vehicle 100 according to the invention comprising an ADAS driving assistance system 10, and an augmented reality display system 20 coupled to the ADAS system
  • the display system 20 displays in an augmented reality window 30 on the windshield 40 of the vehicle 100 in the field of vision of the driver 50 of the vehicle 100, an alert information graphic 60 determined and evolving according to the distance between the vehicle 100 and real signaling information of a lane prohibited to traffic for the vehicle 100; the format and position of the graphics 60 in the window 30 being adapted according to the distance between the vehicle 100 and the actual signaling information, not shown.
  • the ADAS system 10 comprises at least one multifunction camera 11 and a high-definition map 12. It also receives information delivered by an activation sensor of the direction change indicators 70 of the vehicle and by a sensor 80 for measuring the vehicle steering wheel rotation angle 100; said sensors 70 and 80 being on board the vehicle 100.
  • the ADAS system 10 further comprises means for recognizing panels 13 of the vehicle from the images captured by the multifunction camera
  • the present invention considers three situations in which the vehicle 100 according to the invention can be confronted during a journey, preferably but not exclusively, in an urban area, and which are compatible with the performance of an augmented reality display system (Window available in augmented reality).
  • Window available in augmented reality augmented reality
  • the ADAS system 10 of the vehicle 100 identifies the lanes prohibited to the vehicle 100, at an average distance of between 80 and 100 m in front of the vehicle 100.
  • the augmented reality display system 20 of the vehicle 100 displays in the window 30, in a systematic way, a simple and uncluttered graphics 60 locating the forbidden ways (in real superimposition of the forbidden way).
  • the ADAS system 10 identifies the prohibited lanes at a short distance of between 20 and 30 m in front of the vehicle 100.
  • the augmented reality display system 20 of the vehicle 100 displays in the window 30 a graphic design adapted to the situation, for example, a graphic 60 representing a red cross on one of the side edges of the window 30 or a sign prohibiting turning right or left if the turn indicator (flashing) 70 is activated in the direction of the forbidden lane.
  • the ADAS system 10 identifies that the vehicle 100 is already in the prohibited lane or about to be there.
  • the augmented reality display system 20 of the vehicle 100 displays a graphic 60 in the open field in the window 30, facing the driver 50.
  • the graphic representation (graphics) 60 is adapted and scalable from a simple lateralized indication of a prohibited lane to a copy of the "no entry" sign in large size facing the driver 50.
  • the graphic representation of the large no-entry sign is displayed in perspective in the window 30, so that seen from the driver, the latter does not completely mask the field of vision of the driver 50.
  • a first step, 200 as soon as at least one no-entry sign has been detected or identified by the map 12 or a "no left or right turn" sign has been recognized by the recognition means of panels 13 of the vehicle 100, has a distance between the prohibited lane and the vehicle of between 100 m and 50 m, then the augmented reality display system 20 displays in the augmented reality window 30, the graphics 60 representative of all the forbidden ways present in the window.
  • a second step, 201 from a distance of 30 m up to the junction of the prohibited lane with the vehicle traffic lane (the prohibited lane is not visible in the augmented reality window) then , if an activation of the direction change indicator (flashing) 70 is detected by the ADAS system 10 then the augmented reality display system 20 displays a determined graphic 60 superimposed with the junction.
  • the augmented reality display system 20 displays the representative graphics 60 of a no-entry sign in the open field in the driver's field of vision 50.
  • the display activation method implements a computer generated program with instructions for performing the steps of the method described above.
  • This program is implemented by one or more processors of the vehicle's ADAS system (ADAS supervisor) in conjunction with one or more processors of the IVI (In-Vehicle Infotainment) system, which is the vehicle's central unit dedicated to data processing and communication with the driver.
  • ADAS supervisor ADAS supervisor
  • IVI Intelligent Vehicle Infotainment
  • Such a program can be updated with the possibility of adding functions by using an update by OTA "Over The Air” type waves.

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Instrument Panels (AREA)
  • Navigation (AREA)

Abstract

Véhicule automobile comportant un système ADAS couplés à un système d'affichage en réalité augmentée dudit véhicule Véhicule automobile (100) comportant un système d'aide à la conduite (10), et un système d'affichage en réalité augmentée (20) couplé au système d'aide à la conduite (10), ledit système d'affichage (20) affichant dans une fenêtre de réalité augmentée (30) dans le champ de vision du conducteur (50) du véhicule (100) un graphisme (60) représentatif d'une information réelle de signalisation de voie interdite pour le véhicule (100) déterminée; le format et la position du graphisme (60) dans la fenêtre (30) étant adaptés en fonction de la distance entre le véhicule (100) et l'information réelle de signalisation de voie interdite.

Description

DESCRIPTION
Titre de l’invention : Véhicule automobile comportant un système ADAS couplés à un système d’affichage en réalité augmentée dudit véhicule.
La présente invention revendique la priorité de la demande française 2100230 déposée le 12.01.2021 dont le contenu (texte, dessins et revendications) est ici incorporé par référence
La présente invention concerne de manière générale les systèmes d’aide à la conduite également désignés par ADAS (acronyme anglosaxon pour Advanced Driver-Assistance System) équipant certains véhicules automobiles.
Elle concerne plus particulièrement un véhicule automobile comportant un système ADAS couplés à un système d’affichage en réalité augmentée dudit véhicule.
Les systèmes ADAS sont généralement associés à des systèmes d’affichage d’informations visuelles sur un support d’affichage présent dans le champ de vision du conducteur du véhicule et notamment, sur le pare-brise du véhicule. Ces informations sont destinées au conducteur du véhicule pour l’aider à guider le véhicule dans son environnement routier.
On parle de réalité augmentée quand les informations délivrées par les systèmes d’affichage se superposent à la vision réelle du conducteur concernant la conduite du véhicule et son environnement.
Ces informations sont complémentaires des informations de base présentées notamment sur le tableau de bord ou sur un écran présent dans le cockpit du véhicule, afin d'améliorer la sécurité, le confort ou la navigation.
En particulier, la réalité augmentée peut présenter sur le pare-brise qui sert de support ou écran pour les informations, des informations de sécurité comme un rappel de la signalisation sur la route suivie, une meilleure visualisation de la route de nuit, une matérialisation au sol des itinéraires à suivre, ...
La plupart des systèmes d’affichage courants, connus sous l’appellation VTH, acronyme pour « Vision Tête Haute » ou encore HUD en terminologie anglo- saxonne pour « Head Up Display », ne permettent pas un affichage en réalité augmentée mais permettent simplement de donner des informations de conduite au conducteur sans que ce dernier ne détourne son attention de la route. De nouvelles generations de VTH dites « longue distance » permettent de projeter des images plus loin sur la scène routière s’étendant à l’avant du véhicule (jusqu’à 10 m voire plus) afin de « superposer » des éléments graphiques « virtuels » sur la scène routière « réelle » et d’offrir une prestation de réalité augmentée.
L’intérêt de la réalité augmentée est de pouvoir superposer à la scène routière se déroulant devant le véhicule, des flèches virtuelles flottantes, un tracé au sol ou un cap/boussole, ou toute autre information de guidage indiquant la route à suivre et/ou pointant la direction de la route à suivre.
Pour pouvoir guider le véhicule dans son environnement routier, un système d’affichage en réalité augmentée coopère généralement avec un système ADAS embarqué qui exploite des cartographies notamment haute définition, et des données délivrées par des capteurs embarqués dans le véhicule, notamment une caméra multifonction qui est positionnée contre le pare-brise du véhicule, au niveau du rétroviseur intérieur.
Les véhicules équipés d’une caméra multifonction comportent généralement des moyens de reconnaissance de panneaux de signalisation routière.
Les images captées par la caméra multifonction sont traitées par des moyens logiciels spécialisés dans la reconnaissance des panneaux de signalisation, et qui font alors le lien entre le panneau que le véhicule vient de croiser et ceux présents dans sa base de données. Un système d’affichage du véhicule couplé au système ADAS, affiche alors le panneau ainsi reconnu sur le tableau de bord (combiné) du véhicule.
Les panneaux reconnus sont notamment des panneaux de limitation de vitesse, de sens interdit et les panneaux interdisant de tourner à gauche ou à droite ; ces panneaux indiquant au conducteur du véhicule quelles sont les voies interdites à la circulation.
On connaît notamment du document US10336190A, un procédé d’affichage de panneaux reconnus par un dispositif de lecture de panneaux, notamment un panneau de sens interdit ou un panneau stop.
Toutefois, même si ce document évoque la possibilité d’afficher ces panneaux sur un HUD, il divulgue principalement un affichage des panneaux sur le combiné du véhicule et donc avec une taille d’affichage réduite et limité à la taille du combiné qui supporte par ailleurs d’autres informations avec un risque de surcharge d’informations pour le conducteur. D’autre part, le format de l’affichage des panneaux est fige en étant conditionne par la taille du combine et des autres informations aptes à être affichées sur le combiné.
La présente invention propose une solution d’affichage en réalité augmentée d’une information de signalisation de voie de circulation interdite pour le véhicule qui est adaptative et intuitive pour le conducteur du véhicule.
A cet effet, la présente invention a pour premier objet, un véhicule automobile comportant un système d’aide à la conduite, et un système d’affichage en réalité augmentée couplé au système d’aide à la conduite, ledit système d’affichage affichant dans une fenêtre de réalité augmentée dans le champ de vision du conducteur du véhicule un graphisme déterminé, représentatif d’une information réelle de signalisation de voie interdite pour le véhicule ; le format et la position du graphisme dans la fenêtre étant adaptés en fonction de la distance entre le véhicule et l’information réelle de signalisation de voie interdite.
Selon une caractéristique, le système d’aide à la conduite comporte au moins une caméra multifonction et une cartographie haute définition ; le système d’aide à la conduite recevant des informations délivrées par un capteur d’activation d’un indicateur de changement de direction du véhicule et par un capteur de mesure de l’angle de rotation du volant de direction du véhicule ; lesdits capteurs étant embarqués dans le véhicule.
Selon une autre caractéristique, l’information réelle de signalisation de voie interdite est un panneau de sens interdit et/ou un panneau d’interdiction de tourner à droite ou à gauche.
La présente invention a pour deuxième objet, un procédé d’activation du système d’affichage en réalité augmentée, mis en œuvre par le véhicule tel que décrit ci- dessus, caractérisé en ce qu’il consiste :
- dans une première étape, dès qu’au moins une information réelle de signalisation de voie interdite a été détectée ou identifiée par une cartographie ou qu’un panneau d’interdiction de tourner à gauche ou à droite a été reconnu par les moyens de reconnaissance de panneaux du véhicule dans la distance entre le véhicule et une information réelle de signalisation de voie interdite comprise entre 100 m et 50 m, alors le système d’affichage en réalité augmentée affiche dans la fenêtre de réalité augmentée, le graphisme représentatif de toutes les voies interdites présentes identifiées ; - dans une deuxieme etape, a partir d une distance de 30 m jusqu a l’embranchement de la voie interdite avec la voie de circulation du véhicule alors, si une activation de l’indicateur de changement de direction est détectée par le système d’aide à la conduite, le système d’affichage en réalité augmentée affiche un graphisme en superposition avec l’embranchement sinon, en l’absence d’activation de l’indicateur de changement de direction à gauche ou à droite, et si une entrée dans une voie interdite est identifiée ou détectée par le système d’aide à la conduite, à partir d’une reconnaissance de l’information de signalisation réelle de la voie interdite et/ou d’une cartographie couplée à une mesure d’angle de rotation du volant du véhicule, alors le système d’affichage en réalité augmentée affiche le graphisme représentatif de l’information réelle de signalisation de voie interdite en plein champ.
Selon une caractéristique du procédé selon l’invention, lorsque information réelle de signalisation de voie interdite est un panneau de sens interdit et que le système d’affichage en réalité augmentée affiche le graphisme du panneau de sens interdit en plein champ, alors la représentation graphique du panneau de sens interdit est affichée en perspective dans la fenêtre, pour que vu du conducteur, le panneau de sens interdit ne masque pas complètement le champ de vision du conducteur.
La présente invention a pour troisième et dernier objet, un programme produit d’ordinateur comportant des instructions pour l’exécution des étapes du procédé tel que décrit ci-dessus.
Les avantages apportés par la présente invention sont multiples.
La réalité augmentée permet d’anticiper une action de conduite de la part du conducteur notamment pour éviter de s’engager dans des zones interdites à la circulation, notamment des voies en sens interdit qui sont nombreuses en milieu urbain.
La réalité augmentée simplifie la charge mentale et la prise de décision du conducteur au moment de choisir telle ou telle voie et d’éviter telle ou telle voie.
Les avantages vont vers une simplification de la prise d’information et de décision de la part du conducteur, et ainsi vers une simplification dans la maitrise de son véhicule dans un moment parfois complexe où se trouve réunis dans un même espace, un grand nombre de panneaux de signalisation routière. Les informations sont affichées en réalité augmentée de maniéré peu distractive et au juste nécessaire.
D’autres avantages et caractéristiques pourront ressortir plus clairement de la description qui va suivre, donnée uniquement à titre d’exemple non limitatif et faite en se référant aux dessins dans lesquels :
[Fig. 1] illustre un schéma-bloc d’un véhicule selon l’invention ; et
[Fig. 2] illustre un logigramme d’activation du système d’affichage en réalité augmentée du véhicule selon l’invention.
Avant d’entamer la description détaillée d’un mode de réalisation de l’invention, il convient de rappeler certaines limites dimensionnelles des fenêtres de réalité augmentée générées par les systèmes de réalité augmentée actuels.
On entend par fenêtre, la zone du pare-brise sur laquelle sont affichées les informations graphiques délivrées par un système de réalité augmenté embarqué dans le véhicule. La fenêtre est située dans le champ de vision du conducteur.
Les dimensions de la fenêtre disponible dans laquelle il est possible de réellement superposer des éléments graphiques sur des objets réels de la scène routière, ne sont pas infinies : elles sont contraintes notamment par la taille du système optique qui est intégré dans la planche de bord et qui permet de générer la fenêtre.
Les dimensions de la fenêtre qui est de forme générale rectangulaire, sont donc limitées. Une fenêtre est caractérisée par une largeur et une profondeur de champ en réalité augmentée maximales déterminées, désignée également par « Field of View » en terminologie anglo-saxonne.
Aujourd’hui, typiquement, la couverture maximale en profondeur de champ d’une fenêtre en réalité augmentée est comprise entre 20 et 80 m à l’avant du véhicule ; la fenêtre est centrée sur la voie de circulation du véhicule qui se déroule devant le véhicule et que voit le conducteur.
Cette couverture considère également les voies latérales adjacentes à la voie de circulation du véhicule mais avec une profondeur de champ plus limitée, typiquement entre 40 et 80 m.
Si on considère la fenêtre comme un rectangle, le rectangle se superpose sur les voies de circulation qui se déroulent à l’avant du véhicule et qui du fait de l’effet de perspective, définit la portion de voie de circulation du véhicule comme un trapèze rectangle inscrit dans la fenêtre en étant centré sur la fenêtre ; le bord inférieur du rectangle donc de la fenêtre, correspondant au grand côté du trapèze. Les deux portions restantes du rectangle, de part et d autre du trapeze, définissent respectivement deux triangles latéraux dont la profondeur de champ est comprise entre 40 et 80 m.
Donc, si un objet est sur la voie adjacente de droite ou de gauche par rapport à la voie de circulation du véhicule, seulement à 10 m à l’avant du véhicule, on ne peut pas le traiter en réalité augmentée (car en dehors de la fenêtre). Par contre, on peut indiquer de manière « spatial isée/latéral isée » (à droite ou à gauche de la voie de circulation du véhicule) la position de cet objet.
Cet objet peut être par exemple, un panneau de signalisation d’une information d’alerte notamment un panneau d’interdiction d’emprunter la voie adjacente ou une autre voie interdite à la circulation à une intersection.
Par simplification, on confondra volontairement la profondeur de champ avec la distance entre le véhicule et la position réelle du panneau ou plus généralement, de l’information de signalisation réelle.
La figure 1 illustre schématiquement sous forme d’un schéma-bloc, un véhicule automobile 100 selon l’invention comportant un système d’aide à la conduite ADAS 10, et un système d’affichage en réalité augmentée 20 couplé au système ADAS
10.
Le système d’affichage 20 affiche dans une fenêtre de réalité augmentée 30 sur le pare-brise 40 du véhicule 100 dans le champ de vision du conducteur 50 du véhicule 100, un graphisme d’information d’alerte 60 déterminé et évolutif en fonction de la distance entre le véhicule 100 et une information réelle de signalisation d’une voie interdite à la circulation pour le véhicule 100 ; le format et la position du graphisme 60 dans la fenêtre 30 étant adaptés en fonction de la distance entre le véhicule 100 et l’information réelle de signalisation, non représentée.
Le système ADAS 10 comporte au moins une caméra multifonction 11 et une cartographie haute définition 12. Il reçoit en outre des informations délivrées par un capteur d’activation des indicateurs de changement de direction 70 du véhicule et par un capteur 80 de mesure de l’angle de rotation du volant de direction du véhicule 100 ; lesdits capteurs 70 et 80 étant embarqués dans le véhicule 100.
Le système ADAS 10 comporte en outre des moyens de reconnaissance de panneaux 13 du véhicule à partir des images captées par la caméra multifonction
11. La presente invention considéré trois situations dans lequel le véhiculé 100 selon l’invention peut être confronté au cours d’un trajet, préférentiellement mais pas exclusivement, en zone urbaine, et qui sont compatibles des performances d’un système d’affichage en réalité augmentée (Fenêtre disponible en réalité augmentée).
Dans une première situation, le système ADAS 10 du véhicule 100 identifie les voies interdites au véhicule 100, à une distance moyenne comprise entre 80 et 100 m devant le véhicule 100. Le système d’affichage en réalité augmentée 20 du véhicule 100 affiche dans la fenêtre 30, de manière systématique, un graphisme simple et épuré 60 localisant les voies interdites (en superposition réelle de la voie interdite).
Dans une deuxième situation, le système ADAS 10 identifie les voies interdites à une distance faible comprise entre 20 et 30 m devant le véhicule 100. Le système d’affichage en réalité augmentée 20 du véhicule 100 affiche dans la fenêtre 30 un graphisme adapté à la situation, par exemple, un graphisme 60 représentant une croix rouge sur l’un des bords latéraux de la fenêtre 30 ou un panneau d’interdiction de tourner à droite ou à gauche si l’indicateur de changement de direction (clignotant) 70 est activé en direction de la voie interdite.
Dans une troisième situation, le système ADAS 10 identifie que le véhicule 100 est déjà dans la voie interdite ou en passe d’y être. Le système d’affichage en réalité augmentée 20 du véhicule 100 affiche un graphisme 60 en plein champ dans la fenêtre 30, face au conducteur 50.
La représentation graphique (graphisme) 60 est adaptée et évolutive d’une simple indication latéralisée de voie interdite jusqu’à une recopie du panneau « sens interdit » en grande taille face au conducteur 50.
Avantageusement, la représentation graphique du panneau de sens interdit de grande taille est affichée en perspective dans la fenêtre 30, pour que vu du conducteur, ce dernier ne masque pas complètement le champ de vision du conducteur 50.
Un logigramme d’activation du système d’affichage selon l’invention est décrit ci- après en référence à la figure 2.
Dans une première étape, 200, dès qu’au moins un panneau de sens interdit a été détecté ou identifié par la cartographie 12 ou qu’un panneau « interdiction de tourner à gauche ou à droite» a été reconnu par les moyens de reconnaissance de panneaux 13 du véhiculé 100, a une distance entre la voie interdite et le véhiculé comprise entre 100 m et 50 m, alors le système d’affichage en réalité augmentée 20 affiche dans la fenêtre de réalité augmentée 30, le graphisme 60 représentatif de toutes les voies interdites présentes dans la fenêtre.
Dans une deuxième étape, 201 , à partir d’une distance de 30 m jusqu’à l’embranchement de la voie interdite avec la voie de circulation du véhicule (la voie interdite n’est pas visible dans la fenêtre de réalité augmentée) alors, si une activation de l’indicateur de changement de direction (clignotant) 70 est détectée par le système ADAS 10 alors le système d’affichage en réalité augmentée 20 affiche un graphisme déterminé 60 en superposition avec l’embranchement.
Sinon, en l’absence d’activation de l’indicateur de changement de direction 70 à gauche ou à droite, et si une entrée dans une voie interdite est identifiée ou détectée par le système ADAS 10, à partir des moyens de reconnaissance du panneau « sens interdit » 13 couplés à la caméra 11 et/ou d’une cartographie 12 couplée à une mesure d’angle de rotation du volant délivrée par un capteur 80, alors le système d’affichage en réalité augmentée 20 affiche le graphisme représentatif 60 d’un panneau de sens interdit en plein champ dans le champ de vision du conducteur 50.
Le procédé d’activation de l’affichage implémente un programme produit d’ordinateur comportant des instructions pour l’exécution des étapes du procédé décrit ci-dessus.
Ce programme est implémenté par un ou plusieurs processeurs du système ADAS (superviseur ADAS) du véhicule en lien avec un ou plusieurs processeurs du système IVI (In-Vehicle Infotainment) qui est l’organe central du véhicule dédié au traitement des données et à la communication avec le conducteur.
Un tel programme pourra être mis à jour avec possibilité d’ajout de fonctions en utilisant une mise à jour par voie d’ondes de type OTA« Over The Air ».

Claims

REVENDICATIONS
1. Véhicule automobile (100) comportant un système d’aide à la conduite (10), et un système d’affichage en réalité augmentée (20) couplé au système d’aide à la conduite (10), ledit système d’affichage (20) affichant dans une fenêtre de réalité augmentée (30) dans le champ de vision du conducteur (50) du véhicule (100) un graphisme (60) déterminé, représentatif d’une information réelle de signalisation de voie interdite pour le véhicule (100) ; le format et la position du graphisme (60) dans la fenêtre (30) étant adaptés en fonction de la distance entre le véhicule (100) et l’information réelle de signalisation de voie interdite.
2. Véhicule (100) selon la revendication précédente, caractérisé en ce que le système d’aide à la conduite (10) comporte au moins une caméra multifonction (11 ) et une cartographie haute définition (12) et en ce que le système d’aide à la conduite (10) reçoit des informations délivrées par un capteur (70) d’activation d’un indicateur de changement de direction du véhicule (100) et par un capteur (80) de mesure de l’angle de rotation du volant de direction du véhicule (100) ; lesdits capteurs (70, 80) étant embarqués dans le véhicule (100).
3. Véhicule (100) selon l’une des revendications précédentes, caractérisé en ce que l’information réelle de signalisation de voie interdite est un panneau de sens interdit et/ou un panneau d’interdiction de tourner à droite ou à gauche.
4. Procédé d’activation du système d’affichage en réalité augmentée (20), mis en œuvre par le véhicule (100) selon les revendications précédentes, caractérisé en ce qu’il consiste :
- dans une première étape, dès qu’au moins une information réelle de signalisation de voie interdite a été détectée ou identifiée (200) par une cartographie (12) ou qu’un panneau d’interdiction de tourner à gauche ou à droite a été reconnu par les moyens (13) de reconnaissance de panneaux du véhicule (100) dans la distance entre le véhicule et une information réelle de signalisation de voie interdite comprise entre 100 m et 50 m, alors le système d’affichage en réalité augmentée (20) affiche (201 ) dans la fenêtre de réalité augmentée (30), le graphisme (60) représentatif de toutes les voies interdites présentes identifiées ;
- dans une deuxième étape, à partir d’une distance de 30 m jusqu’à l’embranchement de la voie interdite avec la voie de circulation du véhicule (100) alors, si une activation (202) de l’indicateur de changement de direction (70) est detectee par le système d aide a la conduite (10), le système d’affichage en réalité augmentée (20) affiche (203) un graphisme déterminé (60) en superposition avec l’embranchement sinon, en l’absence d’activation de l’indicateur (70) de changement de direction à gauche ou à droite, et si une entrée dans une voie interdite est identifiée ou détectée (204) par le système d’aide à la conduite (10), à partir d’une reconnaissance (13) de l’information de signalisation réelle de la voie interdite et/ou d’une cartographie (12) couplée à une mesure d’angle de rotation (80) du volant du véhicule (100), alors le système d’affichage en réalité augmentée (20) affiche (205) le graphisme (60) représentatif de l’information réelle de signalisation de voie interdite en plein champ.
5. Procédé selon la revendication précédente, caractérisé en ce que lorsque information réelle de signalisation de voie interdite est un panneau de sens interdit et que le système d’affichage en réalité augmentée (20) affiche (205) le graphisme (60) du panneau de sens interdit en plein champ, alors la représentation graphique du panneau de sens interdit est affichée en perspective dans le fenêtre (30), pour que vu du conducteur (50), le panneau de sens interdit ne masque pas complètement le champ de vision du conducteur (50).
6. Programme produit d’ordinateur comportant des instructions pour l’exécution des étapes du procédé selon l’une des revendications 4 ou 5.
EP21830462.4A 2021-01-12 2021-11-30 Véhicule automobile comportant un système adas couplés à un système d'affichage en réalité augmentée dudit véhicule Pending EP4277802A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2100230A FR3118728B1 (fr) 2021-01-12 2021-01-12 Véhicule automobile comportant un système ADAS couplés à un système d’affichage en réalité augmentée dudit véhicule.
PCT/FR2021/052137 WO2022152981A1 (fr) 2021-01-12 2021-11-30 Véhicule automobile comportant un système adas couplés à un système d'affichage en réalité augmentée dudit véhicule.

Publications (1)

Publication Number Publication Date
EP4277802A1 true EP4277802A1 (fr) 2023-11-22

Family

ID=74860210

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21830462.4A Pending EP4277802A1 (fr) 2021-01-12 2021-11-30 Véhicule automobile comportant un système adas couplés à un système d'affichage en réalité augmentée dudit véhicule

Country Status (4)

Country Link
EP (1) EP4277802A1 (fr)
CN (1) CN116685892A (fr)
FR (1) FR3118728B1 (fr)
WO (1) WO2022152981A1 (fr)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2032979A1 (de) 1970-07-03 1972-01-13 Möbelfabriken Ernst Kaufmann KG, 8530 Neustadt Mobelteil und Verfahren zu seiner Herstellung
JP5768254B2 (ja) * 2010-09-24 2015-08-26 株式会社ユピテル 車載用電子機器及びプログラム
JP6084598B2 (ja) 2014-11-17 2017-02-22 本田技研工業株式会社 標識情報表示システム及び標識情報表示方法
JP2019217790A (ja) * 2016-10-13 2019-12-26 マクセル株式会社 ヘッドアップディスプレイ装置
EP3343177A1 (fr) * 2016-12-27 2018-07-04 Volkswagen Aktiengesellschaft Système d'assistance au conducteur, produit-programme informatique, séquence de signaux, système locomoteur et procédé destiné à informer un usager d'un moyen de déplacement

Also Published As

Publication number Publication date
CN116685892A (zh) 2023-09-01
FR3118728B1 (fr) 2024-05-17
FR3118728A1 (fr) 2022-07-15
WO2022152981A1 (fr) 2022-07-21

Similar Documents

Publication Publication Date Title
US20170174129A1 (en) Vehicular visual information system and method
WO2014176478A1 (fr) Système de découverte de scène pour un véhicule
US20190244515A1 (en) Augmented reality dsrc data visualization
KR20170048781A (ko) 차량용 증강현실 제공 장치 및 그 제어방법
CN111417889A (zh) 用于在机动车中提供显示的方法以及机动车
US20230332915A1 (en) Navigation device linked to vehicle, ar platform apparatus, ar platform system comprising same, and operation method
US20210390926A1 (en) Control of a display on an augmented reality head-up display device for a vehicle
KR20230020564A (ko) 어려운 운전 조건하에서 랜드 마크를 이용한 내비게이션 명령 강화
JP2024029051A (ja) 車載表示装置、方法およびプログラム
CN109050401A (zh) 一种增强现实的驾驶显示方法和装置
KR20220125148A (ko) 영상 출력 장치 및 그것의 제어 방법
JP2017202721A (ja) 表示システム
US11545035B2 (en) Driver notification system
CN117453165A (zh) 用于机动车辆的副驾驶应用程序的多视图显示设备
EP4277802A1 (fr) Véhicule automobile comportant un système adas couplés à un système d'affichage en réalité augmentée dudit véhicule
EP4372315A1 (fr) Dispositif de guidage d'itinéraire et système de guidage d'itinéraire basés sur une réalité augmentée et une réalité mixte
Mahajan et al. Head-up display techniques in cars
CN116841042A (zh) 在视觉不可感知对象上叠加符号的增强现实平视显示器
JP7253708B2 (ja) 情報処理装置、車両及び情報処理方法
FR3119577A1 (fr) Véhicule automobile comportant un système d’affichage intelligent de navigation en réalité augmentée affichant des points de vigilance.
JP2018144690A (ja) 車両用表示装置
JP7283464B2 (ja) Ｈｍｉ制御装置およびｈｍｉ制御プログラム
JP7484591B2 (ja) 表示制御装置、表示制御方法及び表示制御プログラム
US20240042857A1 (en) Vehicle display system, vehicle display method, and computer-readable non-transitory storage medium storing vehicle display program
FR3062742A1 (fr) Dispositif d’aide a la navigation routiere de nuit

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20230616

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

RAP3 Party data changed (applicant data changed or rights of an application transferred)

Owner name: STELLANTIS AUTO SAS

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)