EP4277802A1 - Motor vehicle comprising an adas coupled to an augmented-reality display system of said vehicle - Google Patents

Motor vehicle comprising an adas coupled to an augmented-reality display system of said vehicle

Info

Publication number
EP4277802A1
EP4277802A1 EP21830462.4A EP21830462A EP4277802A1 EP 4277802 A1 EP4277802 A1 EP 4277802A1 EP 21830462 A EP21830462 A EP 21830462A EP 4277802 A1 EP4277802 A1 EP 4277802A1
Authority
EP
European Patent Office
Prior art keywords
vehicle
augmented reality
prohibited
display system
sign
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP21830462.4A
Other languages
German (de)
French (fr)
Inventor
Vincent LAINE
David Vrinat
Anthony Guillaud
Michael DUQUEROY
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stellantis Auto SAS
Original Assignee
PSA Automobiles SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PSA Automobiles SA filed Critical PSA Automobiles SA
Publication of EP4277802A1 publication Critical patent/EP4277802A1/en
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/166—Navigation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/178—Warnings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/179—Distances to obstacles or vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/40—Hardware adaptations for dashboards or instruments
    • B60K2360/48—Sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/18—Steering angle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/20—Direction indicator values

Definitions

  • Motor vehicle comprising an ADAS system coupled to an augmented reality display system of said vehicle.
  • the present invention generally relates to the driving assistance systems also designated by ADAS (English acronym for Advanced Driver-Assistance System) fitted to certain motor vehicles.
  • ADAS American acronym for Advanced Driver-Assistance System
  • It relates more particularly to a motor vehicle comprising an ADAS system coupled to an augmented reality display system of said vehicle.
  • ADAS systems are generally associated with systems for displaying visual information on a display medium present in the field of vision of the driver of the vehicle and in particular, on the windshield of the vehicle. This information is intended for the driver of the vehicle to help him guide the vehicle in its road environment.
  • This information is complementary to the basic information presented in particular on the dashboard or on a screen present in the cockpit of the vehicle, in order to improve safety, comfort or navigation.
  • augmented reality can present on the windshield which serves as a support or screen for the information, safety information such as a reminder of the signs on the road followed, better visualization of the road at night, materialization at the floor of the routes to follow, ...
  • VTH an acronym for "Head Up Display” or HUD in Anglo-Saxon terminology for “Head Up Display”
  • HUD Head Up Display
  • New generations of so-called “long distance” HUDs make it possible to project images further on the road scene extending to the front of the vehicle (up to 10 m or even more) in order to "superimpose”” virtual" graphic elements on the "real" road scene and to offer an augmented reality service.
  • the interest of augmented reality is to be able to superimpose on the road scene taking place in front of the vehicle, floating virtual arrows, a track on the ground or a heading/compass, or any other guidance information indicating the road to follow and/or pointing the direction of the road to follow.
  • an augmented reality display system generally cooperates with an on-board ADAS system which uses maps, in particular high definition, and data delivered by sensors on board the vehicle, in particular a multifunction camera which is positioned against the windscreen of the vehicle, at the level of the interior mirror.
  • Vehicles equipped with a multifunction camera generally include means of recognizing road signs.
  • the images captured by the multifunction camera are processed by software means specialized in the recognition of traffic signs, and which then make the link between the sign that the vehicle has just passed and those present in its database.
  • a vehicle display system coupled to the ADAS system then displays the panel thus recognized on the vehicle's instrument panel.
  • Recognized signs include speed limit signs, no-entry signs and signs prohibiting turning left or right; these signs indicating to the driver of the vehicle which lanes are prohibited to traffic.
  • document US10336190A discloses a method for displaying signs recognized by a sign-reading device, in particular a no-entry sign or a stop sign.
  • the present invention proposes an augmented reality display solution of prohibited traffic lane signaling information for the vehicle which is adaptive and intuitive for the driver of the vehicle.
  • the present invention has as its first object, a motor vehicle comprising a driving assistance system, and an augmented reality display system coupled to the driving assistance system, said display system displaying in an augmented reality window in the field of vision of the driver of the vehicle, a determined graphic, representative of real information indicating a prohibited lane for the vehicle; the format and position of the graphics in the window being adapted according to the distance between the vehicle and the actual prohibited lane signaling information.
  • the driving assistance system includes at least one multifunction camera and high-definition mapping; the driving assistance system receiving information delivered by an activation sensor of a direction change indicator of the vehicle and by a sensor for measuring the angle of rotation of the steering wheel of the vehicle; said sensors being embedded in the vehicle.
  • the actual prohibited lane signaling information is a no-entry sign and/or a sign prohibiting turning to the right or to the left.
  • the second object of the present invention is a method for activating the augmented reality display system, implemented by the vehicle as described above, characterized in that it consists of:
  • the augmented reality display system displays in the augmented reality window, the graphics representative of all the prohibited routes present identified; - in a second stage, from a distance of 30 m up to the junction of the prohibited lane with the vehicle's traffic lane then, if an activation of the direction change indicator is detected by the driving assistance, the augmented reality display system displays a graphic superimposed on the junction otherwise, in the absence of activation of the turn indicator to the left or to the right, and if an entry into a prohibited lane is identified or detected by the driver assistance system, from a recognition of the actual signaling information of the prohibited lane and/or from a map coupled with a rotation angle measurement of the steering wheel of the vehicle, then the augmented reality display system displays
  • the real prohibited lane signaling information is a no-entry sign and the augmented reality display system displays the graphics of the no-entry sign in the open field, then the graphic representation of the no-entry sign is displayed in perspective in the window, so that seen from the driver, the no-entry sign does not completely obscure the driver's field of vision.
  • the present invention has as its third and final object, a computer program product comprising instructions for the execution of the steps of the method as described above.
  • Augmented reality makes it possible to anticipate a driving action on the part of the driver, in particular to avoid entering areas prohibited to traffic, in particular one-way lanes which are numerous in urban areas.
  • Augmented reality simplifies the driver's mental workload and decision-making when choosing which lane or which lane to avoid.
  • FIG. 1 illustrates a block diagram of a vehicle according to the invention
  • FIG. 2 illustrates a flowchart for activating the vehicle's augmented reality display system according to the invention.
  • window is meant the area of the windshield on which the graphic information delivered by an augmented reality system on board the vehicle is displayed.
  • the window is located in the driver's field of vision.
  • the dimensions of the window available in which it is possible to actually superimpose graphic elements on real objects of the road scene are not infinite: they are constrained in particular by the size of the optical system which is integrated in the dashboard and which is used to generate the window.
  • a window which is generally rectangular in shape, are therefore limited.
  • a window is characterized by a determined maximum width and depth of field in augmented reality, also designated by “Field of View” in English terminology.
  • the maximum coverage in depth of field of an augmented reality window is between 20 and 80 m in front of the vehicle; the window is centered on the vehicle's traffic lane which passes in front of the vehicle and which the driver sees.
  • This coverage also considers the side lanes adjacent to the vehicle's traffic lane but with a more limited depth of field, typically between 40 and 80 m.
  • the rectangle is superimposed on the traffic lanes which take place in front of the vehicle and which, due to the perspective effect, defines the portion of the traffic lane of the vehicle as a trapezoid rectangle inscribed in the window while being centered on the window; the lower edge of the rectangle therefore of the window, corresponding to the large side of the trapezium.
  • This object can be, for example, a warning information sign, in particular a sign prohibiting the use of the adjacent lane or another lane prohibited for traffic at an intersection.
  • FIG. 1 schematically illustrates in the form of a block diagram, a motor vehicle 100 according to the invention comprising an ADAS driving assistance system 10, and an augmented reality display system 20 coupled to the ADAS system
  • the display system 20 displays in an augmented reality window 30 on the windshield 40 of the vehicle 100 in the field of vision of the driver 50 of the vehicle 100, an alert information graphic 60 determined and evolving according to the distance between the vehicle 100 and real signaling information of a lane prohibited to traffic for the vehicle 100; the format and position of the graphics 60 in the window 30 being adapted according to the distance between the vehicle 100 and the actual signaling information, not shown.
  • the ADAS system 10 comprises at least one multifunction camera 11 and a high-definition map 12. It also receives information delivered by an activation sensor of the direction change indicators 70 of the vehicle and by a sensor 80 for measuring the vehicle steering wheel rotation angle 100; said sensors 70 and 80 being on board the vehicle 100.
  • the ADAS system 10 further comprises means for recognizing panels 13 of the vehicle from the images captured by the multifunction camera
  • the present invention considers three situations in which the vehicle 100 according to the invention can be confronted during a journey, preferably but not exclusively, in an urban area, and which are compatible with the performance of an augmented reality display system (Window available in augmented reality).
  • Window available in augmented reality augmented reality
  • the ADAS system 10 of the vehicle 100 identifies the lanes prohibited to the vehicle 100, at an average distance of between 80 and 100 m in front of the vehicle 100.
  • the augmented reality display system 20 of the vehicle 100 displays in the window 30, in a systematic way, a simple and uncluttered graphics 60 locating the forbidden ways (in real superimposition of the forbidden way).
  • the ADAS system 10 identifies the prohibited lanes at a short distance of between 20 and 30 m in front of the vehicle 100.
  • the augmented reality display system 20 of the vehicle 100 displays in the window 30 a graphic design adapted to the situation, for example, a graphic 60 representing a red cross on one of the side edges of the window 30 or a sign prohibiting turning right or left if the turn indicator (flashing) 70 is activated in the direction of the forbidden lane.
  • the ADAS system 10 identifies that the vehicle 100 is already in the prohibited lane or about to be there.
  • the augmented reality display system 20 of the vehicle 100 displays a graphic 60 in the open field in the window 30, facing the driver 50.
  • the graphic representation (graphics) 60 is adapted and scalable from a simple lateralized indication of a prohibited lane to a copy of the "no entry" sign in large size facing the driver 50.
  • the graphic representation of the large no-entry sign is displayed in perspective in the window 30, so that seen from the driver, the latter does not completely mask the field of vision of the driver 50.
  • a first step, 200 as soon as at least one no-entry sign has been detected or identified by the map 12 or a "no left or right turn" sign has been recognized by the recognition means of panels 13 of the vehicle 100, has a distance between the prohibited lane and the vehicle of between 100 m and 50 m, then the augmented reality display system 20 displays in the augmented reality window 30, the graphics 60 representative of all the forbidden ways present in the window.
  • a second step, 201 from a distance of 30 m up to the junction of the prohibited lane with the vehicle traffic lane (the prohibited lane is not visible in the augmented reality window) then , if an activation of the direction change indicator (flashing) 70 is detected by the ADAS system 10 then the augmented reality display system 20 displays a determined graphic 60 superimposed with the junction.
  • the augmented reality display system 20 displays the representative graphics 60 of a no-entry sign in the open field in the driver's field of vision 50.
  • the display activation method implements a computer generated program with instructions for performing the steps of the method described above.
  • This program is implemented by one or more processors of the vehicle's ADAS system (ADAS supervisor) in conjunction with one or more processors of the IVI (In-Vehicle Infotainment) system, which is the vehicle's central unit dedicated to data processing and communication with the driver.
  • ADAS supervisor ADAS supervisor
  • IVI Intelligent Vehicle Infotainment
  • Such a program can be updated with the possibility of adding functions by using an update by OTA "Over The Air” type waves.

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Instrument Panels (AREA)
  • Navigation (AREA)

Abstract

Motor vehicle (100) comprising a driver assistance system (10) and an augmented-reality display system (20) coupled to the driver assistance system (10), said display system (20) displaying, in an augmented-reality window (30) in the field of vision of the driver (50) of the vehicle (100), graphics (60) representative of real information signalling a determined lane prohibited to the vehicle (100), the format and the position of the graphics (60) in the window (30) being modified depending on the distance between the vehicle (100) and the real information signalling a prohibited lane.

Description

DESCRIPTION DESCRIPTION
Titre de l’invention : Véhicule automobile comportant un système ADAS couplés à un système d’affichage en réalité augmentée dudit véhicule. Title of the invention: Motor vehicle comprising an ADAS system coupled to an augmented reality display system of said vehicle.
La présente invention revendique la priorité de la demande française 2100230 déposée le 12.01.2021 dont le contenu (texte, dessins et revendications) est ici incorporé par référence The present invention claims the priority of French application 2100230 filed on January 12, 2021, the content of which (text, drawings and claims) is incorporated herein by reference.
La présente invention concerne de manière générale les systèmes d’aide à la conduite également désignés par ADAS (acronyme anglosaxon pour Advanced Driver-Assistance System) équipant certains véhicules automobiles. The present invention generally relates to the driving assistance systems also designated by ADAS (English acronym for Advanced Driver-Assistance System) fitted to certain motor vehicles.
Elle concerne plus particulièrement un véhicule automobile comportant un système ADAS couplés à un système d’affichage en réalité augmentée dudit véhicule.It relates more particularly to a motor vehicle comprising an ADAS system coupled to an augmented reality display system of said vehicle.
Les systèmes ADAS sont généralement associés à des systèmes d’affichage d’informations visuelles sur un support d’affichage présent dans le champ de vision du conducteur du véhicule et notamment, sur le pare-brise du véhicule. Ces informations sont destinées au conducteur du véhicule pour l’aider à guider le véhicule dans son environnement routier. ADAS systems are generally associated with systems for displaying visual information on a display medium present in the field of vision of the driver of the vehicle and in particular, on the windshield of the vehicle. This information is intended for the driver of the vehicle to help him guide the vehicle in its road environment.
On parle de réalité augmentée quand les informations délivrées par les systèmes d’affichage se superposent à la vision réelle du conducteur concernant la conduite du véhicule et son environnement. We speak of augmented reality when the information delivered by the display systems is superimposed on the real vision of the driver concerning the driving of the vehicle and its environment.
Ces informations sont complémentaires des informations de base présentées notamment sur le tableau de bord ou sur un écran présent dans le cockpit du véhicule, afin d'améliorer la sécurité, le confort ou la navigation. This information is complementary to the basic information presented in particular on the dashboard or on a screen present in the cockpit of the vehicle, in order to improve safety, comfort or navigation.
En particulier, la réalité augmentée peut présenter sur le pare-brise qui sert de support ou écran pour les informations, des informations de sécurité comme un rappel de la signalisation sur la route suivie, une meilleure visualisation de la route de nuit, une matérialisation au sol des itinéraires à suivre, ... In particular, augmented reality can present on the windshield which serves as a support or screen for the information, safety information such as a reminder of the signs on the road followed, better visualization of the road at night, materialization at the floor of the routes to follow, ...
La plupart des systèmes d’affichage courants, connus sous l’appellation VTH, acronyme pour « Vision Tête Haute » ou encore HUD en terminologie anglo- saxonne pour « Head Up Display », ne permettent pas un affichage en réalité augmentée mais permettent simplement de donner des informations de conduite au conducteur sans que ce dernier ne détourne son attention de la route. De nouvelles generations de VTH dites « longue distance » permettent de projeter des images plus loin sur la scène routière s’étendant à l’avant du véhicule (jusqu’à 10 m voire plus) afin de « superposer » des éléments graphiques « virtuels » sur la scène routière « réelle » et d’offrir une prestation de réalité augmentée. Most current display systems, known as VTH, an acronym for "Head Up Display" or HUD in Anglo-Saxon terminology for "Head Up Display", do not allow an augmented reality display but simply allow provide driving information to the driver without the latter diverting his attention from the road. New generations of so-called "long distance" HUDs make it possible to project images further on the road scene extending to the front of the vehicle (up to 10 m or even more) in order to "superimpose""virtual" graphic elements on the "real" road scene and to offer an augmented reality service.
L’intérêt de la réalité augmentée est de pouvoir superposer à la scène routière se déroulant devant le véhicule, des flèches virtuelles flottantes, un tracé au sol ou un cap/boussole, ou toute autre information de guidage indiquant la route à suivre et/ou pointant la direction de la route à suivre. The interest of augmented reality is to be able to superimpose on the road scene taking place in front of the vehicle, floating virtual arrows, a track on the ground or a heading/compass, or any other guidance information indicating the road to follow and/or pointing the direction of the road to follow.
Pour pouvoir guider le véhicule dans son environnement routier, un système d’affichage en réalité augmentée coopère généralement avec un système ADAS embarqué qui exploite des cartographies notamment haute définition, et des données délivrées par des capteurs embarqués dans le véhicule, notamment une caméra multifonction qui est positionnée contre le pare-brise du véhicule, au niveau du rétroviseur intérieur. To be able to guide the vehicle in its road environment, an augmented reality display system generally cooperates with an on-board ADAS system which uses maps, in particular high definition, and data delivered by sensors on board the vehicle, in particular a multifunction camera which is positioned against the windscreen of the vehicle, at the level of the interior mirror.
Les véhicules équipés d’une caméra multifonction comportent généralement des moyens de reconnaissance de panneaux de signalisation routière. Vehicles equipped with a multifunction camera generally include means of recognizing road signs.
Les images captées par la caméra multifonction sont traitées par des moyens logiciels spécialisés dans la reconnaissance des panneaux de signalisation, et qui font alors le lien entre le panneau que le véhicule vient de croiser et ceux présents dans sa base de données. Un système d’affichage du véhicule couplé au système ADAS, affiche alors le panneau ainsi reconnu sur le tableau de bord (combiné) du véhicule. The images captured by the multifunction camera are processed by software means specialized in the recognition of traffic signs, and which then make the link between the sign that the vehicle has just passed and those present in its database. A vehicle display system coupled to the ADAS system then displays the panel thus recognized on the vehicle's instrument panel.
Les panneaux reconnus sont notamment des panneaux de limitation de vitesse, de sens interdit et les panneaux interdisant de tourner à gauche ou à droite ; ces panneaux indiquant au conducteur du véhicule quelles sont les voies interdites à la circulation. Recognized signs include speed limit signs, no-entry signs and signs prohibiting turning left or right; these signs indicating to the driver of the vehicle which lanes are prohibited to traffic.
On connaît notamment du document US10336190A, un procédé d’affichage de panneaux reconnus par un dispositif de lecture de panneaux, notamment un panneau de sens interdit ou un panneau stop. In particular, document US10336190A discloses a method for displaying signs recognized by a sign-reading device, in particular a no-entry sign or a stop sign.
Toutefois, même si ce document évoque la possibilité d’afficher ces panneaux sur un HUD, il divulgue principalement un affichage des panneaux sur le combiné du véhicule et donc avec une taille d’affichage réduite et limité à la taille du combiné qui supporte par ailleurs d’autres informations avec un risque de surcharge d’informations pour le conducteur. D’autre part, le format de l’affichage des panneaux est fige en étant conditionne par la taille du combine et des autres informations aptes à être affichées sur le combiné. However, even if this document mentions the possibility of displaying these panels on a HUD, it mainly discloses a display of the panels on the instrument panel of the vehicle and therefore with a reduced display size and limited to the size of the instrument panel which moreover supports other information with a risk of information overload for the driver. On the other hand, the format of the display of panels is fixed by being conditioned by the size of the handset and other information able to be displayed on the handset.
La présente invention propose une solution d’affichage en réalité augmentée d’une information de signalisation de voie de circulation interdite pour le véhicule qui est adaptative et intuitive pour le conducteur du véhicule. The present invention proposes an augmented reality display solution of prohibited traffic lane signaling information for the vehicle which is adaptive and intuitive for the driver of the vehicle.
A cet effet, la présente invention a pour premier objet, un véhicule automobile comportant un système d’aide à la conduite, et un système d’affichage en réalité augmentée couplé au système d’aide à la conduite, ledit système d’affichage affichant dans une fenêtre de réalité augmentée dans le champ de vision du conducteur du véhicule un graphisme déterminé, représentatif d’une information réelle de signalisation de voie interdite pour le véhicule ; le format et la position du graphisme dans la fenêtre étant adaptés en fonction de la distance entre le véhicule et l’information réelle de signalisation de voie interdite. To this end, the present invention has as its first object, a motor vehicle comprising a driving assistance system, and an augmented reality display system coupled to the driving assistance system, said display system displaying in an augmented reality window in the field of vision of the driver of the vehicle, a determined graphic, representative of real information indicating a prohibited lane for the vehicle; the format and position of the graphics in the window being adapted according to the distance between the vehicle and the actual prohibited lane signaling information.
Selon une caractéristique, le système d’aide à la conduite comporte au moins une caméra multifonction et une cartographie haute définition ; le système d’aide à la conduite recevant des informations délivrées par un capteur d’activation d’un indicateur de changement de direction du véhicule et par un capteur de mesure de l’angle de rotation du volant de direction du véhicule ; lesdits capteurs étant embarqués dans le véhicule. According to one characteristic, the driving assistance system includes at least one multifunction camera and high-definition mapping; the driving assistance system receiving information delivered by an activation sensor of a direction change indicator of the vehicle and by a sensor for measuring the angle of rotation of the steering wheel of the vehicle; said sensors being embedded in the vehicle.
Selon une autre caractéristique, l’information réelle de signalisation de voie interdite est un panneau de sens interdit et/ou un panneau d’interdiction de tourner à droite ou à gauche. According to another characteristic, the actual prohibited lane signaling information is a no-entry sign and/or a sign prohibiting turning to the right or to the left.
La présente invention a pour deuxième objet, un procédé d’activation du système d’affichage en réalité augmentée, mis en œuvre par le véhicule tel que décrit ci- dessus, caractérisé en ce qu’il consiste : The second object of the present invention is a method for activating the augmented reality display system, implemented by the vehicle as described above, characterized in that it consists of:
- dans une première étape, dès qu’au moins une information réelle de signalisation de voie interdite a été détectée ou identifiée par une cartographie ou qu’un panneau d’interdiction de tourner à gauche ou à droite a été reconnu par les moyens de reconnaissance de panneaux du véhicule dans la distance entre le véhicule et une information réelle de signalisation de voie interdite comprise entre 100 m et 50 m, alors le système d’affichage en réalité augmentée affiche dans la fenêtre de réalité augmentée, le graphisme représentatif de toutes les voies interdites présentes identifiées ; - dans une deuxieme etape, a partir d une distance de 30 m jusqu a l’embranchement de la voie interdite avec la voie de circulation du véhicule alors, si une activation de l’indicateur de changement de direction est détectée par le système d’aide à la conduite, le système d’affichage en réalité augmentée affiche un graphisme en superposition avec l’embranchement sinon, en l’absence d’activation de l’indicateur de changement de direction à gauche ou à droite, et si une entrée dans une voie interdite est identifiée ou détectée par le système d’aide à la conduite, à partir d’une reconnaissance de l’information de signalisation réelle de la voie interdite et/ou d’une cartographie couplée à une mesure d’angle de rotation du volant du véhicule, alors le système d’affichage en réalité augmentée affiche le graphisme représentatif de l’information réelle de signalisation de voie interdite en plein champ.- in a first step, as soon as at least one real piece of prohibited lane signaling information has been detected or identified by a map or a sign prohibiting turning left or right has been recognized by the recognition means of vehicle panels in the distance between the vehicle and real prohibited lane signaling information of between 100 m and 50 m, then the augmented reality display system displays in the augmented reality window, the graphics representative of all the prohibited routes present identified; - in a second stage, from a distance of 30 m up to the junction of the prohibited lane with the vehicle's traffic lane then, if an activation of the direction change indicator is detected by the driving assistance, the augmented reality display system displays a graphic superimposed on the junction otherwise, in the absence of activation of the turn indicator to the left or to the right, and if an entry into a prohibited lane is identified or detected by the driver assistance system, from a recognition of the actual signaling information of the prohibited lane and/or from a map coupled with a rotation angle measurement of the steering wheel of the vehicle, then the augmented reality display system displays the graphics representative of the real information of the prohibited lane signaling in the open field.
Selon une caractéristique du procédé selon l’invention, lorsque information réelle de signalisation de voie interdite est un panneau de sens interdit et que le système d’affichage en réalité augmentée affiche le graphisme du panneau de sens interdit en plein champ, alors la représentation graphique du panneau de sens interdit est affichée en perspective dans la fenêtre, pour que vu du conducteur, le panneau de sens interdit ne masque pas complètement le champ de vision du conducteur.According to a characteristic of the method according to the invention, when the real prohibited lane signaling information is a no-entry sign and the augmented reality display system displays the graphics of the no-entry sign in the open field, then the graphic representation of the no-entry sign is displayed in perspective in the window, so that seen from the driver, the no-entry sign does not completely obscure the driver's field of vision.
La présente invention a pour troisième et dernier objet, un programme produit d’ordinateur comportant des instructions pour l’exécution des étapes du procédé tel que décrit ci-dessus. The present invention has as its third and final object, a computer program product comprising instructions for the execution of the steps of the method as described above.
Les avantages apportés par la présente invention sont multiples. The advantages provided by the present invention are multiple.
La réalité augmentée permet d’anticiper une action de conduite de la part du conducteur notamment pour éviter de s’engager dans des zones interdites à la circulation, notamment des voies en sens interdit qui sont nombreuses en milieu urbain. Augmented reality makes it possible to anticipate a driving action on the part of the driver, in particular to avoid entering areas prohibited to traffic, in particular one-way lanes which are numerous in urban areas.
La réalité augmentée simplifie la charge mentale et la prise de décision du conducteur au moment de choisir telle ou telle voie et d’éviter telle ou telle voie.Augmented reality simplifies the driver's mental workload and decision-making when choosing which lane or which lane to avoid.
Les avantages vont vers une simplification de la prise d’information et de décision de la part du conducteur, et ainsi vers une simplification dans la maitrise de son véhicule dans un moment parfois complexe où se trouve réunis dans un même espace, un grand nombre de panneaux de signalisation routière. Les informations sont affichées en réalité augmentée de maniéré peu distractive et au juste nécessaire. The advantages go towards a simplification of the taking of information and decision on the part of the driver, and thus towards a simplification in the control of his vehicle in a sometimes complex moment when there are gathered in the same space, a large number of road signs. Information are displayed in augmented reality in a non-distracting way and just as necessary.
D’autres avantages et caractéristiques pourront ressortir plus clairement de la description qui va suivre, donnée uniquement à titre d’exemple non limitatif et faite en se référant aux dessins dans lesquels : Other advantages and characteristics may emerge more clearly from the description which follows, given solely by way of non-limiting example and made with reference to the drawings in which:
[Fig. 1] illustre un schéma-bloc d’un véhicule selon l’invention ; et [Fig. 1] illustrates a block diagram of a vehicle according to the invention; and
[Fig. 2] illustre un logigramme d’activation du système d’affichage en réalité augmentée du véhicule selon l’invention. [Fig. 2] illustrates a flowchart for activating the vehicle's augmented reality display system according to the invention.
Avant d’entamer la description détaillée d’un mode de réalisation de l’invention, il convient de rappeler certaines limites dimensionnelles des fenêtres de réalité augmentée générées par les systèmes de réalité augmentée actuels. Before starting the detailed description of an embodiment of the invention, it is appropriate to recall certain dimensional limits of the augmented reality windows generated by current augmented reality systems.
On entend par fenêtre, la zone du pare-brise sur laquelle sont affichées les informations graphiques délivrées par un système de réalité augmenté embarqué dans le véhicule. La fenêtre est située dans le champ de vision du conducteur.By window is meant the area of the windshield on which the graphic information delivered by an augmented reality system on board the vehicle is displayed. The window is located in the driver's field of vision.
Les dimensions de la fenêtre disponible dans laquelle il est possible de réellement superposer des éléments graphiques sur des objets réels de la scène routière, ne sont pas infinies : elles sont contraintes notamment par la taille du système optique qui est intégré dans la planche de bord et qui permet de générer la fenêtre. The dimensions of the window available in which it is possible to actually superimpose graphic elements on real objects of the road scene, are not infinite: they are constrained in particular by the size of the optical system which is integrated in the dashboard and which is used to generate the window.
Les dimensions de la fenêtre qui est de forme générale rectangulaire, sont donc limitées. Une fenêtre est caractérisée par une largeur et une profondeur de champ en réalité augmentée maximales déterminées, désignée également par « Field of View » en terminologie anglo-saxonne. The dimensions of the window, which is generally rectangular in shape, are therefore limited. A window is characterized by a determined maximum width and depth of field in augmented reality, also designated by “Field of View” in English terminology.
Aujourd’hui, typiquement, la couverture maximale en profondeur de champ d’une fenêtre en réalité augmentée est comprise entre 20 et 80 m à l’avant du véhicule ; la fenêtre est centrée sur la voie de circulation du véhicule qui se déroule devant le véhicule et que voit le conducteur. Today, typically, the maximum coverage in depth of field of an augmented reality window is between 20 and 80 m in front of the vehicle; the window is centered on the vehicle's traffic lane which passes in front of the vehicle and which the driver sees.
Cette couverture considère également les voies latérales adjacentes à la voie de circulation du véhicule mais avec une profondeur de champ plus limitée, typiquement entre 40 et 80 m. This coverage also considers the side lanes adjacent to the vehicle's traffic lane but with a more limited depth of field, typically between 40 and 80 m.
Si on considère la fenêtre comme un rectangle, le rectangle se superpose sur les voies de circulation qui se déroulent à l’avant du véhicule et qui du fait de l’effet de perspective, définit la portion de voie de circulation du véhicule comme un trapèze rectangle inscrit dans la fenêtre en étant centré sur la fenêtre ; le bord inférieur du rectangle donc de la fenêtre, correspondant au grand côté du trapèze. Les deux portions restantes du rectangle, de part et d autre du trapeze, définissent respectivement deux triangles latéraux dont la profondeur de champ est comprise entre 40 et 80 m. If the window is considered as a rectangle, the rectangle is superimposed on the traffic lanes which take place in front of the vehicle and which, due to the perspective effect, defines the portion of the traffic lane of the vehicle as a trapezoid rectangle inscribed in the window while being centered on the window; the lower edge of the rectangle therefore of the window, corresponding to the large side of the trapezium. The two remaining portions of the rectangle, on either side of the trapezium, respectively define two lateral triangles whose depth of field is between 40 and 80 m.
Donc, si un objet est sur la voie adjacente de droite ou de gauche par rapport à la voie de circulation du véhicule, seulement à 10 m à l’avant du véhicule, on ne peut pas le traiter en réalité augmentée (car en dehors de la fenêtre). Par contre, on peut indiquer de manière « spatial isée/latéral isée » (à droite ou à gauche de la voie de circulation du véhicule) la position de cet objet. So, if an object is on the adjacent right or left lane in relation to the vehicle's traffic lane, only 10 m in front of the vehicle, it cannot be processed in augmented reality (because apart from the window). On the other hand, it is possible to indicate in a “spatially ized/lateralized” manner (to the right or to the left of the vehicle's lane) the position of this object.
Cet objet peut être par exemple, un panneau de signalisation d’une information d’alerte notamment un panneau d’interdiction d’emprunter la voie adjacente ou une autre voie interdite à la circulation à une intersection. This object can be, for example, a warning information sign, in particular a sign prohibiting the use of the adjacent lane or another lane prohibited for traffic at an intersection.
Par simplification, on confondra volontairement la profondeur de champ avec la distance entre le véhicule et la position réelle du panneau ou plus généralement, de l’information de signalisation réelle. For simplicity, we will voluntarily confuse the depth of field with the distance between the vehicle and the real position of the panel or more generally, real signaling information.
La figure 1 illustre schématiquement sous forme d’un schéma-bloc, un véhicule automobile 100 selon l’invention comportant un système d’aide à la conduite ADAS 10, et un système d’affichage en réalité augmentée 20 couplé au système ADASFIG. 1 schematically illustrates in the form of a block diagram, a motor vehicle 100 according to the invention comprising an ADAS driving assistance system 10, and an augmented reality display system 20 coupled to the ADAS system
10. 10.
Le système d’affichage 20 affiche dans une fenêtre de réalité augmentée 30 sur le pare-brise 40 du véhicule 100 dans le champ de vision du conducteur 50 du véhicule 100, un graphisme d’information d’alerte 60 déterminé et évolutif en fonction de la distance entre le véhicule 100 et une information réelle de signalisation d’une voie interdite à la circulation pour le véhicule 100 ; le format et la position du graphisme 60 dans la fenêtre 30 étant adaptés en fonction de la distance entre le véhicule 100 et l’information réelle de signalisation, non représentée. The display system 20 displays in an augmented reality window 30 on the windshield 40 of the vehicle 100 in the field of vision of the driver 50 of the vehicle 100, an alert information graphic 60 determined and evolving according to the distance between the vehicle 100 and real signaling information of a lane prohibited to traffic for the vehicle 100; the format and position of the graphics 60 in the window 30 being adapted according to the distance between the vehicle 100 and the actual signaling information, not shown.
Le système ADAS 10 comporte au moins une caméra multifonction 11 et une cartographie haute définition 12. Il reçoit en outre des informations délivrées par un capteur d’activation des indicateurs de changement de direction 70 du véhicule et par un capteur 80 de mesure de l’angle de rotation du volant de direction du véhicule 100 ; lesdits capteurs 70 et 80 étant embarqués dans le véhicule 100.The ADAS system 10 comprises at least one multifunction camera 11 and a high-definition map 12. It also receives information delivered by an activation sensor of the direction change indicators 70 of the vehicle and by a sensor 80 for measuring the vehicle steering wheel rotation angle 100; said sensors 70 and 80 being on board the vehicle 100.
Le système ADAS 10 comporte en outre des moyens de reconnaissance de panneaux 13 du véhicule à partir des images captées par la caméra multifonctionThe ADAS system 10 further comprises means for recognizing panels 13 of the vehicle from the images captured by the multifunction camera
11. La presente invention considéré trois situations dans lequel le véhiculé 100 selon l’invention peut être confronté au cours d’un trajet, préférentiellement mais pas exclusivement, en zone urbaine, et qui sont compatibles des performances d’un système d’affichage en réalité augmentée (Fenêtre disponible en réalité augmentée). 11. The present invention considers three situations in which the vehicle 100 according to the invention can be confronted during a journey, preferably but not exclusively, in an urban area, and which are compatible with the performance of an augmented reality display system (Window available in augmented reality).
Dans une première situation, le système ADAS 10 du véhicule 100 identifie les voies interdites au véhicule 100, à une distance moyenne comprise entre 80 et 100 m devant le véhicule 100. Le système d’affichage en réalité augmentée 20 du véhicule 100 affiche dans la fenêtre 30, de manière systématique, un graphisme simple et épuré 60 localisant les voies interdites (en superposition réelle de la voie interdite). In a first situation, the ADAS system 10 of the vehicle 100 identifies the lanes prohibited to the vehicle 100, at an average distance of between 80 and 100 m in front of the vehicle 100. The augmented reality display system 20 of the vehicle 100 displays in the window 30, in a systematic way, a simple and uncluttered graphics 60 locating the forbidden ways (in real superimposition of the forbidden way).
Dans une deuxième situation, le système ADAS 10 identifie les voies interdites à une distance faible comprise entre 20 et 30 m devant le véhicule 100. Le système d’affichage en réalité augmentée 20 du véhicule 100 affiche dans la fenêtre 30 un graphisme adapté à la situation, par exemple, un graphisme 60 représentant une croix rouge sur l’un des bords latéraux de la fenêtre 30 ou un panneau d’interdiction de tourner à droite ou à gauche si l’indicateur de changement de direction (clignotant) 70 est activé en direction de la voie interdite. In a second situation, the ADAS system 10 identifies the prohibited lanes at a short distance of between 20 and 30 m in front of the vehicle 100. The augmented reality display system 20 of the vehicle 100 displays in the window 30 a graphic design adapted to the situation, for example, a graphic 60 representing a red cross on one of the side edges of the window 30 or a sign prohibiting turning right or left if the turn indicator (flashing) 70 is activated in the direction of the forbidden lane.
Dans une troisième situation, le système ADAS 10 identifie que le véhicule 100 est déjà dans la voie interdite ou en passe d’y être. Le système d’affichage en réalité augmentée 20 du véhicule 100 affiche un graphisme 60 en plein champ dans la fenêtre 30, face au conducteur 50. In a third situation, the ADAS system 10 identifies that the vehicle 100 is already in the prohibited lane or about to be there. The augmented reality display system 20 of the vehicle 100 displays a graphic 60 in the open field in the window 30, facing the driver 50.
La représentation graphique (graphisme) 60 est adaptée et évolutive d’une simple indication latéralisée de voie interdite jusqu’à une recopie du panneau « sens interdit » en grande taille face au conducteur 50. The graphic representation (graphics) 60 is adapted and scalable from a simple lateralized indication of a prohibited lane to a copy of the "no entry" sign in large size facing the driver 50.
Avantageusement, la représentation graphique du panneau de sens interdit de grande taille est affichée en perspective dans la fenêtre 30, pour que vu du conducteur, ce dernier ne masque pas complètement le champ de vision du conducteur 50. Advantageously, the graphic representation of the large no-entry sign is displayed in perspective in the window 30, so that seen from the driver, the latter does not completely mask the field of vision of the driver 50.
Un logigramme d’activation du système d’affichage selon l’invention est décrit ci- après en référence à la figure 2. An activation flowchart of the display system according to the invention is described below with reference to Figure 2.
Dans une première étape, 200, dès qu’au moins un panneau de sens interdit a été détecté ou identifié par la cartographie 12 ou qu’un panneau « interdiction de tourner à gauche ou à droite» a été reconnu par les moyens de reconnaissance de panneaux 13 du véhiculé 100, a une distance entre la voie interdite et le véhiculé comprise entre 100 m et 50 m, alors le système d’affichage en réalité augmentée 20 affiche dans la fenêtre de réalité augmentée 30, le graphisme 60 représentatif de toutes les voies interdites présentes dans la fenêtre. In a first step, 200, as soon as at least one no-entry sign has been detected or identified by the map 12 or a "no left or right turn" sign has been recognized by the recognition means of panels 13 of the vehicle 100, has a distance between the prohibited lane and the vehicle of between 100 m and 50 m, then the augmented reality display system 20 displays in the augmented reality window 30, the graphics 60 representative of all the forbidden ways present in the window.
Dans une deuxième étape, 201 , à partir d’une distance de 30 m jusqu’à l’embranchement de la voie interdite avec la voie de circulation du véhicule (la voie interdite n’est pas visible dans la fenêtre de réalité augmentée) alors, si une activation de l’indicateur de changement de direction (clignotant) 70 est détectée par le système ADAS 10 alors le système d’affichage en réalité augmentée 20 affiche un graphisme déterminé 60 en superposition avec l’embranchement. In a second step, 201 , from a distance of 30 m up to the junction of the prohibited lane with the vehicle traffic lane (the prohibited lane is not visible in the augmented reality window) then , if an activation of the direction change indicator (flashing) 70 is detected by the ADAS system 10 then the augmented reality display system 20 displays a determined graphic 60 superimposed with the junction.
Sinon, en l’absence d’activation de l’indicateur de changement de direction 70 à gauche ou à droite, et si une entrée dans une voie interdite est identifiée ou détectée par le système ADAS 10, à partir des moyens de reconnaissance du panneau « sens interdit » 13 couplés à la caméra 11 et/ou d’une cartographie 12 couplée à une mesure d’angle de rotation du volant délivrée par un capteur 80, alors le système d’affichage en réalité augmentée 20 affiche le graphisme représentatif 60 d’un panneau de sens interdit en plein champ dans le champ de vision du conducteur 50. Otherwise, in the absence of activation of the direction change indicator 70 to the left or to the right, and if an entry into a prohibited lane is identified or detected by the ADAS system 10, from the panel recognition means "no entry" 13 coupled to the camera 11 and/or a map 12 coupled to a steering wheel rotation angle measurement delivered by a sensor 80, then the augmented reality display system 20 displays the representative graphics 60 of a no-entry sign in the open field in the driver's field of vision 50.
Le procédé d’activation de l’affichage implémente un programme produit d’ordinateur comportant des instructions pour l’exécution des étapes du procédé décrit ci-dessus. The display activation method implements a computer generated program with instructions for performing the steps of the method described above.
Ce programme est implémenté par un ou plusieurs processeurs du système ADAS (superviseur ADAS) du véhicule en lien avec un ou plusieurs processeurs du système IVI (In-Vehicle Infotainment) qui est l’organe central du véhicule dédié au traitement des données et à la communication avec le conducteur. This program is implemented by one or more processors of the vehicle's ADAS system (ADAS supervisor) in conjunction with one or more processors of the IVI (In-Vehicle Infotainment) system, which is the vehicle's central unit dedicated to data processing and communication with the driver.
Un tel programme pourra être mis à jour avec possibilité d’ajout de fonctions en utilisant une mise à jour par voie d’ondes de type OTA« Over The Air ». Such a program can be updated with the possibility of adding functions by using an update by OTA "Over The Air" type waves.

Claims

REVENDICATIONS
1. Véhicule automobile (100) comportant un système d’aide à la conduite (10), et un système d’affichage en réalité augmentée (20) couplé au système d’aide à la conduite (10), ledit système d’affichage (20) affichant dans une fenêtre de réalité augmentée (30) dans le champ de vision du conducteur (50) du véhicule (100) un graphisme (60) déterminé, représentatif d’une information réelle de signalisation de voie interdite pour le véhicule (100) ; le format et la position du graphisme (60) dans la fenêtre (30) étant adaptés en fonction de la distance entre le véhicule (100) et l’information réelle de signalisation de voie interdite. 1. Motor vehicle (100) comprising a driving assistance system (10), and an augmented reality display system (20) coupled to the driving assistance system (10), said display system (20) displaying in an augmented reality window (30) in the field of vision of the driver (50) of the vehicle (100) a graphic (60) determined, representative of real prohibited lane signaling information for the vehicle ( 100); the format and the position of the graphics (60) in the window (30) being adapted according to the distance between the vehicle (100) and the actual prohibited lane signaling information.
2. Véhicule (100) selon la revendication précédente, caractérisé en ce que le système d’aide à la conduite (10) comporte au moins une caméra multifonction (11 ) et une cartographie haute définition (12) et en ce que le système d’aide à la conduite (10) reçoit des informations délivrées par un capteur (70) d’activation d’un indicateur de changement de direction du véhicule (100) et par un capteur (80) de mesure de l’angle de rotation du volant de direction du véhicule (100) ; lesdits capteurs (70, 80) étant embarqués dans le véhicule (100). 2. Vehicle (100) according to the preceding claim, characterized in that the driving assistance system (10) comprises at least one multifunction camera (11) and high definition mapping (12) and in that the system of driving aid (10) receives information delivered by an activation sensor (70) of a direction change indicator of the vehicle (100) and by a sensor (80) for measuring the angle of rotation of the vehicle steering wheel (100); said sensors (70, 80) being embedded in the vehicle (100).
3. Véhicule (100) selon l’une des revendications précédentes, caractérisé en ce que l’information réelle de signalisation de voie interdite est un panneau de sens interdit et/ou un panneau d’interdiction de tourner à droite ou à gauche. 3. Vehicle (100) according to one of the preceding claims, characterized in that the actual prohibited lane signaling information is a prohibited direction sign and/or a sign prohibiting right or left turns.
4. Procédé d’activation du système d’affichage en réalité augmentée (20), mis en œuvre par le véhicule (100) selon les revendications précédentes, caractérisé en ce qu’il consiste : 4. Method for activating the augmented reality display system (20), implemented by the vehicle (100) according to the preceding claims, characterized in that it consists of:
- dans une première étape, dès qu’au moins une information réelle de signalisation de voie interdite a été détectée ou identifiée (200) par une cartographie (12) ou qu’un panneau d’interdiction de tourner à gauche ou à droite a été reconnu par les moyens (13) de reconnaissance de panneaux du véhicule (100) dans la distance entre le véhicule et une information réelle de signalisation de voie interdite comprise entre 100 m et 50 m, alors le système d’affichage en réalité augmentée (20) affiche (201 ) dans la fenêtre de réalité augmentée (30), le graphisme (60) représentatif de toutes les voies interdites présentes identifiées ;- in a first step, as soon as at least one real prohibited lane signaling information has been detected or identified (200) by a map (12) or a sign prohibiting left or right turns has been recognized by the sign recognition means (13) of the vehicle (100) in the distance between the vehicle and real prohibited lane signaling information of between 100 m and 50 m, then the augmented reality display system (20 ) displays (201) in the augmented reality window (30), the graphics (60) representative of all the prohibited routes present identified;
- dans une deuxième étape, à partir d’une distance de 30 m jusqu’à l’embranchement de la voie interdite avec la voie de circulation du véhicule (100) alors, si une activation (202) de l’indicateur de changement de direction (70) est detectee par le système d aide a la conduite (10), le système d’affichage en réalité augmentée (20) affiche (203) un graphisme déterminé (60) en superposition avec l’embranchement sinon, en l’absence d’activation de l’indicateur (70) de changement de direction à gauche ou à droite, et si une entrée dans une voie interdite est identifiée ou détectée (204) par le système d’aide à la conduite (10), à partir d’une reconnaissance (13) de l’information de signalisation réelle de la voie interdite et/ou d’une cartographie (12) couplée à une mesure d’angle de rotation (80) du volant du véhicule (100), alors le système d’affichage en réalité augmentée (20) affiche (205) le graphisme (60) représentatif de l’information réelle de signalisation de voie interdite en plein champ. - in a second step, from a distance of 30 m up to the junction of the prohibited lane with the vehicle traffic lane (100) then, if an activation (202) of the indicator of change of direction (70) is detected by the driver assistance system (10), the augmented reality display system (20) displays (203) a determined graphic (60) superimposed with the junction otherwise, in the absence of activation of the indicator (70) for changing direction to the left or to the right, and if an entry into a prohibited lane is identified or detected (204) by the driver assistance system (10) , from a recognition (13) of the actual signaling information of the prohibited lane and/or of a map (12) coupled to a measurement of the angle of rotation (80) of the steering wheel of the vehicle (100) , then the augmented reality display system (20) displays (205) the graphics (60) representative of the real information on the prohibited lane signaling in the open field.
5. Procédé selon la revendication précédente, caractérisé en ce que lorsque information réelle de signalisation de voie interdite est un panneau de sens interdit et que le système d’affichage en réalité augmentée (20) affiche (205) le graphisme (60) du panneau de sens interdit en plein champ, alors la représentation graphique du panneau de sens interdit est affichée en perspective dans le fenêtre (30), pour que vu du conducteur (50), le panneau de sens interdit ne masque pas complètement le champ de vision du conducteur (50). 5. Method according to the preceding claim, characterized in that when real prohibited lane signaling information is a no-entry sign and the augmented reality display system (20) displays (205) the graphics (60) of the sign no-entry sign in the open field, then the graphic representation of the no-entry sign is displayed in perspective in the window (30), so that seen from the driver (50), the no-entry sign does not completely mask the field of vision of the conductor (50).
6. Programme produit d’ordinateur comportant des instructions pour l’exécution des étapes du procédé selon l’une des revendications 4 ou 5. 6. Computer program product comprising instructions for carrying out the steps of the method according to one of claims 4 or 5.
EP21830462.4A 2021-01-12 2021-11-30 Motor vehicle comprising an adas coupled to an augmented-reality display system of said vehicle Pending EP4277802A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2100230A FR3118728B1 (en) 2021-01-12 2021-01-12 Motor vehicle comprising an ADAS system coupled to an augmented reality display system of said vehicle.
PCT/FR2021/052137 WO2022152981A1 (en) 2021-01-12 2021-11-30 Motor vehicle comprising an adas coupled to an augmented-reality display system of said vehicle

Publications (1)

Publication Number Publication Date
EP4277802A1 true EP4277802A1 (en) 2023-11-22

Family

ID=74860210

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21830462.4A Pending EP4277802A1 (en) 2021-01-12 2021-11-30 Motor vehicle comprising an adas coupled to an augmented-reality display system of said vehicle

Country Status (4)

Country Link
EP (1) EP4277802A1 (en)
CN (1) CN116685892A (en)
FR (1) FR3118728B1 (en)
WO (1) WO2022152981A1 (en)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2032979A1 (en) 1970-07-03 1972-01-13 Möbelfabriken Ernst Kaufmann KG, 8530 Neustadt Furniture part and process for its manufacture
JP5768254B2 (en) * 2010-09-24 2015-08-26 株式会社ユピテル In-vehicle electronic device and program
JP6084598B2 (en) 2014-11-17 2017-02-22 本田技研工業株式会社 Sign information display system and sign information display method
JP2019217790A (en) * 2016-10-13 2019-12-26 マクセル株式会社 Head-up display device
EP3343177A1 (en) * 2016-12-27 2018-07-04 Volkswagen Aktiengesellschaft Driver assistance system, computer program product, signal sequence, means of locomotion and method for providing information to a user of a means of locomotion

Also Published As

Publication number Publication date
CN116685892A (en) 2023-09-01
FR3118728A1 (en) 2022-07-15
WO2022152981A1 (en) 2022-07-21
FR3118728B1 (en) 2024-05-17

Similar Documents

Publication Publication Date Title
KR101855940B1 (en) Augmented reality providing apparatus for vehicle and control method for the same
EP4280165A1 (en) Navigation device linked to vehicle, ar platform apparatus, ar platform system comprising same, and operation method
CN111417889A (en) Method for providing a display in a motor vehicle and motor vehicle
US20190244515A1 (en) Augmented reality dsrc data visualization
KR20230020564A (en) Enhanced navigation instructions with landmarks under difficult driving conditions
US12008683B2 (en) Vehicle augmented reality navigational image output device and control methods
US20240271953A1 (en) Route guidance device and route guidance system based on augmented reality and mixed reality
JP7409265B2 (en) In-vehicle display device, method and program
CN109050401A (en) A kind of the driving display methods and device of augmented reality
US11545035B2 (en) Driver notification system
JP2024097841A (en) Display control device, display control method, and display control program
JP6625480B2 (en) Display system
US20210390926A1 (en) Control of a display on an augmented reality head-up display device for a vehicle
US20240042857A1 (en) Vehicle display system, vehicle display method, and computer-readable non-transitory storage medium storing vehicle display program
JP7253708B2 (en) Information processing device, vehicle, and information processing method
CN117453165A (en) Multi-view display device for a co-driver application of a motor vehicle
EP4277802A1 (en) Motor vehicle comprising an adas coupled to an augmented-reality display system of said vehicle
Mahajan et al. Head-up display techniques in cars
JP6699601B2 (en) Vehicle display
FR3119577A1 (en) Motor vehicle comprising an intelligent augmented reality navigation display system displaying vigilance points.
JP7283464B2 (en) HMI controller and HMI control program
JP7528884B2 (en) Control device
KR102645699B1 (en) Vehicle AR display device and method of operation thereof
FR3062742A1 (en) AID DEVICE FOR NIGHT ROAD NAVIGATION
FR3119359A1 (en) Motor vehicle comprising an ADAS system coupled to an augmented reality display system of said vehicle.

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20230616

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

RAP3 Party data changed (applicant data changed or rights of an application transferred)

Owner name: STELLANTIS AUTO SAS

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)