FR3096330A1 - Procédé d’affichage en réalité augmentée d’informations destinées à un individu et système embarqué associé - Google Patents

Procédé d’affichage en réalité augmentée d’informations destinées à un individu et système embarqué associé Download PDF

Info

Publication number
FR3096330A1
FR3096330A1 FR1905505A FR1905505A FR3096330A1 FR 3096330 A1 FR3096330 A1 FR 3096330A1 FR 1905505 A FR1905505 A FR 1905505A FR 1905505 A FR1905505 A FR 1905505A FR 3096330 A1 FR3096330 A1 FR 3096330A1
Authority
FR
France
Prior art keywords
motor vehicle
augmented reality
reality display
environment
display method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR1905505A
Other languages
English (en)
Other versions
FR3096330B1 (fr
Inventor
Lauren THEVIN
Stephane Gache
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Comfort and Driving Assistance SAS
Original Assignee
Valeo Comfort and Driving Assistance SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Comfort and Driving Assistance SAS filed Critical Valeo Comfort and Driving Assistance SAS
Priority to FR1905505A priority Critical patent/FR3096330B1/fr
Publication of FR3096330A1 publication Critical patent/FR3096330A1/fr
Application granted granted Critical
Publication of FR3096330B1 publication Critical patent/FR3096330B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/26Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using acoustic output
    • B60K35/265Voice
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/85Arrangements for transferring vehicle- or driver-related data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/11Instrument graphical user interfaces or menu aspects
    • B60K2360/113Scrolling through menu items
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/11Instrument graphical user interfaces or menu aspects
    • B60K2360/115Selection of menu items
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/177Augmented reality
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/178Warnings
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/179Distances to obstacles or vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18Information management
    • B60K2360/191Highlight information
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/592Data transfer involving external databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

Dans un véhicule automobile comprenant un dispositif d’affichage en réalité augmentée et un calculateur, un procédé d’affichage en réalité augmentée d’informations destinées à un individu présent dans le véhicule automobile comprend les étapes suivantes : - affichage (52) de données relatives à l’environnement du véhicule automobile au moyen du dispositif d’affichage, - sélection (54) d’une partie des données affichées relatives à l’environnement du véhicule automobile au moyen d’un dispositif de sélection (55), et - production (60) d’un élément de complément d’information sur l’environnement du véhicule automobile au moyen du calculateur, ledit élément de complément d’information étant associé à ladite partie sélectionnée des données. Un système embarqué associé est également proposé. Figure d’abrégé : figure 3

Description

Description Titre de l'invention : Procédé d'affichage en réalité augmentée d'informations destinées à un individu et système embarqué associé
[0001] Domaine technique auquel se rapporte l'invention
[0002] La présente invention concerne de manière générale le domaine d'affichage d'informations dans un véhicule automobile.
[0003] Elle concerne plus particulièrement un procédé d'affichage en réalité augmentée d'informations destinées à un individu présent dans un véhicule automobile, ainsi qu'un système embarqué associé.
Arrière-plan technologique
[0004] Un individu présent dans l'habitacle d'un véhicule automobile possède aujourd'hui des moyens d'obtenir des informations, par exemple des informations de navigation, grâce à l'utilisation d'un appareil multimédia présent à l'avant du véhicule.
[0005] De manière générale, l'individu sélectionne par exemple sur un écran tactile les in- formations qu'il souhaite afficher.
Ces informations sont par exemple projetées au moyen d'une lame partiellement réfléchissante d'un dispositif d'affichage tête haute, la lame partiellement réfléchissante pouvant être un combineur ou le p' -e-brisedu véhicule automobile.
[0006] 11 est également possible de combiner la direction de regard de l'individu à un geste sur l'écran tactile afin d'améliorer la sélection de l'information souhaitée.
100071 Cependant, un tel dispositif nécessite que l'individu détourne son attention de la route pendant un instant, par exemple dans le cas où l'individu souhaite réajuster sa demande.
Une telle perturbation peut mettre en danger les individus présents dans le véhicule ainsi que les autres usagers de la route.
100081 Objet de l'invention 100091 Afin de remédier à l'inconvénient précité de l'état de la technique, la présente invention propose d'améliorer le procédé d'affichage d'informations afin de rendre la conduite plus sûre mais également de faciliter la sélection d'informations.
100101 Plus particulièrement, on propose selon l'invention un procédé d'affichage en réalité augmentée d'informations destinées à un individu présent dans un véhicule automobile, le véhicule automobile comprenant un dispositif d'affichage en réalité augmentée et un calculateur, le procédé comprenant des étapes de : 100111 - affichage de données relatives à l'environnement du véhicule automobile au moyen du dispositif d'affichage, 100121 - sélection d'une partie des données affichées relatives à l'environnement du véhicule automobile au moyen d'un dispositif de sélection, et 2
[0013] - production d'un élément de complément d'information sur l'environnement du véhicule automobile au moyen du calculateur, ledit élément de complément d'information étant associé à ladite partie sélectionnée des données.
[0014] Ainsi selon l'invention, la réalité augmentée facilite l'obtention d'informations pour un individu présent dans un véhicule automobile.
L'individu présent dans le véhicule émet une requête d'informations supplémentaires concernant son environnement en utilisant la représentation en réalité augmentée qui lui est proposée et en sélectionnant un élément qu'il souhaite préciser.
La sélection de l'élément objet de la requête génère ensuite la production d'une nouvelle information associée à cette requête.
Cette nouvelle information est alors ajoutée à la représentation en réalité augmentée sans que la conduite de l'individu n'ait trop été perturbée.
[0015] D'autres caractéristiques non limitatives et avantageuses du procédé d'affichage en réalité augmentée d'informations destinées à un individu présent dans un véhicule automobile conforme à l'invention, prises individuellement ou selon toutes les combinaisons techniquement possibles, sont les suivantes :
[0016] - l'étape de production d'un élément de complément d'information comprend une étape d'affichage dudit élément de complément d'information au moyen du dispositif d'affichage ;
[0017] - l'étape de production comprend une étape d'énoncé d'une consigne vocale fonction de l'élément de complément d'information produit ;
[0018] - le dispositif de sélection comprend un dispositif d'acquisition et de traitement d'un signal audio ;
[0019] - l'étape de sélection est fonction d'une commande vocale enregistrée et analysée par ledit dispositif d'acquisition et de traitement d'un signal audio ;
[0020] - le dispositif de sélection comprend un module de détection et d'analyse de la direction de regard d'un individu présent dans le véhicule automobile ;
[0021] - l'étape de sélection est fonction de la direction de regard détectée par le module de détection et d'analyse de la direction de regard ;
[0022] - le véhicule automobile comprend un tableau de bord ;
[0023] - le dispositif de sélection comprend un élément rotatif intégré dans ledit tableau de bord ;
[0024] - le procédé d'affichage comprend une étape d'acquisition de données relatives à l'environnement du véhicule automobile au moyen d'un ensemble de détection ;
[0025] - l'ensemble de détection comprend un système de navigation et géolocalisation ;
[0026] - l'ensemble de détection comprend au moins un capteur de distance ;
[0027] - l'ensemble de détection comprend un dispositif de communication entre le véhicule automobile et au moins un autre véhicule automobile présent dans son environnement ;
[0028] - l'ensemble de détection comprend un autre dispositif de communication entre le 3 véhicule automobile et une infrastructure ;
[0029] - ledit élément de complément d'information est associé à ladite partie sélectionnée des données au sein d'une base de données ;
[0030] - ledit élément de complément d'information est obtenu par demande d'informations complémentaires sur ladite partie sélectionnée des données, par exemple par requête auprès d'un serveur distant (tel qu'un serveur associé à la partie sélectionnée des données ou un serveur de recherche) ;
[0031] - ledit élément de complément d'information est obtenu par détermination de données descriptives de l'environnement en rapport avec ladite partie sélectionnée des données.
[0032] L'invention propose également un système embarqué d'affichage en réalité augmentée d'informations destinées à un individu présent dans un véhicule automobile, comprenant :
[0033] - un dispositif d'affichage en réalité augmentée adapté à afficher des données relatives à l'environnement du véhicule automobile,
[0034] - un dispositif de sélection adapté à sélectionner une partie des données affichées relatives à l'environnement du véhicule automobile, et
[0035] - un calculateur adapté à produire un élément de complément d'information sur l'environnement du véhicule automobile, ledit élément de complément d'information étant associé à ladite partie sélectionnée des données.
[0036] Description détaillée d'un exemple de réalisation
[0037] La description qui va suivre en regard des dessins annexés, donnés à titre d'exemples non limitatifs, fera bien comprendre en quoi consiste l'invention et comment elle peut être réalisée.
[0038] Dans ces dessins :
[0039] [fig.1] représente les éléments d'un système embarqué dans un véhicule utiles à la compréhension de l'invention ;
[0040] [fig.2] représente un exemple d'affichage en réalité augmentée produit par le système embarqué de la figure 1; et
[0041] [fig.3] est un logigramme illustrant un fonctionnement envisageable pour le système embarqué de la figure 1.
[0042] La figure 1 montre les éléments principaux d'un système embarqué 2 dans un véhicule (ici un véhicule automobile) dans lequel peut être mise en oeuvre l'invention.
[0043] Ce système embarqué 2 comprend un calculateur 4, un dispositif d'affichage en réalité augmentée 6, un ensemble de mémorisation 10 et un ensemble de détection 20.
[0044] Le calculateur 4 est par exemple réalisé en pratique au moyen d'un microprocesseur associé à au moins une mémoire.
Cette mémoire mémorise par exemple des instructions de programme d'ordinateur conçues pour que le calculateur mette en oeuvre tout ou partie du fonctionnement décrit ci-dessous en référence à la figure 3 lorsque ces instructions de programme d'ordinateur sont exécutées par le processeur.
[0045] L'ensemble de mémorisation 10 peut quant à lui être réalisé au moyen de la mémoire susmentionnée ou d'une unité de mémorisation dédiée, par exemple une autre mémoire ou un disque dur.
[0046] L'ensemble de mémorisation 10 mémorise ici une base de données des actions uti- lisateur 12, une base de données de modélisation et de cartographie 14 et une base de données descriptives de l'environnement 16.
[0047] Le dispositif d'affichage en réalité augmentée 6 est par exemple un afficheur tête haute conçu pour produire un faisceau lumineux en direction d'une lame partiellement transparente de sorte que ce faisceau lumineux est réfléchi en direction de l'utilisateur (ici un individu occupant le véhicule tel que le conducteur du véhicule) et que l'utilisateur voit au moins un élément affiché (sous forme d'image virtuelle correspondant à une partie du faisceau lumineux) dans l'environnement lui faisant face.
[0048] Comme expliqué de manière plus détaillée ci-après, l'ensemble de détection comprend des capteurs et/ou des dispositifs de communication permettant notamment d'acquérir des données relatives à l'environnement dans lequel le véhicule évolue (données utilisées par le calculateur 4 comme décrit plus loin).
[0049] En particulier, l'ensemble de détection 20 comprend ici :
[0050] - un dispositif d'acquisition et de traitement d'un signal audio 22 (comprenant par exemple en pratique un microphone situé dans l'habitacle du véhicule et un circuit de traitement du signal électrique produit par le microphone) ;
[0051] - un module 24 de détection et d'analyse de la direction de regard d'un individu présent dans le véhicule automobile (ici le conducteur du véhicule automobile), comprenant par exemple une caméra vidéo dirigée vers le lieu attendu du visage de l'individu dans l'habitacle, et un circuit d'analyse de l'image du visage produite par la caméra vidéo ;
[0052] - un module 26 de détection et d'analyse des mouvements de l'utilisateur (c'est-à-dire ici l'individu occupant le véhicule, par exemple le conducteur du véhicule), comprenant par exemple une caméra vidéo dirigée vers l'espace dédié à l'individu dans l'habitable, et un circuit d'analyse de l'image de l'individu produite par cette caméra vidéo ;
[0053] - un élément rotatif 28 (tel qu'un bouton rotatif) monté dans le tableau de bord du véhicule ;
[0054] - un capteur de distance 30 conçu pour déterminer la distance d'un objet situé devant le véhicule (tel que par exemple un capteur à ultrasons ou un capteur laser, éventuellement à balayage) ;
[0055] - un système de navigation et géolocalisation 32;
[0056] - un dispositif de communication 34 entre le véhicule automobile et au moins un autre véhicule automobile présent dans son environnement (tel qu'un dispositif de type V2V pour "Vehicle-in-Vehicle") ;
[0057] - un dispositif de communication 36 entre le véhicule automobile et une infra- structure routière (tel qu'un dispositif de type V21 pour "Vehicle-to-Infrastructure".
[0058] La figure 2 représente un exemple d'environnement routier dans lequel le véhicule évolue.
[0059] Cet environnement comprend ici un autre véhicule V, une infrastructure routière (ici un feu tricolore) et un monument M.
[0060] L'affichage d'éléments (visibles sur la figure 2) dans cet environnement au moyen du dispositif d'affichage 6 est décrit dans la suite, dans le contexte du fonctionnement présenté à présent en référence à la figure 3.
[0061] La figure 3 est un logigramme illustrant un fonctionnement envisageable pour le système embarqué 2.
[0062] Ce fonctionnement est décrit ci-dessous au moyen de différents modules qui ef- fectuent chacun une partie du fonctionnement et sont par exemple réalisés (au moins en partie) au moyen d'instructions de programme d'ordinateur mémorisées et exécutables au sein du calculateur 4, comme déjà indiqué.
[0063] Le calculateur 4 comprend ainsi un module d'analyse et de fusion 50 est notamment conçu pour analyser les données produites par l'ensemble de détection 20, pour en extraire des données relatives à l'environnement du véhicule et pour mémoriser ces données au sein de la base de données descriptives de l'environnement 16.
[0064] En fonction du contexte (tel que défini notamment par un modèle du monde en- vironnant mémorisé dans la base de données de modélisation et de cartographie 14), certaines de ces données relatives à l'environnement sont utilisées par un module d'affichage 52 qui commande l'affichage de ces données au moyen du dispositif d'affichage 6.
[0065] Le module d'affichage 52 commande par exemple l'affichage de ces données par le dispositif d'affichage 6 dans la direction de l'environnement (vu de l'utilisateur, ici le conducteur) où est situé un objet concerné par ces données.
[0066] Ainsi, dans l'exemple de la figure 2, le module d'affichage 52 commande l'affichage d'un élément indicatif de détection D (ou icône de détection) au niveau de l'autre véhicule V.
Cet élément indicatif de détection D comprend ici des crochets situés (pour le conducteur du véhicule et au moyen du dispositif d'affichage 6) de part et d'autre de l'autre véhicule V. (La détection de l'autre véhicule V est par exemple réalisée en pratique par le module d'analyse et de fusion 50 sur la base de données produites par le capteur de distance 30 et/ou de données reçues par le dispositif de communication 34.)
[0067] Le module d'affichage 52 commande également l'affichage d'un élément indicatif de 6 dysfonctionnement P (ou icône de dysfonctionnement) au niveau de l'infrastructure routière I.
Cet élément indicatif de dysfonctionnement P est ici réalisé en forme de croix superposée (pour le conducteur du véhicule et au moyen du dispositif d'affichage 6) sur l'infrastructure routière I. (Le dysfonctionnement de l'infrastructure routière! est par exemple détecté grâce à la réception de données indicatives de ce dysfonctionnement via le dispositif de communication 36.)
[0068] Le module d'affichage 52 commande également ici au dispositif d'affichage 6 l'affichage d'informations H relatives au monument M, par exemple dans une direction où est situé le monument M (vu de l'utilisateur, ici le conducteur) et/ou dans une direction voisine de celle-ci. (Les informations H relatives au monument M sont par exemple reçues d'une infrastructure dédiée grâce au dispositif de communication 36 et/ou lues dans une base de données mémorisée dans le véhicule, telle que la base de données de modélisation et de cartographie 14 ou la base de données descriptives de l'environnement 16).
[0069] Le calculateur 4 comprend par ailleurs un module de sélection 54 d'une partie des données affichées au moyen d'un dispositif de sélection 55.
Le dispositif de sélection 55 peut comprendre en pratique au moins un capteur de l'ensemble de détection 20.
[0070] Dans l'exemple décrit ici, le dispositif de sélection comprend l'élément rotatif 28 (en pratique un bouton rotatif) intégré dans le tableau de bord du véhicule.
La partie sélectionnée des données affichées est dans cc cas déterminée (et modifiée) par rotation de l'élément rotatif par l'individu occupant le véhicule (ou utilisateur, par exemple le conducteur).
[0071] Selon une variante envisageable, le dispositif de sélection pourrait comprendre le module de détection et d'analyse de la direction de regard 24.
La partie sélectionnée des données affichées est dans ce cas déterminée en fonction de la direction de regard détectée par le module de détection et d'analyse de la direction de regard 24.
[0072] Selon une autre variante envisageable, le dispositif de sélection pourrait comprendre le dispositif d'acquisition et de traitement d'un signal audio 22.
La partie sélectionnée des données affichées peut alors dépendre d'une commande vocale enregistrée et analysée par ledit dispositif d'acquisition et de traitement d'un signal audio 22.
[0073] On remarque que le dispositif de sélection utilisé et l'action de l'utilisateur entraînant une sélection particulière peuvent être mémorisés au sein de la base de données des actions utilisateurs 12 et peuvent ainsi être paramétrables.
[0074] Le module de sélection 54 peut alors transmettre au module d'affichage 52 une in- formation indicative de la partie sélectionnée des données affichées, de façon à ce que le module d'affichage 52 commande au dispositif d'affichage 6 l'affichage d'un élément de sélection au niveau de la partie sélectionnée (vu par l'utilisateur, ici le conducteur). 7
[0075] Sur l'exemple de la figure 2, la partie sélectionnée des données affichées correspond aux informations H relatives au monument M et l'élément de sélection affiché est un rectangle R encadrant ces informations H relatives au monument M (partie sélectionnée des données affichées).
[0076] L'utilisateur (ici le conducteur) peut ensuite sélectionner, au moyen du dispositif de sélection 55, une autre partie des données affichées, par exemple l'élément indicatif de détection D ou l'élément indicatif de dysfonctionnement P.
Le module d'affichage 52 commande dans ce cas l'affichage de l'élément de sélection (ici un rectangle R) au niveau de l'autre partie concernée (élément indicatif de détection D ou élément indicatif de dysfonctionnement P), comme représenté en pointillés sur la figure 2.
[0077] Le calculateur 4 peut comprendre à titre optionnel un module de validation 56.
Ce module de validation 56 est conçu pour choisir (pour traitement ultérieur) la partie des données affichées couramment sélectionnée par le module de sélection 54.
En variante, lorsqu'un tel module de validation 56 n'est pas utilisé, c'est la partie des données affichées sélectionnée par le module de sélection 54 (de manière continue) pendant une durée prédéterminée (par exemple 10 secondes) qui est choisie pour traitement ultérieur.
[0078] Le module de validation 56 choisit (pour traitement ultérieur) la partie des données affichées sélectionnée (par le module de sélection 54) au moment où l'ensemble de détection 20 détecte une action particulière (mémorisée dans la base des actions utilisateur 12) effectuée par l'utilisateur (ici le conducteur du véhicule).
[0079] Dans l'exemple décrit ici, l'action particulière de l'utilisateur qui entraîne (lorsqu'elle est détectée par l'ensemble de détection 20) le choix de la partie sélectionnée des données affichées est un clignement des yeux de l'utilisateur (détecté par exemple la caméra vidéo du module 24).
[0080] Le calculateur 4 comprend également un module d'identification de requête 58 conçu pour identifier la demande de l'utilisateur (ici le conducteur du véhicule) relativement à la partie sélectionnée et choisie des données affichées.
[0081] Le module d'identification de requête 58 est conçu pour identifier la demande de l'utilisateur sur la base d'une table de correspondance entre des actions de l'utilisateur (ici des gestes de l'utilisateur) et des demandes prédéfinies, cette table de correspondance étant ici mémorisée dans la base de données des actions utilisateur 14.
[0082] Le module d'identification de requête 58 détermine par exemple l'action effectuée par l'utilisateur au moyen du module de détection et d'analyse 26 et lit la demande associée à cette action dans la table de correspondance précitée.
[0083] Par exemple, à détection par le module de détection et d'analyse 26 d'une main ouverte, le module d'identification de requête 58 détermine que l'utilisateur émet une demande d'informations complémentaires à propos de la partie des données sélec- 8 données par le module de sélection 54 et choisies au moyen du module de validation 56 (c'est-à-dire à propos des informations H relatives au monument M dans l'exemple de la figure 2).
[0084] Le calculateur 4 comprend en outre un module de traitement 60 conçu pour traiter la requête déterminée par le module d'identification de requête 58, cc traitement étant appliqué à la partie des données sélectionnées au moyen du module de sélection 54 et choisies au moyen du module de validation 56.
[0085] Le module de traitement 60 est par exemple conçu pour lire un élément de complément d'information associé, au scinde la base de données descriptives de l'environnement 16, à la partie sélectionnée et choisie des données affichées. (Dans l'exemple de la figure 2, cet élément de complément d'information comprend par exemple des informations complémentaires, éventuellement plus détaillées à propos du monument M.
Dans un autre cas d'utilisation, si un danger est notifié au moyen du dispositif d'affichage 6 et que la notification de danger correspondante est sélectionnée et choisie par l'utilisateur, l'élément de complément d'information comprend par exemple des informations associées au danger, comme le motif ayant déclenché l'affichage de la notification.)
[0086] Selon un autre exemple envisageable, le module de traitement 60 peut obtenir l'élément de complément d'information par demande, à une entité extérieure, d'informations complémentaires sur la partie sélectionnée et choisie des données affichées.
Cette demande peut en pratique être une requête auprès d'un serveur distant (tel qu'un serveur dont les coordonnées sont mémorisées en association avec la partie sélectionnée et choisie des données affichées, ou un serveur de recherche, auquel cas la requête soumise peut comprendre des informations associées à la partie sélectionnée et choisie des données affichées).
[0087] Selon encore un autre exemple envisageable, le module de traitement 60 peut obtenir l'élément de complément d'information par détermination de données descriptives de l'environnement (présentes par exemple au sein de la base de données descriptives de l'environnement 16) en rapport avec la partie sélectionnée et choisie des données affichées. (Par exemple, lorsqu'un réseau neuronal détecte une situation de danger et qu'une notification de danger est affichée au moyen du dispositif d'affichage 6 et sélectionnée par l'utilisateur, le module de traitement 60 peut initier une analyse visant à déterminer, parmi les données descriptives de l'environnement, quelles données peuvent expliquer la détection du danger pal- le réseau neuronal.)
[0088] Dans ces différents cas, le module de traitement 60 peut alors produire cet élément de complément d'information à destination de l'individu occupant le véhicule (ou utilisateur, ici le conducteur).
[0089] Dans l'exemple décrit ici, le module de traitement 60 transmet pour ce faire 9 l'élément de complément d'information au module d'affichage 52 en vue de l'affichage de cet élément de complément d'information au moyen du dispositif d'affichage 6.
[0090] L'élément de complément d'information est par exemple affiché par le dispositif d'affichage 6 en lieu et place de la partie sélectionnée et choisie des données affichées (cette partie des données n'étant alors plus affichée).
Dans l'exemple décrit ci-dessus, l'élément de complément d'information peut par exemple être affiché en lieu et place des informations H.
[0091] En variante, l'élément de complément d'information peut être affiché par le dispositif d'affichage 6 en remplacement d'informations non critiques (ces informations non critiques n'étant plus affichée lorsque l'élément de complément d'information est affiché).
Par exemple, si l'utilisateur sélectionne l'élément indicatif de dysfonctionnement P dc la figure 2, l'élément de complément d'information (relatif au dysfonctionnement de l'infrastructure routière I) pourrait être affiché par le dispositif d'affichage 6 en lieu et place des informations H (ces informations H n'étant alors plus affichées par le dispositif d'affichage 6).
[0092] Selon une autre possibilité de réalisation, le module de traitement 60 pourrait commander à un module de restitution sonore (non représenté) d'énoncer une consigne vocale liée à l'élément de complément d'information produit.
[0093] Le module de traitement 60 peut en outre transmettre cet élément de complément d'information à la base de données de modélisation et de cartographie 14 afin d'intégrer cet élément de complément d'information au sein du modèle du monde environnant mémorisé dans cette base de données 14.
[0094] Une fois la requête traitée et l'élément de complément d'information produit (par exemple affiché), le calculateur 4 poursuit son fonctionnement, par exemple en détectant une nouvelle action de l'individu (ou utilisateur) sur le dispositif de sélection 55 au moyen du module de sélection 54.
[0095] L'individu (ou utilisateur) peut ainsi interagir de manière simple avec les éléments affichés en réalité augmentée, en modifiant éventuellement l'affichage selon ses besoins. 10

Claims (1)

  1. REVENDICATIONS[Revendication I] Procédé d'affichage en réalité augmentée d'informations destinées à un individu présent dans un véhicule automobile, le véhicule automobile comprenant un dispositif d'affichage en réalité augmentée (6) et un cal- culateur (4), le procédé comprenant des étapes de : - affichage (52) de données relatives à l'environnement du véhicule automobile au moyen du dispositif d'affichage (6), - sélection (54) d'une partie des données affichées relatives à l'environnement du véhicule automobile au moyen d'un dispositif de sélection (55), et - production (60) d'un élément de complément d'information sur l'environnement du véhicule automobile au moyen du calculateur (4), ledit élément de complément d'information étant associé à ladite partie sélectionnée des données. [Revendication 2] Procédé d'affichage en réalité augmentée selon la revendication 1, dans lequel l'étape de production d'un élément de complément d'information comprend une étape d'affichage (52) dudit élément de complément d'information au moyen du dispositif d'affichage (6). [Revendication 3] Procédé d'affichage en réalité augmentée selon la revendication 1 ou 2, dans lequel l'étape de production comprend une étape d'énoncé d'une consigne vocale fonction de l'élément de complément d'information produit. [Revendication 4] Procédé d'affichage en réalité augmentée selon l'une quelconque des re- vendications 1 à 3, dans lequel, le dispositif de sélection (55) comprenant un dispositif d'acquisition et de traitement d'un signal audio (22), l'étape de sélection est fonction d'une commande vocale enregistrée et analysée par ledit dispositif d'acquisition et de traitement d'un signal audio (22). [Revendication 5] Procédé d'affichage en réalité augmentée selon l'une quelconque des re- vendications 1 à 4, dans lequel, le dispositif de sélection (55) comprenant un module de détection et d'analyse de la direction de regard (24) d'un individu présent dans le véhicule automobile, l'étape de sélection est fonction de la direction de regard détectée par le module de détection et d'analyse de la direction de regard (24). [Revendication 6] Procédé d'affichage en réalité augmentée selon l'une quelconque des re- vendications 1 à 5, dans lequel, le véhicule automobile comprenant un tableau de bord, le dispositif de sélection comprend un élément rotatif 11 [Revendication 7] [Revendication 8] [Revendication 9] [Revendication 10] [Revendication 11] [Revendication 12] (28) intégré dans ledit tableau de bord. Procédé d'affichage en réalité augmentée selon l'une quelconque des revendications 1 à 6, comprenant également une étape d'acquisition de données relatives à l'environnement du véhicule automobile au moyen d'un ensemble de détection (20). Procédé d'affichage en réalité augmentée selon la revendication 7, dans lequel l'ensemble de détection (20) comprend un système de navigation et géolocalisation (32). Procédé d'affichage en réalité augmentée selon la revendication 7 ou 8, dans lequel l'ensemble de détection (20) comprend au moins un capteur de distance (30). Procédé d'affichage en réalité augmentée selon l'une quelconque des revendications 7 à 9, dans lequel l'ensemble de détection (20) comprend un dispositif de communication (34) entre le véhicule automobile et au moins un autre véhicule automobile présent dans son environnement. Procédé d'affichage en réalité augmentée selon l'une quelconque des revendications 7 à 10, dans lequel l'ensemble de détection (20) comprend un autre dispositif de communication (36) entre le véhicule automobile et une infrastructure. Système embarqué d'affichage en réalité augmentée d'informations destinées à un individu présent dans un véhicule automobile, comprenant : - un dispositif d'affichage en réalité augmentée (6) adapté à afficher des données relatives à l'environnement du véhicule automobile, - un dispositif de sélection (55) adapté à sélectionner une partie des données affichées relatives à l'environnement du véhicule automobile, et - un calculateur (4) adapté à produire un élément de complément d'information sur l'environnement du véhicule automobile, ledit élément de complément d'information étant associé à ladite partie sélectionnée des données.
FR1905505A 2019-05-24 2019-05-24 Procédé d’affichage en réalité augmentée d’informations destinées à un individu et système embarqué associé Active FR3096330B1 (fr)

Priority Applications (1)

Application Number Priority Date Filing Date Title
FR1905505A FR3096330B1 (fr) 2019-05-24 2019-05-24 Procédé d’affichage en réalité augmentée d’informations destinées à un individu et système embarqué associé

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1905505A FR3096330B1 (fr) 2019-05-24 2019-05-24 Procédé d’affichage en réalité augmentée d’informations destinées à un individu et système embarqué associé
FR1905505 2019-05-24

Publications (2)

Publication Number Publication Date
FR3096330A1 true FR3096330A1 (fr) 2020-11-27
FR3096330B1 FR3096330B1 (fr) 2021-06-18

Family

ID=67810895

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1905505A Active FR3096330B1 (fr) 2019-05-24 2019-05-24 Procédé d’affichage en réalité augmentée d’informations destinées à un individu et système embarqué associé

Country Status (1)

Country Link
FR (1) FR3096330B1 (fr)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013016244A1 (de) * 2013-10-01 2015-04-02 Daimler Ag Verfahren und Vorrichtung zur augmentierten Darstellung
US20170350718A1 (en) * 2016-06-03 2017-12-07 Toyota Motor Sales, U.S.A., Inc. Information-attainment system based on monitoring an occupant
DE102017215161A1 (de) * 2017-08-30 2019-02-28 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Anwahl von einem Umgebungsobjekt im Umfeld eines Fahrzeugs

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013016244A1 (de) * 2013-10-01 2015-04-02 Daimler Ag Verfahren und Vorrichtung zur augmentierten Darstellung
US20170350718A1 (en) * 2016-06-03 2017-12-07 Toyota Motor Sales, U.S.A., Inc. Information-attainment system based on monitoring an occupant
DE102017215161A1 (de) * 2017-08-30 2019-02-28 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Anwahl von einem Umgebungsobjekt im Umfeld eines Fahrzeugs

Also Published As

Publication number Publication date
FR3096330B1 (fr) 2021-06-18

Similar Documents

Publication Publication Date Title
US10943400B2 (en) Multimodal user interface for a vehicle
US9383579B2 (en) Method of controlling a display component of an adaptive display system
US10431215B2 (en) System and method of conversational adjustment based on user's cognitive state and/or situational state
US20170291544A1 (en) Adaptive alert system for autonomous vehicle
US9613459B2 (en) System and method for in-vehicle interaction
US9030495B2 (en) Augmented reality help
US11535260B2 (en) Attention-based notifications
US20110310001A1 (en) Display reconfiguration based on face/eye tracking
US20170174129A1 (en) Vehicular visual information system and method
US20240294115A1 (en) Display system, display device, display method, and mobile apparatus
JP2009120181A (ja) 情報提示システム
KR102659059B1 (ko) 차량용 아바타 처리 장치 및 그를 제어 방법
FR3038770A1 (fr) Systeme de surveillance de l'etat de vigilance d'un operateur
JP6712825B2 (ja) ナビゲーションシステム、乗員監視装置、情報端末装置、サーバ、およびナビゲーション用プログラム
FR3005173A1 (fr) Procede d'interaction dans un cockpit d'aeronef entre un pilote et son environnement
US20160217332A1 (en) Vehicle and method of controlling the same
FR3096330A1 (fr) Procédé d’affichage en réalité augmentée d’informations destinées à un individu et système embarqué associé
WO2016156678A1 (fr) Procédé de commande, dispositif de commande, système et véhicule automobile comprenant un tel dispositif de commande
EP3218219B1 (fr) Interface homme/machine et procédé de contrôle de fonctions d'un véhicule par détection de mouvement et/ou d'expression du conducteur
FR3122391A1 (fr) Procédé et dispositif de détermination d’un état d’attention d’un conducteur d’un véhicule autonome
US20240208414A1 (en) Systems and Methods to Provide Otherwise Obscured Information to a User
US11887220B2 (en) Ghost image mitigation for heads-up display
EP3856602B1 (fr) Systeme d'affichage d'informations par selection manuelle ou automatique parmi une pluralite de modes d'affichage classes en fonction de leur niveau de decentrage par rapport au vehicule
JP2021124972A (ja) 情報処理システム、および情報処理プログラム
FR3144092A1 (fr) Procédé mis en œuvre par ordinateur d’aide à la conduite d’un véhicule automobile

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20201127

PLFP Fee payment

Year of fee payment: 3

PLFP Fee payment

Year of fee payment: 4

PLFP Fee payment

Year of fee payment: 5

PLFP Fee payment

Year of fee payment: 6