DE102022122847A1 - Einparkassistent mit augmented-reality- und berührungsbasiertem benutzereingriff - Google Patents

Einparkassistent mit augmented-reality- und berührungsbasiertem benutzereingriff Download PDF

Info

Publication number
DE102022122847A1
DE102022122847A1 DE102022122847.9A DE102022122847A DE102022122847A1 DE 102022122847 A1 DE102022122847 A1 DE 102022122847A1 DE 102022122847 A DE102022122847 A DE 102022122847A DE 102022122847 A1 DE102022122847 A1 DE 102022122847A1
Authority
DE
Germany
Prior art keywords
user
vehicle
mobile device
intervention
interface portion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022122847.9A
Other languages
English (en)
Inventor
Erick Lavoie
Ryan Gorski
Bo Bao
Siyuan Ma
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of DE102022122847A1 publication Critical patent/DE102022122847A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0285—Parking performed automatically
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0022—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the communication link
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/005—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with signals other than visual, e.g. acoustic, haptic
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/221—Remote-control arrangements
    • G05D1/222—Remote-control arrangements operated by humans
    • G05D1/223—Command input arrangements on the remote controller, e.g. joysticks or touch screens
    • G05D1/2232—Touch screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1698—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a sending/receiving arrangement to establish a cordless communication link, e.g. radio or infrared link, integrated cellular phone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H04W4/026—Services making use of location information using location based information parameters using orientation information, e.g. compass
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D1/00—Steering controls, i.e. means for initiating a change of direction of the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Acoustics & Sound (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Selective Calling Equipment (AREA)

Abstract

Die vorliegende Offenbarung ist auf Systeme und Verfahren zum raschen Umschalten zwischen einer Augmented-Reality-Eingriffsschnittstelle und einer Orbitalbewegungseingriffsschnittstelle gerichtet, die über eine Anwendung einer mobilen Vorrichtung betrieben werden. Die Anwendung kann verwendet werden, um ferngesteuerte Funktionen für Fahrzeugeinparkassistenten eines halbautonomen Fahrzeugs fernzusteuern. Das HMI-Schnellumschaltsystem kann zwei oder mehr Benutzerschnittstellen als alternative Optionen darstellen, die es dem Benutzer erlauben können, einem Fahrzeug zu befehlen, ferngesteuerte Funktionen eines Einparkassistenten unter Verwendung einer sicher verbundenen (angebundenen) mobilen Vorrichtung durchzuführen, die sich mit dem Fahrzeug verbindet und eine Angabe eines aktiven Benutzereingriffs in die Vorgänge des ferngesteuerten Einparkassistenten bereitstellt. Das HMI-Schnellumschaltsystem wertet den Benutzereingriff unter Verwendung einer komplexen Geste und einer Videoeingabe unter Verwendung der Sensoren der mobilen Vorrichtung aus. Durch Bereitstellen einer intuitiven Schnittstelle zum schnellen Umschalten kann ein Benutzer dem Fahrzeug und der anstehenden Aufgabe größere Aufmerksamkeit widmen, ohne sich übermäßig auf komplexe Schnittstellenhandlungen zu fokussieren.

Description

  • GEBIET
  • Die vorliegende Offenbarung betrifft Fahrzeugmanövriersysteme und konkreter Umschaltung von Augmented-Reality-(AR-) und berührungsbasiertem Benutzereingriff für ferngesteuerte Fahrzeugeinparkhilfe.
  • ALLGEMEINER STAND DER TECHNIK
  • Systeme für Fahrzeugeinparkassistenten können eine Schnittstelle bereitstellen, die es einem Benutzer erlaubt, ein Fahrzeug durch Bereitstellen einer automatisierten Lenksteuerung ferngesteuert zu betreiben, die die korrekte Lenkbewegung bereitstellt, um das Fahrzeug in eine Parkposition zu bewegen. Ohne einen automatisierten Steuermechanismus kann es der Intuition widersprechen, ein Fahrzeug manuell zu lenken, um die korrekten Eingaben am Lenkrad bereitzustellen, um das Fahrzeug in eine gewünschte Parkposition zu leiten.
  • Eine Fernsteuerung des fahrenden Fahrzeugs von einem Standort außerhalb des Fahrzeugs aus kann ebenfalls eine Herausforderung sein, selbst bei Fahrzeugautonomie der Stufe 2 und Stufe 3. Einige herkömmliche Systeme zur Fernsteuerung eines Fahrzeugs mit Einparkhilfe können eine Orbitalbewegung auf dem Telefonbildschirm erfordern, um eine Fahrzeugbewegung zu ermöglichen. Zusätzlich kann es erforderlich sein, dass der Benutzer einen Schlüsseltransponder für die Anbindungsfunktion bei sich trägt. In anderen bekannten und herkömmlichen Systemen kann der Benutzer den Benutzereingriff und die Funktion zum Anbinden des Fahrzeugs/der mobilen Vorrichtung beginnen, indem er mit der Kamera der mobilen Vorrichtung auf das Fahrzeug zielt, das er ferngesteuert betreiben möchte.
  • Die Kameratechnologie kann auf einen Gebrauch beschränkt sein, bei dem die Kamera das Fahrzeug sehen kann. Falls zum Beispiel zu viel von dem Fahrzeug mit Schnee bedeckt ist oder schlechte Lichtverhältnisse herrschen, ist die mobile Vorrichtung unter Umständen nicht dazu in der Lage, sich mit dem Fahrzeug zu verknüpfen, und es kann erforderlich sein, dass der Benutzer einen Benutzereingriff unter Verwendung von taktiler Rückmeldung an die Schnittstelle der mobilen Vorrichtung nachweist, wie etwa Nachfahren eines orbitalen oder benutzerdefinierten Musters.
  • Die Offenbarung in dieser Schrift wird in Bezug auf diese und andere Erwägungen dargelegt.
  • KURZDARSTELLUNG
  • Die in dieser Schrift offenbarten Systeme und Verfahren können dazu konfiguriert und/oder programmiert sein, rasches Umschalten zwischen einer AR-Eingriffsschnittstelle und einer Orbitalbewegungseingriffsschnittstelle bereitzustellen, die auf einer Anwendung einer mobilen Vorrichtung betrieben werden. Zwei oder mehr Benutzerschnittstellen können alternative Optionen sein, die es dem Benutzer erlauben können, einem Fahrzeug zu befehlen, ferngesteuerte Funktionen (zum Beispiel ferngesteuertes Einparken) unter Verwendung einer sicher verbundenen (angebundenen) mobilen Vorrichtung durchzuführen, die sich mit dem Fahrzeug verbindet und Aspekte von Benutzereingriffsangaben bereitstellt.
  • In einigen Aspekten kann die AR-Eingriffsschnittstelle den Benutzer anleiten, mit seiner Telefonkamera auf das Fahrzeug zu zielen, um die ferngesteuerte Funktion durchzuführen. Die Ausrichtung der mobilen Vorrichtung und der Bildwinkel, der durch die Kamerasensoren der mobilen Vorrichtung beobachtet wird, können zustimmende Angaben bereitstellen, dass der Benutzer aktiv in die Einparkprozedur eingreift.
  • Gemäß einem anderen Aspekt kann das HMI-Schnellumschaltsystem eine Orbitalbewegungseingriffsschnittstelle bereitstellen, bei der das HMI-Schnellumschaltsystem den Benutzer anweist, eine Orbitaleingabe auf dem Bildschirm der mobilen Vorrichtung bereitzustellen, um einen Benutzereingriff anzugeben, der ausreicht, um die Funktionalität des ferngesteuerten Einparkassistenten des Fahrzeugs anzuschalten. AR-Benutzereingriff kann die positive Benutzererfahrung verbessern, wenn die Szene angemessenes Licht und angemessene Umstände wie etwa eine freie Sichtlinie und eine richtige Ausrichtung der mobilen Vorrichtung in Richtung des Fahrzeugs bereitstellt. AR-Benutzereingriff kann jedoch nicht in allen Szenarien verwendbar sein (zum Beispiel, falls sich zu viel Schnee auf dem Fahrzeug befindet, nicht genug Licht in der Umgebung vorhanden ist usw.). In derartigen Fällen kann es erforderlich sein, dass stattdessen der Orbitalbewegungsbenutzereingriff über eine angebundene mobile Vorrichtung verwendet wird.
  • Ein erster Ansatz für das HMI-Schnellumschaltsystem kann eine oder mehrere der folgenden beispielhaften Ausführungsformen beinhalten. In einer ersten Ausführungsform kann das HMI-Schnellumschaltsystem eine Benutzerauswahl über den Prozessor der mobilen Vorrichtung empfangen, wobei die Eingabe die gewünschte ferngesteuerte Funktion auf der mobilen Vorrichtung auswählt, was bewirkt, dass sich der Prozessor über eine drahtlose Datenverbindung mit einem aktivierten Fahrzeug verbindet. Das HMI-Schnellumschaltsystem kann vom Benutzer auswählbare Optionen generieren, die bewirken, dass die mobile Vorrichtung Anweisungen an das Fahrzeug ausgibt, die bewirken, dass das Fahrzeug in die RePA-Funktionalität eingreift und ein Parkmanöver durchführt.
  • In einem Aspekt kann das fahrzeugbasierte AR-Schnellumschalt-HMI-System bestimmen, dass die Funktionalität des ferngesteuerten Einparkens an Bord des Fahrzeugs bereit ist, die Fahrzeugbewegung zu beginnen, und ein Bestätigungssignal unter Verwendung der drahtlosen Datenverbindung an die mobile Vorrichtung übertragen. Als Reaktion auf ein Bestimmen, dass die mobile Vorrichtung eine Anbindungstechnologie beinhaltet, die eine Bestimmung eines Orbitalbewegungsbenutzereingriffs über den Bildschirm der mobilen Vorrichtung unterstützt, wie etwa UWB, kann das HMI-Schnellumschaltsystem Anweisungen generieren, die dem Benutzer dabei Hilfestellung leisten, richtig zu zielen und seine Aufmerksamkeit für den ferngesteuerten Betrieb zu fesseln. Zum Beispiel kann das HMI-Schnellumschaltsystem bewirken, dass die mobile Vorrichtung eine Benutzercoachingschnittstelle ausgibt, und Anweisungen generieren, die bewirken können, dass der Benutzer entweder mit der Kamera der mobilen Vorrichtung auf das Fahrzeug zielt oder eine Orbitaleingabe auf dem Bildschirm bereitstellt, um die Fahrzeugbewegung für das gewünschte Fahrzeugmerkmal zu beginnen. Die Orbitaleingabe kann eine positive Angabe bereitstellen, dass der Benutzer aktiv in die ferngesteuerte Einparkprozedur eingreift.
  • In anderen Aspekten kann die Coachingausgabe ferner Text und/oder Sprache beinhalten, wie etwa „Mit Kamera auf Fahrzeug zielen ODER Eine Orbitalbewegung auf dem Bildschirm nachfahren“. Das HMI-Schnellumschaltsystem kann eine Farbform (z. B. eine grüne Orbitalform) auf dem Bildschirm der mobilen Vorrichtung in der gleichen Farbe wie der Text „Eine Orbitalbewegung auf dem Bildschirm nachfahren“ anzeigen, während ein sich drehender Umriss eines Fahrzeugs vorhanden sein kann, der in Klammern auf dem Bildschirm in der gleichen Farbe wie der Text „Mit Kamera auf Fahrzeug zielen“ angezeigt wird, aber in einer anderen Farbe als die Orbitalform. Als Reaktion auf das Zielen mit der Kamera der mobilen Vorrichtung auf das Fahrzeug kann die Anwendung bewirken, dass sich der Prozessor der mobilen Vorrichtung über UWB-Anbindung mit dem Fahrzeug verknüpft, und bewirken, dass die Orbitalform und der Text von der Benutzerschnittstelle verschwinden. Der Prozessor kann bewirken, dass die mobile Vorrichtung eine Nachricht ausgibt, die anfordert, dass der Benutzer auf eine Fahrzeugbewegungsschaltfläche drückt und diese gedrückt hält.
  • Gemäß einem anderen Aspekt der vorliegenden Offenbarung kann das HMI-Schnellumschaltsystem eine oder mehrere von Optik- und Orbitalbewegungseingriffsoptionen über separate Abschnitte des Bildschirms bereitstellen.
  • Die Anwendung kann unter Verwendung von Ansichtsmodi im Hoch- und Querformat für die mobile Vorrichtung funktionsfähig sein. Zum Beispiel kann der Benutzer im Querformat die Anbindungsfunktion starten, indem er entweder die Kamera verwendet, um mit dieser auf der linken Seite des Bildschirms auf das Fahrzeug zu zielen, oder damit anfängt, die Orbitalform auf der rechten Seite nachzufahren. In anderen Aspekten kann der Prozessor, wenn die mobile Vorrichtung im Hochformat verwendet wird, bewirken, dass die Vorrichtung eine Grafik des Fahrzeugs und Klammern oben auf dem Bildschirm ausgibt, während die Orbitalform generiert wird, um unten auf dem Bildschirm zu erscheinen. Eine Mensch-Maschine-Schnittstelle (Human-Machine Interface - HMI), die mit der ausgewählten Option assoziiert ist, kann leuchten, was eine Art von Eingriff angeben kann, den der Benutzer derzeit während der Anbindung bereitstellt.
  • In einer beispielhaften Ausführungsform kann der Benutzer mit der Kamera seiner mobilen Vorrichtung auf das Fahrzeug zielen und die Anwendung kann sich mit dem Fahrzeug verknüpfen. Während des Anbindungsprozesses kann das HMI-Schnellumschaltsystem eine umschaltbare Benutzerschnittstelle bereitstellen, sodass der Benutzer Eingriffsoptionen umschalten kann, indem er die Anweisung auf dem Bildschirm befolgt. Als Reaktion auf ein Bestimmen, dass der Benutzer vom Optikeingriff zum Orbitalbewegungseingriff wechseln möchte, kann das HMI-Schnellumschaltsystem Anweisungen bereitstellen, die bewirken, dass der Benutzer (1) die Kamera von dem Fahrzeug wegbewegt und/oder (2) damit anfängt, die Orbitalform auf der rechten Seite des Bildschirms nachzufahren, nachdem die HMI aufleuchtet. Als Reaktion auf ein Bestimmen, dass der Benutzer vom Orbitalbewegungseingriff zum Optikeingriff wechseln möchte, kann das HMI-Schnellumschaltsystem Anweisungen generieren, die bewirken, dass der Benutzer (1) wieder mit der Kamera auf das Fahrzeug zeigt, (2) mit der Orbitalbewegung aufhört und/oder (3) erneut damit anfängt, die hervorgehobene Schaltfläche gedrückt zu halten.
  • In einem anderen Aspekt kann das HMI-Schnellumschaltsystem eine dritte Option zum schnellen Umschalten zwischen Steuermodi beinhalten. Ausgehend von dem gleichen Konzept, dass der Benutzer eine ferngesteuerte Fahrzeugfunktion beginnt, kann der Prozessor, bevor dem Benutzer zusätzliche Bildschirme dargestellt werden, bewirken, dass die Anwendung Sensordaten der mobilen Vorrichtung auswertet und eine oder mehrere Steueroptionen bestimmt, die dem Benutzer zur Verfügung zu stellen sind. Die Sensoren der mobilen Vorrichtung können eine Ausrichtung und Raumlage der mobilen Vorrichtung bestimmen, die verwendet werden können, um eine optimierte Schnittstelle auszuwählen und auszugeben. Zum Beispiel kann der Prozessor als Reaktion auf ein Bestimmen, dass sich die mobile Vorrichtung im Hochformat befindet, eine Orbitalbewegungseingriffsschnittstelle anzeigen. Dementsprechend kann das HMI-Schnellumschaltsystem eine AR-Eingriffsschnittstelle anzeigen, wenn sich die mobile Vorrichtung im Querformat befindet.
  • Auf Grundlage von Betriebserwartungen der Ausrichtung und Raumlage der mobilen Vorrichtung kann der Prozessor, falls sich eine davon während der Betriebsverwendung ändert oder nicht in die Richtlinien der erwarteten Zustände fällt, bestimmen, ob der Benutzer den Fokus/das Bewusstsein verloren hat und ein Szenario einer „fehlenden Absicht“ darstellt. Zum Beispiel kann das HMI-Schnellumschaltsystem unter Verwendung der Ausrichtung und Raumlage, um die Absicht des Benutzers zu messen und zu bestimmen, ob der Benutzer die Konzentration/den Fokus/das Bewusstsein verloren hat, den Benutzer erinnern (z. B. durch Anzeigen einer akustischen, visuellen, haptischen oder anderen Ausgabe) und darauf hinweisen, dass der Benutzer eine sicherheitsbezogene Aktivität durchführt. Als Reaktion auf ein Bestimmen, dass sich die mobile Vorrichtung in einem Zustand befindet, der erfordert, dass sich die Ausrichtung und/oder Raumlage der mobilen Vorrichtung innerhalb gewisser Positionen befindet, und/oder nach einem Bestimmen, dass die Position der mobilen Vorrichtung nicht zu konkreten festgelegten Fähigkeiten berechtigt, kann das HMI-Schnellumschaltsystem einen oder mehrere pulsende, vibrierende und/oder akustische Hinweise generieren, um die Aufmerksamkeit des Benutzers wieder auf die Fahrzeugsteueraktivität zu fokussieren.
  • Das HMI-Schnellumschaltsystem kann akustische, haptische oder grafische Erinnerungen pulsen. Zum Beispiel kann das HMI-Schnellumschaltsystem einen Satz von Grafiken pulsen, indem die Opazität/Transparenz von Benutzerschnittstellengrafiken kontinuierlich von Variationen, die größtenteils transparente grafische Darstellungen der Szene beinhalten können, zu größtenteils opaken geändert wird. In einem Aspekt kann das HMI-Schnellumschaltsystem die Ausgabe unter Verwendung einer oder mehrerer vorbestimmter Grenzen für Opazität und Transparenz und/oder einer oder mehrerer vorbestimmter Pulsraten generieren, die gemäß den Umständen variieren.
  • Gemäß einem anderen Aspekt kann das System als Reaktion auf ein Bestimmen, dass aktiv in einen Satz von Grafiken für eine Benutzerschnittstelle (user interface - UI) eingegriffen wird, zu einer anderen UI-Funktionalität übergehen, sodass der Satz von Grafiken der UI eine Opazität von 100 % aufrechterhält, während der andere (Satz von Grafiken der derzeit ungenutzten UI) auf Grundlage der vorbestimmten Grenzen und mit einer normalen Rate gepulst wird.
  • Als Reaktion auf ein Bestimmen, dass in keine der Benutzerschnittstellen aktiv eingegriffen wird, kann der Prozessor bewirken, dass alle verfügbaren Sätze von Grafiken gegeneinander pulsen, sodass sie zwischen jedem jeweiligen Satz von Grafiken hin und her pulsen. In dem Fall, dass zwei Sätze von Benutzerschnittstellengrafiken zur Verwendung verfügbar sind, kann das HMI-Schnellumschaltsystem bewirken, dass beide Sätze von Grafiken umgekehrt zueinander pulsen, indem bewirkt wird, dass ein Satz von UI-Grafiken zunehmend transparent wird, während der andere Satz von UI-Grafiken zunehmend opak wird.
  • In einem anderen Aspekt kann, wenn das HMI-Schnellumschaltsystem drei oder mehr Sätze von Benutzerschnittstellen beinhaltet, die angesichts der konkreten Szene und Ausrichtung der mobilen Vorrichtung zur Verwendung verfügbar sind, das HMI-Schnellumschaltsystem bewirken, dass einer oder mehrere der drei Sätze von Grafiken nacheinander zwischen transparent und opak pulsen, sodass nur ein Satz der drei Sätze opaker wird, während die anderen zwei Sätze der drei verfügbaren Sätze durch Übergehen von opak zu transparent oder größtenteils transparent angezeigt werden. In einer oder mehreren Ausführungsformen kann das HMI-Schnellumschaltsystem die Ausgabe als größtenteils transparent generieren und dann mit jeweiligen Pulsen zunehmend opak werden.
  • Gemäß einem anderen Aspekt der vorliegenden Offenbarung kann das HMI-Schnellumschaltsystem bewirken, dass sich eine oder mehrere Grafiken der drei Sätze von Grafiken auf Grundlage eines Batteriestands für die mobile Vorrichtung ändern. Zum Beispiel kann das HMI-Schnellumschaltsystem bestimmen, dass weniger als ein Schwellenbatterieleistungsstand verbleibt, und bewirken, dass eine oder mehrere Grafiken der drei Sätze von Grafiken ein Transparenzniveau ändern und/oder unwählbar werden.
  • In dieser Offenbarung beschriebene Ausführungsformen können den Benutzereingriff unter Verwendung einer komplexen Geste und einer Videoeingabe unter Verwendungen der Sensoren der mobilen Vorrichtung auswerten, um zustimmenden Benutzereingriff in Fahrzeuglenkung oder andere ähnliche Funktionen anzugeben. Durch Bereitstellen einer intuitiven Schnittstelle kann ein Benutzer dem Fahrzeug und der anstehenden Aufgabe größere Aufmerksamkeit widmen, ohne sich übermäßig auf den komplexen Schnittstellenbetrieb zu fokussieren.
  • Diese und andere Vorteile der vorliegenden Offenbarung werden in dieser Schrift ausführlicher bereitgestellt.
  • Figurenliste
  • Die detaillierte Beschreibung wird unter Bezugnahme auf die beigefügten Zeichnungen dargelegt. Die Verwendung der gleichen Bezugszeichen kann ähnliche oder identische Elemente angeben. Für verschiedene Ausführungsformen können andere Elemente und/oder Komponenten genutzt werden als jene, die in den Zeichnungen veranschaulicht sind, und einige Elemente und/oder Komponenten sind in verschiedenen Ausführungsformen unter Umständen nicht vorhanden. Die Elemente und/oder Komponenten in den Figuren sind nicht unbedingt maßstabsgetreu gezeichnet. Für die gesamte Offenbarung gilt, dass Terminologie im Singular und Plural in Abhängigkeit vom Kontext austauschbar verwendet werden kann.
    • 1 bildet eine beispielhafte Rechenumgebung ab, in der Techniken und Strukturen zum Bereitstellen der in dieser Schrift offenbarten Systeme und Verfahren umgesetzt sein können.
    • 2 bildet ein Funktionsschema eines beispielhaften Steuersystems ab, das zur Verwendung in einem Fahrzeug gemäß der vorliegenden Offenbarung konfiguriert sein kann.
    • 3 veranschaulicht eine Gerichtetheit einer mobilen Vorrichtung gemäß Ausführungsformen der vorliegenden Offenbarung.
    • 4 bildet ab, wie die mobile Vorrichtung aus 1 einen Aspekt einer Einparkfunktionalität von ferngesteuerter Fahrerassistententechnologie (Remote Driver Assist Technology - ReDAT) gemäß Ausführungsformen der vorliegenden Offenbarung generiert.
    • 5 bildet eine AR-Eingriffsschnittstelle, die durch die mobile Vorrichtung 120 angezeigt wird, gemäß Ausführungsformen der vorliegenden Offenbarung ab.
    • 6 veranschaulicht, wie die mobile Vorrichtung aus 1 von einer Orbitalbewegungseingriffsschnittstelle auf eine AR-Eingriffsbenutzerschnittstelle gemäß Ausführungsformen der vorliegenden Offenbarung umschaltet.
    • 7 bildet ab, wie die mobile Vorrichtung aus 1 eine Augmented-Reality-(AR-)Benutzerschnittstelle bereitstellt, die kamerabasierte Benutzereingriffseingaben gemäß Ausführungsformen der vorliegenden Offenbarung empfängt.
    • 8 bildet ein Ablaufdiagramm eines beispielhaften Verfahrens zum Umschalten einer Mensch-Maschine-Schnittstelle (HMI) gemäß der vorliegenden Offenbarung ab.
  • DETAILLIERTE BESCHREIBUNG
  • Die Offenbarung wird nachfolgend unter Bezugnahme auf die beigefügten Zeichnungen, in denen beispielhafte Ausführungsformen der Offenbarung gezeigt sind, ausführlicher beschrieben und soll nicht einschränkend sein.
  • Viele mobile Vorrichtungen können eine Kommunikationsfunktionalität über Ultrabreitband (Ultra-Wide Band - UWB) beinhalten. Die vorliegende Offenbarung ist auf Systeme und Verfahren zum raschen Umschalten zwischen einer Augmented-Reality-Eingriffsschnittstelle und einer Orbitalbewegungseingriffsschnittstelle gerichtet, die über eine Anwendung einer mobilen Vorrichtung betrieben werden. Die Anwendung kann verwendet werden, um ferngesteuerte Funktionen für Fahrzeugeinparkassistenten eines halbautonomen Fahrzeugs fernzusteuern. Das HMI-Schnellumschaltsystem kann zwei oder mehr Benutzerschnittstellen als alternative Optionen darstellen, die es dem Benutzer erlauben können, einem Fahrzeug zu befehlen, ferngesteuerte Funktionen eines Einparkassistenten unter Verwendung einer sicher verbundenen (angebundenen) mobilen Vorrichtung durchzuführen, die sich mit dem Fahrzeug verbindet und eine Angabe eines aktiven Benutzereingriffs in die Vorgänge des ferngesteuerten Einparkassistenten bereitstellt. Das HMI-Schnellumschaltsystem wertet den Benutzereingriff unter Verwendung einer komplexen Geste und einer Videoeingabe unter Verwendung des UWB und der Sensoren der mobilen Vorrichtung aus. Durch Bereitstellen einer intuitiven Schnittstelle zum schnellen Umschalten kann ein Benutzer dem Fahrzeug und der anstehenden Aufgabe größere Aufmerksamkeit widmen, ohne sich übermäßig auf komplexe Schnittstellenhandlungen zu fokussieren.
  • 1 bildet eine beispielhafte Rechenumgebung 100 ab, die ein Fahrzeug 105 beinhalten kann. Das Fahrzeug 105 kann einen Kraftfahrzeugcomputer 145 und eine Fahrzeugsteuereinheit (Vehicle Controls Unit - VCU) 165 beinhalten, die eine Vielzahl von elektronischen Steuereinheiten (electronic control units - ECUs) 117 beinhalten kann, die in Kommunikation mit dem Kraftfahrzeugcomputer 145 angeordnet ist. Eine mobile Vorrichtung 120, die mit einem Benutzer 140 und dem Fahrzeug 105 assoziiert sein kann, kann sich unter Verwendung drahtgebundener und/oder drahtloser Kommunikationstechnologien und - sendeempfänger mit dem Kraftfahrzeugcomputer 145 verbinden. Die mobile Vorrichtung 120 kann über ein oder mehrere Netzwerk(e) 125, die über eine oder mehrere drahtlose Verbindung(en) 130 kommunizieren können, kommunikativ mit dem Fahrzeug 105 gekoppelt sein und/oder sich unter Verwendung von Nahfeldkommunikation (near field communication - NFC), Bluetooth®, Wi-Fi, Ultrabreitband (UWB) und anderen möglichen Techniken zur Datenverbindung und gemeinsamen Datennutzung direkt mit dem Fahrzeug 105 verbinden.
  • Das Fahrzeug 105 kann zudem ein globales Positionsbestimmungssystem (Global Positioning System - GPS) 175 empfangen und/oder mit diesem in Kommunikation stehen. Das GPS 175 kann ein Satellitensystem (wie in 1 abgebildet) sein, wie etwa das globale Navigationssatellitensystem (global navigation satellite system - GLNSS), Galileo oder ein Navigationssystem oder ein anderes ähnliches System. In anderen Aspekten kann das GPS 175 ein terrestrisches Navigationsnetzwerk sein. In einigen Ausführungsformen kann das Fahrzeug 105 eine Kombination aus GPS und Koppelnavigation als Reaktion darauf nutzen, dass bestimmt wird, dass eine Schwellenanzahl an Satelliten nicht erkannt wird.
  • Der Kraftfahrzeugcomputer 145 kann eine elektronische Fahrzeugsteuerung sein oder beinhalten, die einen oder mehrere Prozessor(en) 150 und Speicher 155 aufweist. Der Kraftfahrzeugcomputer 145 kann in einigen beispielhaften Ausführungsformen in Kommunikation mit der mobilen Vorrichtung 120 und einem oder mehreren Server(n) 170 angeordnet sein. Der/die Server 170 kann/können Teil einer cloudbasierten Recheninfrastruktur sein und mit einem Telematik-Dienstbereitstellungsnetzwerk (Service Delivery Network - SDN) assoziiert sein und/oder dieses beinhalten, das dem Fahrzeug 105 und anderen Fahrzeugen (in 1 nicht gezeigt), die Teil einer Fahrzeugflotte sein können, digitale Datendienste bereitstellt.
  • Obwohl das Fahrzeug 105 als Limousine veranschaulicht ist, kann es die Form eines anderen Passagier- oder Nutzkraftfahrzeugs, wie zum Beispiel eines Trucks, einer Geländelimousine, eines Crossover-Fahrzeugs, eines Vans, eines Minivans, eines Taxis, eines Busses usw., annehmen und dazu konfiguriert und/oder programmiert sein, verschiedene Arten von Kraftfahrzeugantriebssystemen zu beinhalten. Beispielhafte Antriebssysteme können verschiedene Arten von Antriebssträngen mit Brennkraftmaschinen (internal combustion engines - ICEs) beinhalten, die einen mit Benzin, Diesel oder Erdgas betriebenen Verbrennungsmotor mit herkömmlichen Antriebskomponenten, wie etwa einem Getriebe, einer Antriebswelle, einem Differential usw., aufweisen. In einer anderen Konfiguration kann das Fahrzeug 105 als Elektrofahrzeug (electric vehicle - EV) konfiguriert sein. Konkreter kann das Fahrzeug 105 ein Batterie-EV-(BEV-)Antriebssystem beinhalten oder als Hybrid-EV (HEV), das ein unabhängiges bordeigenes Triebwerk aufweist, oder Plug-in-HEV (PHEV), das einen HEV-Antriebsstrang beinhaltet, der mit einer externen Leistungsquelle verbindbar ist, und/oder einen parallelen oder seriellen Hybridantriebsstrang beinhaltet, der ein Verbrennungsmotortriebwerk und ein oder mehrere EV-Antriebssysteme aufweist, konfiguriert sein. HEVs können ferner Batterie- und/oder Superkondensatorbänke zur Leistungsspeicherung, Schwungradleistungsspeichersysteme oder andere Infrastruktur zur Leistungsgenerierung und -speicherung beinhalten. Das Fahrzeug 105 kann ferner als Brennstoffzellenfahrzeug (fuel cell vehicle - FCV), das unter Verwendung einer Brennstoffzelle flüssigen oder festen Kraftstoff in verwendbare Leistung umwandelt (z. B. ein Antriebsstrang für ein Fahrzeug mit Wasserstoffbrennstoffzelle (hydrogen fuel cell vehicle - HFCV) usw.), und/oder mit einer beliebigen Kombination dieser Antriebssysteme und Komponenten konfiguriert sein.
  • Ferner kann das Fahrzeug 105 ein manuell gefahrenes Fahrzeug sein und/oder dazu konfiguriert und/oder programmiert sein, in einem vollautonomen (z. B. fahrerlosen) Modus (z. B. Autonomie der Stufe 5) oder in einem oder mehreren Teilautonomiemodi, die Fahrerassistententechnologien beinhalten können, betrieben zu werden. Beispiele für Teilautonomiemodi (oder Fahrerassistentenmodi) sind auf dem Fachgebiet weithin als Autonomiestufe 1 bis 4 bekannt.
  • Ein Fahrzeug, das eine autonome Automatisierung der Stufe 0 aufweist, beinhaltet unter Umständen keine Merkmale für autonomes Fahren.
  • Ein Fahrzeug, das Autonomie der Stufe 1 aufweist, kann ein einzelnes automatisiertes Fahrerassistenzmerkmal, wie etwa Lenk- oder Beschleunigungshilfe, beinhalten. Adaptive Geschwindigkeitsregelung ist ein derartiges Beispiel für ein autonomes System der Stufe 1, das Aspekte sowohl der Beschleunigung als auch der Lenkung beinhaltet.
  • Autonomie der Stufe 2 bei Fahrzeugen kann Fahrerassistententechnologien, wie etwa Teilautomatisierung der Lenk- und Beschleunigungsfunktionalität, bereitstellen, wobei das/die automatisierte(n) System(e) durch einen menschlichen Fahrer überwacht wird/werden, der nicht automatisierte Vorgänge, wie etwa Bremsung und andere Steuerungen, durchführt. In einigen Aspekten kann bei autonomen Merkmalen der Stufe 2 und höher ein primärer Benutzer das Fahrzeug steuern, während sich der Benutzer im Inneren des Fahrzeugs befindet, oder in einigen beispielhaften Ausführungsformen von einem Standort 157 aus, der von dem Fahrzeug 105 entfernt ist, aber innerhalb einer Steuerzone 161 liegt, die sich bis zu mehrere Meter von dem Fahrzeug 105 erstreckt, während es sich im ferngesteuerten Betrieb befindet.
  • Autonomie der Stufe 3 bei einem Fahrzeug kann bedingte Automatisierung und Steuerung von Fahrmerkmalen bereitstellen. Zum Beispiel kann Fahrzeugautonomie der Stufe 3 Fähigkeiten zur „Umgebungsdetektion“ beinhalten, bei denen das autonome Fahrzeug (autonomous vehicle - AV) unabhängig von einem vorhandenen Fahrer informierte Entscheidungen treffen kann, wie etwa Beschleunigen vorbei an einem sich langsam bewegenden Fahrzeug, während der vorhandene Fahrer dazu bereit bleibt, wieder die Steuerung des Fahrzeugs zu übernehmen, falls das HMI-Schnellumschaltsystem nicht dazu in der Lage ist, die Aufgabe auszuführen.
  • AVs der Stufe 4 können unabhängig von einem menschlichen Fahrer betrieben werden, aber weiterhin Steuerungen für den Menschen für den Übersteuerungsbetrieb beinhalten. Automatisierung der Stufe 4 kann es zudem ermöglichen, dass ein Selbstfahrmodus als Reaktion auf einen vordefinierten bedingten Auslöser, wie etwa eine Gefahr im Straßenverkehr oder einen Systemausfall, interveniert.
  • AVs der Stufe 5 können vollautonome Fahrzeugsysteme beinhalten, die keine menschliche Eingabe für den Betrieb erfordern und keine Betriebssteuerungen für menschliches Fahren beinhalten können.
  • Gemäß Ausführungsformen der vorliegenden Offenbarung kann das HMI-Schnellumschaltsystem 107 dazu konfiguriert und/oder programmiert sein, mit einem Fahrzeug betrieben zu werden, das eine Steuerung eines autonomen Fahrzeugs der Stufe 1 bis Stufe 4 aufweist. Dementsprechend kann das HMI-Schnellumschaltsystem 107 einige Aspekte einer Steuerung des Fahrzeugs 105 durch einen Menschen bereitstellen, wenn das Fahrzeug als AV konfiguriert ist.
  • Die mobile Vorrichtung 120 kann einen Speicher 123 zum Speichern von Programmanweisungen beinhalten, die mit einer Anwendung 135 assoziiert sind, die bei Ausführung durch einen Prozessor 121 der mobilen Vorrichtung Aspekte der offenbarten Ausführungsformen durchführt. Die Anwendung (oder „App“) 135 kann Teil des HMI-Schnellumschaltsystems 107 sein oder kann dem HMI-Schnellumschaltsystem 107 Informationen bereitstellen und/oder Informationen von dem HMI-Schnellumschaltsystem 107 empfangen.
  • In einigen Aspekten kann die mobile Vorrichtung 120 mit dem Fahrzeug 105 durch die eine oder die mehreren drahtlose(n) Verbindung(en) 130 kommunizieren, die verschlüsselt und zwischen der mobilen Vorrichtung 120 und einer Telematiksteuereinheit (Telematics Control Unit - TCU) 160 eingerichtet sein können. Die mobile Vorrichtung 120 kann unter Verwendung eines drahtlosen Senders (in 1 nicht gezeigt), der mit der TCU 160 an dem Fahrzeug 105 assoziiert ist, mit der TCU 160 kommunizieren. Der Sender kann unter Verwendung eines drahtlosen Kommunikationsnetzwerks, wie zum Beispiel des einen oder der mehreren Netzwerks/Netzwerke 125, mit der mobilen Vorrichtung 120 kommunizieren. In 1 ist abgebildet, dass die drahtlose(n) Verbindung(en) 130 über das eine oder die mehreren Netzwerk(e) 125 und über eine oder mehrere drahtlose Verbindung(en) 133, die (eine) direkte Verbindung(en) zwischen dem Fahrzeug 105 und der mobilen Vorrichtung 120 sein kann/können, kommunizieren. Die drahtlose(n) Verbindung(en) 133 kann/können verschiedene Low-Energy-Technologien beinhalten, die zum Beispiel neben anderen Verfahren Bluetooth®, Bluetooth® Low-Energy (BLE®), UWB, Nahfeldkommunikation (NFC) und/oder Car Connectivity Consortium Digital Key BLE beinhalten.
  • Das/die Netzwerk(e) 125 veranschaulicht/veranschaulichen eine beispielhafte Kommunikationsinfrastruktur, in der die verbundenen Vorrichtungen, die in verschiedenen Ausführungsformen dieser Offenbarung erörtert werden, kommunizieren können. Das/die Netzwerk(e) 125 kann/können das Internet, ein privates Netzwerk, ein öffentliches Netzwerk oder eine andere Konfiguration sein und/oder beinhalten, die unter Verwendung einer oder mehrerer bekannter Kommunikationstechnologien betrieben werden, wie zum Beispiel Transmission Control Protocol/Internet Protocol (TCP/IP), User Datagram Protocol/Internet Protocol (UDP/IP), Bluetooth®, BLE®, Logical Link Control Adaptation Protocol (L2CAP), Wi-Fi auf Grundlage des Standards 802.11 des Institute of Electrical and Electronics Engineers (IEEE), UWB und Mobilfunktechnologien wie etwa Time Division Multiple Access (TDMA), Code Division Multiple Access (CDMA), High Speed Packet Access (HSPDA), Long-Term Evolution (LTE), Global System for Mobile Communications (GSM) und Fifth Generation (5G), um nur einige Beispiele zu nennen.
  • Der Kraftfahrzeugcomputer 145 kann gemäß der Offenbarung in einem Motorraum des Fahrzeugs 105 (oder an anderer Stelle in dem Fahrzeug 105) eingebaut sein und als Funktionsteil des HMI-Schnellumschaltsystems 107 betrieben werden. Der Kraftfahrzeugcomputer 145 kann einen oder mehrere Prozessor(en) 150 und einen computerlesbaren Speicher 155 beinhalten.
  • Der eine oder die mehreren Prozessor(en) 150 kann/können in Kommunikation mit einer oder mehreren Speichervorrichtungen angeordnet sein, die in Kommunikation mit den jeweiligen Rechensystemen angeordnet sind (z. B. dem Speicher 155 und/oder einer oder mehreren externen Datenbanken, die in 1 nicht gezeigt sind). Der/die Prozessor(en) 150 kann/können den Speicher 155 nutzen, um Programme in Code zu speichern und/oder um Daten zum Durchführen von Aspekten gemäß der Offenbarung zu speichern. Der Speicher 155 kann ein nicht transitorischer computerlesbarer Speicher sein, der einen HMI-Schnellumschaltprogrammcode speichert. Der Speicher 155 kann ein beliebiges oder eine Kombination aus flüchtigen Speicherelementen (z. B. dynamischem Direktzugriffsspeicher (dynamic random access memory - DRAM), synchronem dynamischem Direktzugriffsspeicher (synchronous dynamic random-access memory - SDRAM) usw.) beinhalten und ein beliebiges oder mehrere beliebige nicht flüchtige Speicherelemente (z. B. löschbaren programmierbaren Festwertspeicher (erasable programmable read-only memory - EPROM), Flash-Speicher, elektronisch löschbaren programmierbaren Festwertspeicher (electronically erasable programmable read-only memory - EEPROM), programmierbaren Festwertspeicher (programmable read-only memory - PROM) usw. beinhalten.
  • Die VCU 165 kann einen Leistungsbus 178 gemeinsam mit dem Kraftfahrzeugcomputer 145 nutzen und dazu konfiguriert und/oder programmiert sein, die Daten zwischen Systemen des Fahrzeugs 105, verbundenen Servern (z. B. dem/den Server(n) 170) und anderen Fahrzeugen (in 1 nicht gezeigt), die als Teil einer Fahrzeugflotte betrieben werden, zu koordinieren. Die VCU 165 kann eine beliebige Kombination aus den ECUs 117, wie zum Beispiel ein Karosseriesteuermodul (Body Control Module - BCM) 193, ein Motorsteuermodul (Engine Control Module - ECM) 185, ein Getriebesteuermodul (Transmission Control Module - TCM) 190, die TCU 160, eine Steuerung 199 für Fahrerassistenztechnologien (Driver Assistances Technologies - DAT) usw., beinhalten oder damit kommunizieren. Die VCU 165 kann ferner ein Fahrzeugwahrnehmungssystem (Vehicle Perception System - VPS) 181 beinhalten und/oder damit kommunizieren, das Konnektivität mit einem oder mehreren Fahrzeugsensoriksystem(en) 182 aufweist und/oder diese steuert. In einigen Aspekten kann die VCU 165 Betriebsaspekte des Fahrzeugs 105 steuern und einen oder mehrere Anweisungssätze umsetzen, die von der Anwendung 135, die auf der mobilen Vorrichtung 120 betrieben wird, aus einem oder mehreren Anweisungssätzen empfangen werden, die in dem Computerspeicher 155 des Kraftfahrzeugcomputers 145 gespeichert sind, und die Anweisungen beinhalten, die als Teil des HMI-Schnellumschaltsystems 107 betriebsfähig sind.
  • Die TCU 160 kann dazu konfiguriert und/oder programmiert sein, Fahrzeugkonnektivität mit drahtlosen Rechensystemen an Bord und außerhalb des Fahrzeugs 105 bereitzustellen, und kann einen Navigationsempfänger (NAV-Empfänger) 188 zum Empfangen und Verarbeiten eines GPS-Signals von dem GPS 175, ein BLE®-Modul (BLEM) 195, einen Wi-Fi-Sendeempfänger, einen UWB-Sendeempfänger und/oder andere drahtlose Sendeempfänger (in 1 nicht gezeigt) beinhalten, die zur drahtlosen Kommunikation zwischen dem Fahrzeug 105 und anderen Systemen, Computern und Modulen konfigurierbar sein können. Die TCU 160 kann mittels eines Busses 180 in Kommunikation mit den ECUs 117 angeordnet sein. In einigen Aspekten kann die TCU 160 als Knoten in einem CAN-Bus Daten abrufen und Daten senden.
  • Das BLEM 195 kann drahtlose Kommunikation unter Verwendung von Bluetooth®- und BLE®-Kommunikationsprotokollen einrichten, indem es kleine Ankündigungspakete aussendet und/oder nach Aussendungen kleiner Ankündigungspakete Ausschau hält und Verbindungen mit antwortenden Vorrichtungen einrichtet, die gemäß in dieser Schrift beschriebenen Ausführungsformen konfiguriert sind. Zum Beispiel kann das BLEM 195 Generic-Attribute-Profile-(GATT-)Vorrichtungskonnektivität für Client-Vorrichtungen beinhalten, die auf GATT-Befehle und -Anforderungen reagieren oder diese initiieren, und direkt mit der mobilen Vorrichtung 120 und/oder einem oder mehreren Schlüsseln (die zum Beispiel den Transponder 179 beinhalten können) verbunden sein.
  • Der Bus 180 kann als Controller-Area-Network-(CAN-)Bus konfiguriert sein, der mit einem seriellen Busstandard mit mehreren Mastern zum Verbinden von zwei oder mehr der ECUs 117 als Knoten unter Verwendung eines nachrichtenbasierten Protokolls organisiert ist, das dazu konfiguriert und/oder programmiert sein kann, es den ECUs 117 zu erlauben, miteinander zu kommunizieren. Der Bus 180 kann ein High-Speed-CAN sein oder beinhalten (das Bit-Geschwindigkeiten von bis zu 1 Mb/s auf einem CAN, 5 Mb/s auf einem CAN Flexible Data Rate (CAN FD) aufweisen kann) und kann ein Low-Speed- oder fehlertolerantes CAN (bis zu 125 Kbps) beinhalten, das in einigen Konfigurationen eine lineare Buskonfiguration verwenden kann. In einigen Aspekten können die ECUs 117 mit einem Host-Computer (z. B. dem Kraftfahrzeugcomputer 145, dem HMI-Schnellumschaltsystem 107 und/oder dem/den Server(n) 170 usw.) kommunizieren und zudem ohne die Notwendigkeit eines Host-Computers miteinander kommunizieren. Der Bus 180 kann die ECUs 117 derart mit dem Kraftfahrzeugcomputer 145 verbinden, dass der Kraftfahrzeugcomputer 145 Informationen von den ECUs 117 abrufen, Informationen an diese senden und anderweitig mit diesen interagieren kann, um gemäß Ausführungsformen der vorliegenden Offenbarung beschriebene Schritte durchzuführen. Der Bus 180 kann CAN-Busknoten (z. B. die ECUs 117) durch einen Zweidrahtbus miteinander verbinden, wobei es sich um eine verdrillte Doppelleitung handeln kann, die eine charakteristische Nennimpedanz aufweist. Der Bus 180 kann zudem unter Verwendung anderer Kommunikationstechnologien erzielt werden, wie etwa Media Oriented Systems Transport (MOST) oder Ethernet. In anderen Aspekten kann der Bus 180 ein drahtloser fahrzeuginterner Bus sein.
  • Die VCU 165 kann verschiedene Verbraucher direkt über die Kommunikation des Busses 180 steuern oder eine derartige Steuerung in Verbindung mit dem BCM 193 umsetzen. Die in Bezug auf die VCU 165 beschriebenen ECUs 117 sind lediglich zu Beispielzwecken bereitgestellt und sollen nicht einschränkend oder ausschließend sein. Steuerung und/oder Kommunikation mit anderen nicht in 1 gezeigten Steuermodulen ist möglich und eine derartige Steuerung wird in Betracht gezogen.
  • In einer beispielhaften Ausführungsform können die ECUs 117 Aspekte des Fahrzeugbetriebs und der Kommunikation unter Verwendung von Eingaben von menschlichen Fahrern, von Eingaben von einer Steuerung des autonomen Fahrzeugs, des HMI-Schnellumschaltsystems 107 und/oder über drahtlose Signaleingaben, die über die drahtlose(n) Verbindung(en) 133 von anderen verbundenen Vorrichtungen wie etwa unter anderem der mobilen Vorrichtung 120 empfangen werden, steuern. Die ECUs 117 können, wenn sie als Knoten in dem Bus 180 konfiguriert sind, jeweils eine zentrale Verarbeitungseinheit (central processing unit - CPU), eine CAN-Steuerung und/oder einen Sendeempfänger (in 1 nicht gezeigt) beinhalten. Obwohl in 1 abgebildet ist, dass die mobile Vorrichtung 120 über das BLEM 195 mit dem Fahrzeug 105 verbunden ist, ist es zum Beispiel möglich und wird in Betracht gezogen, dass die drahtlose Verbindung 133 auch oder alternativ zwischen der mobilen Vorrichtung 120 und einer oder mehreren der ECUs 117 über den/die jeweiligen Sendeempfänger, der/die mit dem/den Modul(en) assoziiert ist/sind, eingerichtet werden kann.
  • Das BCM 193 beinhaltet im Allgemeinen die Integration von Sensoren, Fahrzeugleistungsindikatoren und variablen Drosselspulen, die mit Fahrzeugsystemen assoziiert sind, und kann prozessorbasierte Leistungsverteilungsschaltungen beinhalten, die Funktionen steuern können, die mit der Fahrzeugkarosserie assoziiert sind, wie etwa Leuchten, Fenster, Sicherheit, Türverriegelungen und Zugangssteuerung und verschiedene Komfortsteuerungen. Das BCM 193 kann zudem als Gateway für Bus- und Netzwerkschnittstellen betrieben werden, um mit ferngesteuerten ECUs (in 1 nicht gezeigt) zu interagieren.
  • Das BCM 193 kann eine oder mehrere beliebige Funktionen aus einem breiten Spektrum von Fahrzeugfunktionalität koordinieren, die Energieverwaltungssysteme, Alarme, Wegfahrsperren, Fahrer- und Mitfahrerzugriffsautorisierungssysteme, Telefon-als-Schlüssel-Systeme (Phone-as-a-Key systems - PaaK-Systeme), Fahrerassistenzsysteme, AV-Steuersysteme, elektrische Fensterheber, Zentralverriegelung, Aktoren und andere Funktionalität usw. beinhalten. Das BCM 193 kann für Fahrzeugenergieverwaltung, Außenbeleuchtungssteuerung, Scheibenwischerfunktionalität, elektrische Fensterheber- und Zentralverriegelungsfunktionalität, Heizungs-, Lüftungs- und Klimatisierungssysteme und Fahrerintegrationssysteme konfiguriert sein. In anderen Aspekten kann das BCM 193 die Funktionalität von Zusatzausrüstung steuern und/oder für die Integration einer derartigen Funktionalität zuständig sein.
  • Die DAT-Steuerung 199 kann automatisierte Fahr- und Fahrerassistenzfunktionalität der Stufe 1 bis Stufe 3 bereitstellen, die zum Beispiel neben anderen Merkmalen aktive Einparkhilfe (z. B. ferngesteuerte Einparkhilfe oder RePA (Remote Parking Assistance)), Anhängerrückfahrhilfe, adaptive Geschwindigkeitsregelung, Spurhaltung und/oder Fahrerstatusüberwachung beinhalten können. Die DAT-Steuerung 199 kann zudem Aspekte von Benutzer- und Umgebungseingaben bereitstellen, die zur Benutzerauthentifizierung verwendbar sind. Authentifizierungsmerkmale können zum Beispiel biometrische Authentifizierung und Erkennung beinhalten.
  • Die DAT-Steuerung 199 kann Eingabeinformationen über die Sensoriksysteme 182 erlangen, die Sensoren beinhalten können, die im Innenraum und/oder an der Außenseite des Fahrzeugs angeordnet sind (Sensoren in 1 nicht gezeigt). Die DAT-Steuerung 199 kann die Sensorinformationen, die mit Fahrerfunktionen, Fahrzeugfunktionen und Umgebungseingaben assoziiert sind, und andere Informationen empfangen. Die DAT-Steuerung 199 kann die Sensorinformationen zur Identifizierung von biometrischen Markern, die an Bord des Fahrzeugs 105 und/oder über den/die Server 170 in einem sicheren Datenspeicher für biometrische Daten (in 1 nicht gezeigt) gespeichert sind, charakterisieren.
  • Gemäß Aspekten der vorliegenden Offenbarung kann die DAT-Steuerung 199 ferner Eingaben über eine angebundene mobile Vorrichtung, wie etwa die mobile Vorrichtung 120, empfangen. Dementsprechend können die DAT Eingabedaten empfangen, die einen Benutzereingriff in RePA-Vorgänge angeben.
  • In anderen Aspekten kann die DAT-Steuerung 199 zudem dazu konfiguriert und/oder programmiert sein, Fahrerassistenz der Stufe 1 und/oder Stufe 2 zu steuern, wenn das Fahrzeug 105 Fahrmerkmale für autonome Fahrzeuge der Stufe 1 oder Stufe 2 beinhaltet. Die DAT-Steuerung 199 kann mit einem Fahrzeugwahrnehmungssystem (VPS) 181 verbunden sein und/oder dieses beinhalten, das interne und externe Sensoriksysteme (die gemeinsam als Sensoriksysteme 181 bezeichnet werden) beinhalten kann. Die Sensoriksysteme 182 können dazu konfiguriert und/oder programmiert sein, Sensordaten zu erlangen, die zur biometrischen Authentifizierung und zum Durchführen von Fahrerassistenzvorgängen wie zum Beispiel aktivem Einparken, Anhängerrückfahrhilfe, adaptiver Geschwindigkeitsregelung und Spurhaltung, Fahrerstatusüberwachung und/oder anderen Merkmalen verwendbar sind.
  • Das PaaK-System (in 1 nicht gezeigt) des Fahrzeugs bestimmt und überwacht einen Standort auf eine PaaK-fähige mobile Vorrichtung relativ zu dem Fahrzeugstandort, um das Aussenden einer Vorabauthentifizierungsnachricht an die mobile Vorrichtung 120 oder eine andere passive Schlüsselvorrichtung wie etwa den Transponder 179 zeitlich abzustimmen. Wenn sich die mobile Vorrichtung 120 einer vorbestimmten Kommunikationsreichweite relativ zu der Fahrzeugposition nähert, kann die mobile Vorrichtung eine vorläufige Antwortnachricht an das PaaK-fähige Fahrzeug übertragen. Das PaaK-System des Fahrzeugs kann die vorläufige Antwortnachricht zwischenspeichern, bis ein mit der Authentifizierungsvorrichtung assoziierter Benutzer eine Entriegelungshandlung durchführt, wie zum Beispiel Betätigen eines Fahrzeugtürverriegelungs-/-entriegelungsmechanismus durch Ziehen an einem Türgriff. Das PaaK-System kann die Tür unter Verwendung von bereits an den Vorprozessor gesendeten Daten entriegeln, um eine Authentifizierung auf erster Stufe ohne die Verzögerung durchzuführen, die mit vollständigen Authentifizierungsschritten assoziiert ist.
  • Die Rechensystemarchitektur des Kraftfahrzeugcomputers 145, der VCU 165 und/oder des HMI-Schnellumschaltsystems 107 kann gewisse Rechenmodule weglassen. Es versteht sich ohne Weiteres, dass die in 1 abgebildete Rechenumgebung ein Beispiel für eine mögliche Umsetzung gemäß der vorliegenden Offenbarung ist und somit nicht als einschränkend oder ausschließend betrachtet werden sollte.
  • 2 veranschaulicht ein beispielhaftes Funktionsschema eines Steuersystems 200, das zur Verwendung in einem autonomen Fahrzeug 105 konfiguriert sein kann. Das Steuersystem 200 kann eine Benutzerschnittstelle 210, ein Navigationssystem 215, eine Kommunikationsschnittstelle 220, einen Telematiksendeempfänger 225, Sensoren für autonomes Fahren 230, eine Steuerung für den autonomen Modus 235 und eine oder mehrere Verarbeitungsvorrichtung(en) 240 beinhalten.
  • Die Benutzerschnittstelle 210 kann dazu konfiguriert oder programmiert sein, einem Benutzer, wie zum Beispiel dem in Bezug auf 1 abgebildeten Benutzer 140, während des Betriebs des Fahrzeugs 105 Informationen darzustellen. Darüber hinaus kann die Benutzerschnittstelle 210 dazu konfiguriert oder programmiert sein, Benutzereingaben zu empfangen, und kann somit derart in oder an dem Fahrzeug 105 angeordnet sein, dass sie für einen Fahrgast oder Fahrzeugführer sichtbar ist und dieser damit interagieren kann. Zum Beispiel kann die Benutzerschnittstelle 210 in einer Ausführungsform, in der das Fahrzeug 105 ein Personenkraftwagen ist, in der Fahrgastzelle des Fahrzeugs 105 lokalisiert sein. In einem möglichen Ansatz kann die Benutzerschnittstelle 210 einen berührungsempfindlichen Anzeigebildschirm (in 2 nicht gezeigt) beinhalten.
  • Das Navigationssystem 215 kann dazu konfiguriert und/oder programmiert sein, eine Position des Fahrzeugs 105 zu bestimmen und/oder eine Zielposition 106 zu bestimmen, in die das Fahrzeug 105 zu manövrieren ist. Das Navigationssystem 215 kann einen Empfänger für ein globales Positionsbestimmungssystem (Global Positioning System - GPS) beinhalten, der dazu konfiguriert oder programmiert ist, die Position des Fahrzeugs 105 relativ zu Satelliten oder terrestrischen Sendemasten zu triangulieren. Das Navigationssystem 215 kann daher für drahtlose Kommunikation konfiguriert oder programmiert sein.
  • Die Kommunikationsschnittstelle 220 kann dazu konfiguriert und/oder programmiert sein, drahtgebundene und/oder drahtlose Kommunikation zwischen den Komponenten des Fahrzeugs 105 und anderen Vorrichtungen wie etwa der mobilen Vorrichtung 120 (in 1 abgebildet) und/oder einem ferngesteuerten Server (z. B. dem/den Server(n) 170, wie in 1 gezeigt) oder einem anderen Fahrzeug (in 2 nicht gezeigt) zu erleichtern, wenn ein Fahrzeug-zu-Fahrzeug-Kommunikationsprotokoll verwendet wird. Die Kommunikationsschnittstelle 220 kann zudem dazu konfiguriert und/oder programmiert sein, unter Verwendung einer beliebigen Anzahl von Verbindungsprotokollen wie etwa Bluetooth®, Bluetooth® Low Energy, UWB oder Wi-Fi neben vielen anderen direkt von dem Fahrzeug 105 an die mobile Vorrichtung 120 zu kommunizieren.
  • Ein Telematiksendeempfänger 225 kann drahtlose Übertragungs- und Kommunikationshardware beinhalten, die in Kommunikation mit einem oder mehreren Sendeempfängern angeordnet sein kann, die mit Telekommunikationsmasten und anderer drahtloser Telekommunikationsinfrastruktur (in 2 nicht gezeigt) assoziiert sind. Zum Beispiel kann der Telematiksendeempfänger 225 dazu konfiguriert und/oder programmiert sein, Nachrichten von einem oder mehreren Mobilfunkmasten, die mit einem Telekommunikationsanbieter assoziiert sind, und/oder einem Telematik-Dienstbereitstellungsnetzwerk (SDN), das mit dem Fahrzeug 105 assoziiert ist (wie zum Beispiel dem/den Server(n) 170, der/die in Bezug auf 1 abgebildet ist/sind), zu empfangen und an diese zu übertragen. In einigen Beispielen kann das SDN Kommunikation mit einer mobilen Vorrichtung (z. B. der mobilen Vorrichtung 120, die in Bezug auf 1 abgebildet ist) einrichten, die durch einen Benutzer (z. B. den Benutzer 140) betreibbar ist und die ein Mobiltelefon, ein Tablet-Computer, ein Laptop-Computer, ein Schlüsseltransponder oder eine beliebige andere elektronische Vorrichtung sein und/oder diese beinhalten kann. Eine mit dem Internet verbundene Vorrichtung wie etwa ein PC, ein Laptop, ein Notebook oder eine mit Wi-Fi verbundene mobile Vorrichtung oder eine andere Rechenvorrichtung kann durch das SDN Mobilfunkkommunikation mit dem Telematiksendeempfänger 225 einrichten.
  • Die Sensoren für autonomes Fahren 230 können eine beliebige Anzahl von Vorrichtungen beinhalten, die dazu konfiguriert oder programmiert sind, Signale zu generieren, die beim Navigieren des Fahrzeugs 105 behilflich sind, während das Fahrzeug 105 in dem autonomen (z. B. fahrerlosen) Modus betrieben wird. Beispiele für Sensoren für autonomes Fahren 230 können einen Radarsensor, einen Lidarsensor, einen Sichtsensor oder dergleichen beinhalten. Die Sensoren für autonomes Fahren 230 können dem Fahrzeug 105 dabei behilflich sein, die Fahrbahn und die Umgebung des Fahrzeugs zu „sehen“ und/oder verschiedene Hindernisse zu umfahren, während das Fahrzeug in dem autonomen Modus betrieben wird.
  • Die Steuerung für den autonomen Modus 235 kann dazu konfiguriert oder programmiert sein, ein oder mehrere Teilsysteme des Fahrzeugs zu steuern, während das Fahrzeug in dem autonomen Modus betrieben wird. Beispiele für Teilsysteme, die durch die Steuerung für den autonomen Modus 235 gesteuert werden können, können ein oder mehrere Systeme zum Steuern von Bremsung, Zündung, Lenkung, Beschleunigung, Getriebesteuerung und/oder anderen Steuermechanismen beinhalten. Die Steuerung für den autonomen Modus 235 kann die Teilsysteme mindestens teilweise auf Grundlage von Signalen steuern, die durch die Sensoren für autonomes Fahren 230 generiert werden. In anderen Aspekten kann die Steuerung für den autonomen Modus 235 dazu konfiguriert und/oder programmiert sein, eine Position des Fahrzeugs 105 zu bestimmen, eine Position des Fahrzeugs 105 zu bestimmen und/oder eine Zielposition 106 zu bestimmen, in die das Fahrzeug 105 zu manövrieren ist, und das Fahrzeug 105 auf Grundlage einer oder mehrerer Eingaben zu steuern, die von der mobilen Vorrichtung 120 empfangen werden. Zum Beispiel kann die Steuerung für den autonomen Modus 235 dazu konfiguriert sein, eine Konfigurationsnachricht zu empfangen, die Anweisungen zum Bewirken umfasst, dass die Steuerung des autonomen Fahrzeugs 235 das Fahrzeug 105 auf Grundlage von Benutzereingaben in der Zielposition 106 positioniert. Die Steuerung für den autonomen Modus 235 kann auf Grundlage der Konfigurationsnachricht derart in das Fahrzeug 105 eingreifen, dass das Eingreifen das Fahrzeug 105 durch Betätigen des Fahrzeugmotors/der Fahrzeugmotoren (in 2 nicht gezeigt), der Lenkkomponenten (in 2 nicht gezeigt) und anderer Fahrzeugsysteme in eine Zielposition 106 manövriert.
  • 3 veranschaulicht eine Gerichtetheit einer mobilen Vorrichtung gemäß Ausführungsformen der vorliegenden Offenbarung. Wie vorstehend erläutert, kann das HMI-Schnellumschaltsystem 107 neuartige Benutzerschnittstellen (UIs) bereitstellen, die es dem Benutzer 140 ermöglichen, schnell zwischen einer HMI für AR und einer HMI für komplexe Gesten umzuschalten, um zustimmenden Benutzereingriff in Parkvorgänge anzugeben. Der Benutzer 140 kann seinen Benutzereingriff mit den berührungsempfindlichen Systemen (z. B. 135, 139) auf der mobilen Vorrichtung 120 (in 1 gezeigt) angeben.
  • Wie in dieser Schrift beschrieben, kann die mobile Vorrichtung 120 in verschiedenen Positionen in Bezug auf die horizontale Ebene (z. B. die Oberfläche der Erde) verwendet werden. Wenn zum Beispiel auf die mobile Vorrichtung 120 Bezug genommen wird, als ob die Vorrichtung an das Ohr des Benutzers gehalten würde, um einen Telefonanruf zu tätigen, kann ein oberer Abschnitt 305 der mobilen Vorrichtung 120 als Stelle eines primären Lautsprechers 311 definiert sein. Ein unterer Abschnitt 310 der mobilen Vorrichtung 120 kann als Stelle eines primären Mikrofons 315 definiert sein.
  • Die Veranschaulichung aus 3 zeigt die mobile Vorrichtung 120 auf einer (X-, Y-) Ebene eines standardmäßigen (X-, Y-, Z-) kartesischen Koordinatensystems zentriert. Ausführungsformen der vorliegenden Offenbarung beschreiben Verwendungen der mobilen Vorrichtung 120, bei denen die mobile Vorrichtung 120 in der Hand oder den Händen des Benutzers gehalten wird (Benutzer 140 in 3 nicht gezeigt), wobei die mobile Vorrichtung 120 vorwiegend entlang der (Y-, Z-) Ebene (320 bzw. 325) zentriert ist.
  • In einigen Aspekten kann der Prozessor 121 (in 1 gezeigt) bestimmen, ob die mobile Vorrichtung 120 derart ausgerichtet ist, dass die mobile Vorrichtung die Szene, die das Fahrzeug 105 beinhaltet, angemessen erfasst, während er die RePA-Prozedur durchführt. Der Prozessor 121 kann dies auf Grundlage mehrerer Faktoren bestimmen, wie etwa Nicken 330, Rollen 335 und Azimut 340 sowie Raumlage. Diese verschiedenen Aspekte können sich auf Grundlage der Ausrichtung und Verwendung der mobilen Vorrichtung 120 im Hoch- oder Querformat ändern.
  • Hochformat beschreibt eine Ausrichtung der mobilen Vorrichtung, bei der die mobile Vorrichtung 120 aufrecht gehalten wird, wobei der obere Abschnitt 305 und der untere Abschnitt 310 der mobilen Vorrichtung auf der Z-Achse 325 zentriert sind, wobei eine gewisse Nickwinkelfehlerspanne dafür besteht, dass die mobile Vorrichtung 120 leicht gedreht gehalten wird und dennoch als im Hochformat betrachtet wird.
  • Querformat beschreibt eine Ausrichtung der mobilen Vorrichtung, bei der die mobile Vorrichtung 120 auf der Seite liegend gehalten wird, wobei die Oberseite 305 in die positive oder negative Y-Richtung 320 gewandt ist und die Rückseite des Telefons (in 3 nicht gezeigt) in eine positive X-Richtung 331 gewandt ist, wobei eine gewisse Nickwinkelfehlerspanne 330 dafür besteht, dass das Telefon leicht gedreht gehalten wird und dennoch als im Querformat betrachtet wird.
  • Falls die positive Z-Richtung 325 0 Grad Nicken 330 darstellt, würde das Nicken in dieser Ausrichtung +/- 90 oder +/- 270 Grad innerhalb einer querformatspezifischen Fehlerspanne betragen. Eine beispielhafte Fehlerspanne kann +- 5 Grad, 10 Grad, 15 Grad usw. betragen. Falls die positive Z-Richtung 0 Grad Nicken darstellt, würde das Nicken in diesem Fall 0 oder +/- 180 Grad innerhalb einer hochformatspezifischen Fehlerspanne betragen.
  • Die Raumlage der mobilen Vorrichtung kann bestimmen, ob die Kamera (in 3 nicht gezeigt) der mobilen Vorrichtung 120 von dem Benutzer 140 abgewandt ist. Das Rollen 335 kann eine Hauptquelle dieser Bestimmung sein. Falls die Ebene des Kameraobjektivs (in 3 nicht gezeigt) senkrecht auf den Boden zeigt und von dem Benutzer 140 abgewandt ist und bevorzugt in Richtung des Fahrzeugs 105 (wie in 1 gezeigt) gewandt ist, kann das HMI-Schnellumschaltsystem 107 in einigen Aspekten bestimmen, dass der Benutzer 140 aktiv in die RePA-Prozedur eingreift, indem es ein Bild des sich bewegenden Fahrzeugs 105 durch den Kamerabildprozessor erfasst.
  • 4 bildet ab, wie die mobile Vorrichtung aus 1 einen Aspekt einer Einparkfunktionalität von ferngesteuerter Fahrerassistententechnologie (ReDAT) gemäß Ausführungsformen der vorliegenden Offenbarung generiert. Das HMI-Schnellumschaltsystem 107 (wie in 1 gezeigt) kann bewirken, dass die mobile Vorrichtung 120 einen raschen oder schnellen Übergang von einem Orbital- oder AR-Benutzereingriffssignal auf Grundlage von Benutzerpräferenz, Benutzerbewusstsein; darauf, wie er eingreift/die mobile Vorrichtung 120 positioniert und ob der Benutzer 140 mit der mobilen Vorrichtung 120 auf das Fahrzeug 105 zeigt, bereitstellt.
  • 4 veranschaulicht die mobile Vorrichtung 120, die einen AR-Eingriffsschnittstellenabschnitt 405 und einen Anweisungsausgabeabschnitt 410 aufweist. Das HMI-Schnellumschaltsystem 107 kann den AR-Eingriffsschnittstellenabschnitt 405, den Anweisungsausgabeabschnitt 410 oder sowohl den AR-Eingriffsschnittstellenabschnitt 405 als auch den Anweisungsausgabeabschnitt 410 darstellen. Zum Beispiel kann das HMI-Schnellumschaltsystem 107 vom Benutzer auswählbare Optionen generieren, die bewirken, dass die mobile Vorrichtung Anweisungen an das Fahrzeug ausgibt, die bewirken, dass das Fahrzeug in die RePA-Funktionalität eingreift und ein Parkmanöver durchführt.
  • In einer beispielhaften Ausführungsform stellt die App dem Benutzer eine Schnittstelle dar, die den AR-Eingriffsschnittstellenabschnitt 405 beinhaltet. Der AR-Eingriffsschnittstellenabschnitt 405 ist ein Bereich der App-Schnittstelle, der eine Berührungseingabe des Benutzers empfängt, die es dem HMI-Schnellumschaltsystem 107 und konkreter dem Prozessor 121 der mobilen Vorrichtung erlaubt, zu bestimmen, ob der Benutzer 140 in den Fahrzeugmanövriervorgang eingreift und/oder darauf aufmerksam ist. Der Prozessor 121 der mobilen Vorrichtung (wie in 1 gezeigt) kann den Eingriffsschnittstellenabschnitt 137 als Reaktion darauf darstellen, dass der Finger des Benutzers den Eingriffsschnittstellenabschnitt 137 berührt.
  • In einigen Aspekten kann der Benutzer 140 im Querformat oder Hochformat (in 4 gezeigt) die Anbindungsfunktion starten, indem er entweder die Kamera der mobilen Vorrichtung (z. B. die Sensorikvorrichtungen 123) verwendet, indem er mit der mobilen Vorrichtung 120 in Richtung des Fahrzeugs 105 zielt (oder indem er eine vom Benutzer auswählbare Option auswählt, die einen oder mehrere Anweisungsabschnitte 415 beinhalten kann), was im Hochformat auf dem unteren Abschnitt des Bildschirms angezeigt wird. In anderen Aspekten kann der Benutzer 140 damit anfangen, die Orbitalformeingabe 425 auf dem oberen Abschnitt des Bildschirms nachzufahren, der den AR-Eingriffsschnittstellenabschnitt 405 beinhaltet. In einigen Aspekten kann der Prozessor 121, wenn die mobile Vorrichtung 120 im Hochformat verwendet wird, bewirken, dass die Vorrichtung 120 eine Grafikausgabe des Fahrzeugs 435 und Klammern 440 oben auf dem Bildschirm ausgibt, während die Orbitalform 430 generiert wird, um in dem Benutzereingriffsschnittstellenabschnitt 137 zu erscheinen. Der Prozessor 121 kann bewirken, dass eine HMI, die mit der ausgewählten Option assoziiert ist, leuchtet, was eine Art von Eingriff angeben kann, den der Benutzer 140 derzeit während der Anbindung bereitstellt.
  • In einem Aspekt kann das fahrzeugbasierte RePA-System 245 (wie in 2 gezeigt) bestimmen, dass die Funktionalität des ferngesteuerten Einparkens an Bord des Fahrzeugs 105 bereit ist, die Fahrzeugbewegung zu beginnen, und ein Bestätigungssignal unter Verwendung der drahtlosen Verbindungen 130 (wie in 1 veranschaulicht) an die mobile Vorrichtung 120 übertragen.
  • Als Reaktion auf ein Bestimmen, dass die mobile Vorrichtung 120 eine Anbindungstechnologie beinhaltet, die eine Bestimmung eines Orbitalbewegungsbenutzereingriffs, wie etwa UWB, über den Bildschirm der mobilen Vorrichtung unterstützt, kann das HMI-Schnellumschaltsystem 107 Anweisungen generieren, die dem Benutzer dabei Hilfestellung leisten, richtig zu zielen und seine Aufmerksamkeit für den ferngesteuerten Betrieb zu fesseln. Zum Beispiel kann das HMI-Schnellumschaltsystem 107 und konkreter der Prozessor 121 der mobilen Vorrichtung eine Ausgabe bewirken, die eine Benutzercoachingschnittstelle (z. B. den Anweisungsausgabeabschnitt 410) beinhaltet, und Anweisungen 415, 420 generieren, die bewirken können, dass der Benutzer 140 entweder mit der Kamera der mobilen Vorrichtung auf das Fahrzeug 105 zielt oder eine Orbitalformeingabe 425 auf dem Bildschirm bereitstellt, um die Fahrzeugbewegung für das gewünschte Fahrzeugmerkmal zu beginnen. Die Orbitalformeingabe 425 kann eine positive Angabe bereitstellen, dass der Benutzer 140 aktiv in die ferngesteuerte Einparkprozedur eingreift.
  • Gemäß einem anderen Aspekt der vorliegenden Offenbarung kann das HMI-Schnellumschaltsystem 107 eine oder mehrere von Optik- und Orbitalbewegungseingriffsoptionen über separate Abschnitte des Bildschirms bereitstellen. Der Prozessor 121 kann bewirken, dass die mobile Vorrichtung 120 eine Nachricht ausgibt, die anfordert, dass der Benutzer auf eine Fahrzeugbewegungsschaltfläche drückt und diese gedrückt hält. Zum Beispiel können die Coachingausgabeanweisungen 415, 420 ferner Text und/oder Sprache beinhalten, wie etwa „Mit Kamera auf Fahrzeug zielen ODER Eine Orbitalbewegung auf dem Bildschirm nachfahren“. Das HMI-Schnellumschaltsystem kann eine Farbform 430 (z. B. eine grüne Orbitalform oder einen gekrümmten oder anders geformten Pfeil) auf dem Bildschirm der mobilen Vorrichtung 120 in der gleichen Farbe wie der Text „Eine Orbitalbewegung auf dem Bildschirm nachfahren“ 420 anzeigen und einen sich drehenden Umriss eines Fahrzeugs 435 anzeigen, der in Klammern 440 auf dem Bildschirm in der gleichen Farbe wie der Text „Mit Kamera auf Fahrzeug zielen“ angezeigt wird, aber in einer anderen Farbe als die Orbitalform.
  • Die Anwendung 135 kann unter Verwendung von Ansichtsmodi im Hoch- und Querformat über die mobile Vorrichtung 120 funktionsfähig sein. 4 veranschaulicht, wie die HMI im Ansichtsmodus im Hochformat betrieben wird. Als Reaktion auf das Zielen mit der Kamera der mobilen Vorrichtung auf das Fahrzeug 105 kann die Anwendung 135 bewirken, dass sich der Prozessor 121 über UWB-Anbindung mit dem Fahrzeug 105 verknüpft, und bewirken, dass die Orbitalform und der Text von der Benutzerschnittstelle verschwinden. 5 veranschaulicht diese Option.
  • Während des Anbindungsprozesses kann der Prozessor 121 eine umschaltbare Benutzerschnittstelle generieren, die der Benutzer 140 verwenden kann, um rasch zwischen Benutzereingriffsoptionen umzuschalten, indem er die Anweisung befolgt, die in dem Anweisungsausgabeabschnitt 410 angezeigt wird, der auf dem Bildschirm der mobilen Vorrichtung 120 generiert wird. Als Reaktion auf ein Bestimmen, dass der Benutzer vom Optikeingriff zum Orbitalbewegungseingriff wechseln möchte (z. B. durch Auswählen einer der Optionen 415 und 420, die in 4 gezeigt sind), kann der Prozessor 121 Anweisungen in einem zweiten Anweisungsausgabeabschnitt 410 bereitstellen, die bewirken, dass der Benutzer (1) die Kamera von dem Fahrzeug wegbewegt und/oder (2) damit anfängt, die Orbitalform auf der rechten Seite des Bildschirms nachzufahren, nachdem die HMI aufleuchtet. Als Reaktion auf ein Bestimmen, dass der Benutzer 140 vom Orbitalbewegungseingriff zum Optikeingriff (z. B. AR-Eingriff) wechseln möchte, kann das HMI-Schnellumschaltsystem 107 Anweisungen in dem AR-Eingriffsschnittstellenabschnitt 405 generieren, die bewirken, dass der Benutzer 140 (1) wieder mit der Kamera auf das Fahrzeug 105 zeigt, (2) mit der komplexen Geste (z. B. der Orbitalbewegung) aufhört und/oder (3) anfängt, eine hervorgehobene Schaltfläche gedrückt zu halten (in Bezug auf 5 ausführlicher beschrieben).
  • 5 bildet einen AR-Benutzereingriffsschnittstellenabschnitt 505 und einen Orbitalbewegungseingriffsschnittstellenabschnitt 510, die auf der mobilen Vorrichtung 120 angezeigt werden, wie sie in einem Querformat verwendet wird, gemäß Ausführungsformen der vorliegenden Offenbarung ab. Die AR-Eingriffsschnittstelle kann Mittel zur Benutzereingriff über die AR-Eingriffsschnittstelle bereitstellen, indem mit der mobilen Vorrichtung 120 auf das Fahrzeug 105 gezielt wird und Bild- und/oder Videoeingaben der Szene/des Fahrzeugs 105 unter Verwendung der bordeigenen Sensorikvorrichtungen 124 erfasst werden.
  • Dementsprechend kann die Anwendung 135 in einer oder mehreren Ausführungsformen bewirken, dass sich der Prozessor 121 in einem Anbindungsvorgang mit dem Fahrzeug 105 verknüpft. In einem Aspekt kann die mobile Vorrichtung 120 Benutzereingriffseingaben unter Verwendung der Kamerasensoren 124 der mobilen Vorrichtung und/oder über die Benutzereingriffsschnittstellenabschnitte 505 und 510 empfangen.
  • In einer beispielhaften Ausführungsform kann der Benutzer 140 mit den Kamerasensoren 124 der mobilen Vorrichtung auf das Fahrzeug 105 zielen und die Anwendung 135 kann sich mit dem Fahrzeug 105 verknüpfen. Während des Anbindungsprozesses kann das HMI-Schnellumschaltsystem 107 eine umschaltbare Benutzerschnittstelle (zusammen die Benutzereingriffsschnittstellenabschnitte 505 und 510) bereitstellen, sodass der Benutzer 140 Eingriffsoptionen von dem AR-Benutzereingriffsschnittstellenabschnitt 505 und/oder dem Orbitalbewegungseingriffsschnittstellenabschnitt 510 umschalten kann. In einigen Aspekten sind mehr als zwei Eingriffsschnittstellenabschnitte möglich und derartige Ausführungsformen werden in Betracht gezogen.
  • Der Prozessor 121 kann bestimmen, welche Eingriffsschnittstelle der Benutzereingriffsschnittstellenabschnitte 505 und 510 der Benutzer 140 nutzen möchte, wobei der Prozessor eine derartige Angabe mittels Empfangens einer Berührungseingabe empfangen kann. Zum Beispiel bildet 5 ab, wie der Benutzer 140 den AR-Benutzereingriffsschnittstellenabschnitt 505 auswählt. In diesem Beispiel kann der Benutzer 140 zunächst den Orbitalbewegungseingriffsschnittstellenabschnitt 510 verwendet haben, aber bestimmt haben, dass er nun zum AR-Benutzereingriffsschnittstellenabschnitt 505 umschalten möchte. Die taktile Eingabe dadurch, dass der Benutzer 140 die AR-Benutzereingriffsschnittstelle 505 berührt, kann dem Prozessor 121 die Benutzerabsichtsangabe bereitstellen, vom Orbitalbewegungseingriffsschnittstellenabschnitt 510 zum AR-Benutzereingriffsschnittstellenabschnitt 505 zu wechseln.
  • Als Reaktion auf ein Bestimmen, dass der Benutzer 140 vom AR-Benutzereingriffsschnittstellenabschnitt 505 zum Orbitalbewegungseingriffsschnittstellenabschnitt 510 wechseln möchte, kann das HMI-Schnellumschaltsystem 107 Anweisungen bereitstellen, die bewirken, dass der Benutzer (1) die Kamera (z. B. die mobile Vorrichtung 120) von dem Fahrzeug wegbewegt und/oder (2) damit anfängt, die Orbitalformeingabe 425 (4) in dem AR-Eingriffsschnittstellenabschnitt 405 nachzufahren.
  • Als Reaktion auf ein Bestimmen, dass der Benutzer 140 vom Orbitalbewegungseingriff (in 4 gezeigt) zum Optikeingriff (in 5 gezeigt) wechseln möchte, kann das HMI-Schnellumschaltsystem 107 den Anweisungsausgabeabschnitt 410 generieren und die Anweisungen in dem 410 ausgeben. Während des Anbindungsprozesses kann der Benutzer 140 zudem die Eingriffsoptionen umschalten, indem er angezeigte Anweisungen befolgt, die in dem 410 ausgegeben werden. Falls der Benutzer 140 schnell vom Optikeingriff zum Orbitalbewegungseingriff übergehen möchte, kann der Prozessor 121 die Absicht des Benutzers 140, dies zu tun, auf Grundlage einer Ausrichtung der mobilen Vorrichtung 120, auf Grundlage einer ausgewählten Option (z. B. einer oder mehrerer von einer jeweiligen Anweisung in dem 410, den Eingriffsschnittstellenabschnitten 505 und/oder 510 usw.) oder über ein anderes Verfahren bestimmen. In einem Aspekt kann der Anweisungsausgabeabschnitt 410 darin bestehen, auf eine Schaltfläche zu drücken und diese gedrückt zu halten, was sich auf eine Bewegungserfassungsschaltfläche bezieht.
  • In anderen Aspekten können die generierten Anweisungen anders sein. Zum Beispiel können die Anweisungen bewirken, dass der Benutzer 140 (1) wieder mit der Kamera auf das Fahrzeug zeigt, (2) mit der Orbitalbewegung aufhört und/oder (3) erneut damit anfängt, die hervorgehobene Schaltfläche gedrückt zu halten. Diese Kombination aus Benutzereingaben kann bewirken, dass das HMI-Schnellumschaltsystem 107 die Eingriffsoptionen schnell umschaltet.
  • 6 veranschaulicht das Umschalten von einer Orbitalbewegungseingriffsschnittstelle auf eine AR-Eingriffsbenutzerschnittstelle gemäß Ausführungsformen der vorliegenden Offenbarung. In einem anderen Aspekt kann das HMI-Schnellumschaltsystem 107 eine dritte Option zum schnellen Umschalten zwischen Steuermodi beinhalten. Ausgehend von dem gleichen Konzept, dass der Benutzer 140 eine ferngesteuerte Fahrzeugfunktion beginnt, kann die Anwendung 135, bevor dem Benutzer 140 zusätzliche Bildschirme dargestellt werden, bewirken, dass der Prozessor 121 Daten der Kamerasensoren 124 der mobilen Vorrichtung auswertet und eine oder mehrere Steueroptionen bestimmt, die dem Benutzer 140 zur Verfügung zu stellen sind.
  • Die Kamerasensoren 124 der mobilen Vorrichtung können Sensorikdaten (in 6 nicht gezeigt) bereitstellen, die durch den Prozessor 121 verwendbar sind, um eine Ausrichtung und Raumlage der mobilen Vorrichtung 120 zu bestimmen und eine optimierte Schnittstelle auszuwählen und auszugeben. Zum Beispiel kann der Prozessor 121 als Reaktion auf ein Bestimmen, dass sich die mobile Vorrichtung 120 im Hochformat befindet, eine Orbitalbewegungseingriffsschnittstelle (wie in 4 gezeigt) anzeigen. Dementsprechend kann das HMI-Schnellumschaltsystem eine AR-Eingriffsschnittstelle (wie in 5 gezeigt) anzeigen, wenn die mobile Vorrichtung 120 im Querformat positioniert ist.
  • Auf Grundlage von Betriebserwartungen der Ausrichtung und Raumlage der mobilen Vorrichtung 120 kann der Prozessor 121, falls sich eine davon während der Betriebsverwendung ändert oder nicht in die Richtlinien der erwarteten Zustände bezüglich einer konkreten Ausrichtung fällt, bestimmen, ob der Benutzer 140 den Fokus/das Bewusstsein verloren hat und eine „fehlende Absicht“ darstellt, die für den Betrieb der RePA-Prozedur alles andere als angemessen sein kann. Als Reaktion auf ein Bestimmen, dass der Benutzer eine oder mehrere Handlungen durchführt, die eine Absicht zeigen, das Parkmanöver durchzuführen, und dass diese eine oder mehreren Handlungen eine angemessene Benutzeraufmerksamkeit für die anstehende Aufgabe angeben (z. B. der Benutzer 140 ein Schwellenniveau an Eingriff aufrechterhält), kann der Prozessor 121 bewirken, dass eine oder mehrere Fahrzeugsteuerungen das Fahrzeug 105 als Reaktion auf ein Bestimmen, dass der Benutzer das Schwellenniveau an Eingriff aufrechterhält, automatisch manövrieren. Wie in dieser Schrift verwendet, kann automatisch neben anderen Verwendungen bedeuten, dass bewirkt wird, dass eine oder mehrere Fahrzeugsteuerungen einen oder mehrere Aspekte des Betriebs des Fahrzeugs 105, die Beschleunigung, Bremsung, Lenkung, Einschalten, Ausschalten usw. beinhalten, ohne zusätzliche Benutzereingabe oder mit begrenzter zusätzlicher Benutzereingabe durchführen.
  • Zum Beispiel kann das HMI-Schnellumschaltsystem 107 unter Verwendung der Ausrichtung und Raumlage, um die Absicht des Benutzers zu messen und zu bestimmen, ob der Benutzer 140 die Konzentration/den Fokus/das Bewusstsein verloren hat, bewirken, dass der Prozessor 121 den Benutzer erinnert (z. B. durch Anzeigen einer akustischen, visuellen, haptischen oder anderen Ausgabe) und darauf hinweist, dass der Benutzer 140 eine sicherheitsbezogene Aktivität durchführt. In anderen Aspekten kann das RePA-System bei Fehlen einer Angabe, dass der Benutzer 140 wieder den Eingriff in die RePA-Prozedur aufgenommen hat, bewirken, dass das Fahrzeug 105 mit der Prozedur aufhört.
  • Gemäß einer anderen Ausführungsform kann als Reaktion auf ein Bestimmen, dass sich die mobile Vorrichtung 120 in einem Zustand befindet, der erfordert, dass sich die Ausrichtung und/oder Raumlage der mobilen Vorrichtung innerhalb einer vorbestimmten Position befindet, und/oder nach einem Bestimmen, dass die Ausrichtung oder Position der mobilen Vorrichtung 120 in Bezug auf den Fahrzeugstandort ein oder mehrere erforderliche Attribute für den Betrieb des Systems 107 nicht erfüllt (z. B. der Benutzer nicht das Schwellenniveau an Eingriff aufrechterhalten hat oder der Benutzer eine oder mehrere Handlungen durchgeführt hat oder eine oder mehrere Handlungen nicht durchgeführt hat, die ein abnehmendes, aber immer noch angemessenes Eingriffsniveau angeben), das HMI-Schnellumschaltsystem 107 eine oder mehrere pulsende, vibrierende und/oder akustische Benachrichtigungen über die mobile Vorrichtung 120 generieren, die bewirken können, dass der Benutzer 140 die Aufmerksamkeit des Benutzers wieder auf die Fahrzeugsteueraktivität fokussiert. In anderen Aspekten kann das HMI-Schnellumschaltsystem 107 Zum Beispiel kann das HMI-Schnellumschaltsystem 107 akustische, haptische oder grafische Erinnerungen unter Verwendung von Ausgabefähigkeiten an Bord der mobilen Vorrichtung 120 pulsen.
  • In einem anderen Aspekt kann das HMI-Schnellumschaltsystem 107 einen Satz von Grafiken eines oder mehrerer aktiver Eingriffsabschnitte pulsen, indem die Opazität/Transparenz von aktiven Benutzerschnittstellengrafiken kontinuierlich von Variationen, die größtenteils transparente grafische Darstellungen der Szene beinhalten können, zu größtenteils opaken geändert wird. In einem Aspekt kann das HMI-Schnellumschaltsystem die Ausgabe unter Verwendung einer oder mehrerer vorbestimmter Grenzen für Opazität und Transparenz und/oder einer oder mehrerer vorbestimmter Pulsraten generieren, die gemäß den Umständen variieren.
  • Gemäß einem anderen Aspekt kann das System als Reaktion auf ein Bestimmen, dass aktiv in einen Satz von Grafiken für eine UI der zwei UIs (wobei die zwei UIs den AR-Eingriffsschnittstellenabschnitt 505 und den Orbitalbewegungseingriffsschnittstellenabschnitt 510 beinhalten) eingegriffen wird, zu einer anderen UI-Funktionalität übergehen, sodass der Satz von Grafiken der aktiven UI eine Opazität von 100 % aufrechterhält, während der zweite UI-Abschnitt (derzeit nicht verwendete UI-Grafiken) mit einer Opazität von weniger als 100 % gerendert wird. In einem Aspekt können die UI-Opazitäten zwischen opak und weniger als opak hin und her gepulst werden, wobei die Pulsrate auf der vorbestimmten Pulsgrenze und der normalen Rate basiert, und wird die inaktive Opazität gemäß der vorbestimmten inaktiven Opazität gerendert. Die inaktive Opazität kann zum Beispiel transparenter sein, wie etwa 25 % opak, 50 % opak, 10 % opak usw. sein.
  • Als Reaktion auf ein Bestimmen, dass in keinen der zwei AR-Eingriffsschnittstellenabschnitte 505 und 510 aktiv eingegriffen wird, kann der Prozessor 121 bewirken, dass beide UIs 505 und 510 entgegengesetzt pulsen, sodass sie zwischen jedem jeweiligen Satz des aktiven Orbitalbewegungseingriffsschnittstellenabschnitts 510 bzw. des inaktiven AR-Eingriffsschnittstellenabschnitts 505 hin und her pulsen. In dem Fall, dass zwei Sätze von Benutzerschnittstellengrafiken zur Verwendung verfügbar sind, kann das HMI-Schnellumschaltsystem bewirken, dass beide Sätze von Grafiken umgekehrt zueinander pulsen, indem bewirkt wird, dass mit jedem jeweiligen Puls ein Satz von UI-Grafiken zunehmend transparent wird (z. B., wenn der AR-Eingriffsschnittstellenabschnitt 505 transparent abgebildet ist), während der andere Satz von UI-Grafiken (z. B. der aktive Orbitalbewegungseingriffsschnittstellenabschnitt 510) zunehmend opak wird, oder umgekehrt.
  • In einem anderen Aspekt kann, wenn das HMI-Schnellumschaltsystem 107 drei oder mehr Sätze von UIs beinhaltet, die angesichts der konkreten Szene und Ausrichtung der mobilen Vorrichtung zur Verwendung verfügbar sind, das HMI-Schnellumschaltsystem 107 bewirken, dass einer oder mehrere der drei Sätze von Grafiken (wobei der dritte Satz von UI-Grafiken der drei Sätze nicht in 6 gezeigt ist) nacheinander zwischen transparent und opak pulsen, sodass nur ein Satz der drei Sätze opaker wird, während die anderen zwei Sätze der drei verfügbaren Sätze durch Übergehen von opak zu transparent oder größtenteils transparent (z. B. die vorbestimmte inaktive Opazität aufweisend) angezeigt werden. In einer oder mehreren Ausführungsformen kann das HMI-Schnellumschaltsystem 107 die Ausgabe der inaktiven UI als größtenteils transparent generieren und dann mit jeweiligen Pulsen zunehmend opak werden.
  • Die beispielhafte Ausführungsform, die in 6 abgebildet ist, veranschaulicht, wie der Benutzer 140 eine Orbitaleingriffshandlung durchführt, wobei der rechte Finger 605 des Benutzers den Orbitalbewegungseingriffsschnittstellenabschnitt 510 an einem Berührungspunkt 610 berührt und einem Orbitalweg 615 folgt. In einer oder mehreren Ausführungsformen kann der Prozessor 121, wenn der Benutzer 140 damit aufhört, seinen Finger 605 entlang des Orbitalwegs 615 zu bewegen, aber an dem Berührungspunkt 610 in Kontakt mit dem Bildschirm bleibt, bewirken, dass der Orbitalbewegungseingriffsschnittstellenabschnitt 510 eine Ausgabe einer Hinweisnachricht (bei der es sich zum Beispiel um Text handeln kann) generiert, die langsam pulst (z. B. mit einer vorbestimmten Pulsrate). Dementsprechend kann der Prozessor 121 bewirken, dass der Orbitalbewegungseingriffsschnittstellenabschnitt 510 schnell pulst (z. B. mit einer zweiten vorbestimmten Pulsrate in Bezug auf die erste vorbestimmte Pulsrate). Da die zweite vorbestimmte Pulsrate schneller ist, kann diese bewirken, dass der Benutzer 140 seine Aufmerksamkeit wieder auf den AR-Eingriffsschnittstellenabschnitt 505 und die RePA-Prozedur richtet.
  • Falls der Benutzer 140 zu einem beliebigen Zeitpunkt während der RePA-Prozedur seinen Finger 605 von dem Berührungspunkt 610 abzieht oder der Prozessor 121 eine andere Ausrichtungsänderung der mobilen Vorrichtung detektiert, wie zum Beispiel das Zurückkehren der mobilen Vorrichtung 120 aus der Querformatausrichtung, wie in 6 gezeigt, in eine Hochformatausrichtung (wie in 4 gezeigt), kann der Prozessor 121 die AR-Eingriffsschnittstellenabschnitte 505 und 510 mit der ursprünglichen Hochformatanzeige ausgeben, wie in 4 veranschaulicht, wobei alle Grafiken und Texte wieder opak sind.
  • 7 bildet ab, wie die mobile Vorrichtung aus 1 eine Augmented-Reality-(AR-)Benutzerschnittstelle bereitstellt, die kamerabasierte Eingriffseingaben gemäß Ausführungsformen der vorliegenden Offenbarung empfängt. 7 veranschaulicht den AR-Eingriffsschnittstellenabschnitt 505 im aktiven Modus, in dem der Benutzer 140 mit der Kamera der mobilen Vorrichtung in Richtung des Fahrzeugs 105 zeigt. Der AR-Eingriffsschnittstellenabschnitt 505 bildet ab, wie der Prozessor 121 bewirkt, dass die mobile Vorrichtung 120 ein Echtzeit-AR-Ausgabebild des Fahrzeugs 715 ausgibt, während er RePA-Manöver als Reaktion auf ein Bestimmen durchführt, dass der Benutzer 140 in die RePA-Prozedur eingreift. Es versteht sich, dass die Abbildung des Ausgabebilds des Fahrzeugs 715 zusammen mit anderen UI-Elementen des AR-Eingriffsschnittstellenabschnitts 505, wie etwa der Anweisungsnachricht 720, die „Auf das Fahrzeug zielen“ angibt, vollständig opak sein kann. In anderen Aspekten können eines oder mehrere der Ausgabebilder des Fahrzeugs 715 und/oder der Nachricht 720 gemäß einer vorbestimmten aktiven UI-Opazitätseinstellung weniger als opak (oder halbtransparent) sein, wie in 7 gezeigt. Die UI-Elemente des Orbitalbewegungseingriffsschnittstellenabschnitts 510 können transparenter sein als die derzeit aktiven UI-Elemente, wie etwa die Nachricht „Kreise zeichnen“ 705.
  • 8 ist ein Ablaufdiagramm eines beispielhaften Verfahrens 800 zum Umschalten einer Benutzerschnittstelle gemäß der vorliegenden Offenbarung. 8 kann unter weiterer Bezugnahme auf vorherige Figuren, die 1-7 beinhalten, beschrieben werden. Der folgende Prozess ist beispielhaft und nicht auf die nachfolgend beschriebenen Schritte beschränkt. Darüber hinaus können alternative Ausführungsformen mehr oder weniger Schritte beinhalten, die in dieser Schrift gezeigt oder beschrieben sind, und sie können diese Schritte in einer anderen Reihenfolge als der in den folgenden beispielhaften Ausführungsformen beschriebenen Reihenfolge beinhalten.
  • Unter Bezugnahme zunächst auf 8 kann das Verfahren 800 bei Schritt 805 mit Darstellen einer Mensch-Maschine-Schnittstelle (HMI), die einen ersten Eingriffsschnittstellenabschnitt und einen zweiten Eingriffsschnittstellenabschnitt umfasst, über einen Prozessor beginnen. Der erste Eingriffsschnittstellenabschnitt und der zweite Eingriffsschnittstellenabschnitt werden gleichzeitig auf einem Bildschirm der mobilen Vorrichtung dargestellt. In einigen Aspekten umfasst der erste Eingriffsschnittstellenabschnitt eine Eingriffsschnittstelle für komplexe Gesten.
  • Bei Schritt 810 kann das Verfahren 800 ferner Empfangen einer ersten Benutzereingabe, die eine Berührung des ersten Eingriffsschnittstellenabschnitts umfasst, von einem Benutzer beinhalten. Dieser Schritt kann Anbinden der mobilen Vorrichtung an das Fahrzeug über den Prozessor auf Grundlage der HMI als Reaktion auf ein Bestimmen, dass die mobile Vorrichtung Ultrabreitband-(UWB-)Fähigkeit umfasst, beinhalten. In anderen Aspekten kann dieser Schritt Empfangen einer zweiten Benutzereingabe, die eine Orbitalform umfasst, von einem Benutzer und Anbinden der mobilen Vorrichtung an das Fahrzeug als Reaktion auf das Empfangen der zweiten Benutzereingabe beinhalten. In einigen Aspekten kann dieser Schritt ferner Folgendes beinhalten: Bestimmen über den Prozessor, dass der Benutzer eine komplexe Geste durchführt, während er einen Berührungspunkt kontaktiert, der in der Eingriffsschnittstelle für komplexe Gesten angeordnet ist, Bestimmen über den Prozessor, dass der Benutzer entweder den Kontakt mit dem Berührungspunkt unterbrochen hat oder aufgehört hat, die komplexe Geste durchzuführen, und Generieren einer Eingriffswarnung über den Prozessor als Reaktion auf das Bestimmen, dass der Benutzer entweder den Kontakt mit dem Berührungspunkt unterbrochen hat oder aufgehört hat, die komplexe Geste durchzuführen. Die Eingriffswarnung umfasst eines oder mehrere von Folgenden: einer Textanweisung, einer akustischen Warnung, einer haptischen Warnung und einer Opazitätsänderung eines UI-Elements, das mit dem ersten Eingriffsschnittstellenabschnitt assoziiert ist.
  • Bei Schritt 815 kann das Verfahren 800 ferner Bewirken über den Prozessor beinhalten, dass die HMI eine aktive UI von dem ersten Eingriffsschnittstellenabschnitt auf den zweiten Eingriffsschnittstellenabschnitt umschaltet. Dieser Schritt kann Darstellen einer Benutzeranweisung für aktiven Eingriff, Bestimmen über den Prozessor, dass der Benutzer die mobile Vorrichtung von dem Fahrzeug weggerichtet hat, und Empfangen einer Benutzereingabe, die eine komplexe Geste umfasst, auf Grundlage der Benutzeranweisung beinhalten. In einigen Ausführungsform kann dieser Schritt ferner Darstellen einer Benutzeranweisung für aktiven Benutzereingriff, Bestimmen über den Prozessor, dass der Benutzer die mobile Vorrichtung von dem Fahrzeug weggerichtet hat, und Empfangen einer Benutzereingabe, die eine komplexe Geste umfasst, auf Grundlage der Benutzeranweisung beinhalten. Dieser Schritt kann zudem Bestimmen über den Prozessor beinhalten, dass der Benutzer auf eine Fahrzeugbewegungsschaltfläche gedrückt und diese gedrückt gehalten hat.
  • In einer oder mehreren Ausführungsformen kann dieser Schritt ferner Umschalten der aktiven UI auf Grundlage einer Position der mobilen Vorrichtung beinhalten, wobei die Position eine Ausrichtung der mobilen Vorrichtung und eine Raumlage der mobilen Vorrichtung umfasst. Dies kann Bestimmen über den Prozessor, dass die Ausrichtung der mobilen Vorrichtung Hochformat ist, und Machen des ersten Eingriffsschnittstellenabschnitts zu der aktiven UI auf Grundlage davon, dass die Ausrichtung der mobilen Vorrichtung Hochformat ist, beinhalten. Der Prozessor kann den ersten Eingriffsschnittstellenabschnitt unabhängig von der Raumlage der mobilen Vorrichtung zu der aktiven UI machen.
  • Das Verfahren kann ferner Auswählen einer vorbestimmten Pulsfrequenz auf Grundlage einer Ereignisdringlichkeitsmetrik beinhalten, die mit Sensorikdaten der mobilen Vorrichtung assoziiert ist, wobei die vorbestimmte Pulsfrequenz eine langsamere Frequenz umfasst, die mit einem niedrigen Wert für die Ereignisdringlichkeitsmetrik assoziiert ist, und eine Pulsfrequenz eine schnellere Frequenz umfasst, die mit einem hohen Wert für die Ereignisdringlichkeitsmetrik assoziiert ist.
  • In anderen Aspekten kann dieser Schritt ferner Bestimmen über den Prozessor beinhalten, dass der Benutzer auf eine Fahrzeugbewegungsschaltfläche gedrückt und diese gedrückt gehalten hat. In anderen Aspekten kann das Umschalten der aktiven UI auf einer Position der mobilen Vorrichtung basieren, wobei die Position eine Ausrichtung der mobilen Vorrichtung und eine Raumlage der mobilen Vorrichtung umfasst. Dementsprechend kann dieser Schritt ferner Bestimmen über den Prozessor, dass die Ausrichtung der mobilen Vorrichtung Hochformat ist, und Machen des ersten Eingriffsschnittstellenabschnitts zu der aktiven UI auf Grundlage davon, dass die Ausrichtung der mobilen Vorrichtung Hochformat ist, beinhalten.
  • Bei Schritt 820 kann das Verfahren 800 ferner Bewirken über den Prozessor beinhalten, dass die aktive UI von einer teilweise transparenten Ausgabe auf eine opake Ausgabe umschaltet. Das Verfahren kann Zurückkehren zu einem Anzeigemodus im Hochformat als Reaktion auf ein Bestimmen, dass der Benutzer keinen kontinuierlichen Kontakt mit dem ersten UI-Abschnitt aufrechterhalten hat, und Ändern einer Opazität des UI-Elements, das Benutzeranweisungstext umfasst, beinhalten. Das Ändern der Opazität des UI-Elements kann Bestimmen über den Prozessor, dass sich eine Ausrichtung der mobilen Vorrichtung geändert hat, und Ändern der Opazität des ersten Eingriffsschnittstellenabschnitts oder des zweiten Eingriffsschnittstellenabschnitts auf Grundlage eines vorbestimmten Pulses beinhalten. Dies kann zudem Pulsen der aktiven UI und einer inaktiven UI gegeneinander beinhalten, wobei der Puls eine Opazität des ersten Eingriffsschnittstellenabschnitts und des zweiten Eingriffsschnittstellenabschnitts umgekehrt beeinflusst.
  • Gemäß einem anderen Aspekt kann dieser Schritt ferner Bewirken beinhalten, dass sich eine oder mehrere Grafiken der drei Sätze von Grafiken auf Grundlage eines Batteriestands für die mobile Vorrichtung ändern. Zum Beispiel kann das HMI-Schnellumschaltsystem bestimmen, dass weniger als ein Schwellenbatterieleistungsstand verbleibt, und bewirken, dass eine oder mehrere Grafiken der drei Sätze von Grafiken ein Transparenzniveau ändern und/oder unwählbar werden. Zum Beispiel kann der Schwellenstand der Batterieleistung 5 %, 10 %, 20 % usw. betragen. Bei Schritt 825 kann das Verfahren 800 ferner Bestimmen beinhalten, dass der Benutzer ein Schwellenniveau an Eingriff in einen des ersten Eingriffsschnittstellenabschnitts und des zweiten Eingriffsschnittstellenabschnitts aufrechterhält. Dieser Schritt kann Folgendes beinhalten: Bestimmen über den Prozessor, dass der Benutzer das Schwellenniveau an Eingriff nicht aufrechterhalten hat, Pulsen des ersten Eingriffsschnittstellenabschnitts und des zweiten Eingriffsschnittstellenabschnitts über den Prozessor durch kontinuierliches Ändern einer Opazität/Transparenz eines aktiven UI-Elements von größtenteils transparent zu größtenteils opak und Ausgeben eines Bilds einer Fahrzeugszene einem Hintergrund des zweiten Eingriffsschnittstellenabschnitts, wobei das Fahrzeug als das aktive UI-Element gerendert wird, das sich von größtenteils transparent zu größtenteils opak ändert.
  • Bei Schritt 830 kann das Verfahren 800 ferner Senden einer Konfigurationsnachricht an das Fahrzeug beinhalten, wobei die Konfigurationsnachricht Anweisungen zum Bewirken umfasst, dass eine Fahrzeugsteuerung das Fahrzeug als Reaktion auf das Bestimmen, dass der Benutzer ein Schwellenniveau an Eingriff aufrechterhält, automatisch manövriert.
  • In der vorstehenden Offenbarung ist auf die beigefügten Zeichnungen Bezug genommen worden, die einen Teil hiervon bilden und spezifische Umsetzungen veranschaulichen, in denen die vorliegende Offenbarung praktisch umgesetzt werden kann. Es versteht sich, dass auch andere Umsetzungen genutzt und strukturelle Änderungen vorgenommen werden können, ohne vom Umfang der vorliegenden Offenbarung abzuweichen. Bezugnahmen in der Beschreibung auf „eine Ausführungsform“, „eine beispielhafte Ausführungsform“, „ein Ausführungsbeispiel“ usw. geben an, dass die beschriebene Ausführungsform ein(e) konkrete(s) Merkmal, Struktur oder Eigenschaft beinhalten kann, aber nicht unbedingt jede Ausführungsform diese(s) konkrete Merkmal, Struktur oder Eigenschaft beinhalten muss. Darüber hinaus beziehen sich derartige Formulierungen nicht unbedingt auf die gleich Ausführungsform. Ferner wird, wenn ein(e) Merkmal, Struktur oder Eigenschaft in Verbindung mit einer Ausführungsform beschrieben ist, der Fachmann ein(e) derartige(s) Merkmal, Struktur oder Eigenschaft in Verbindung mit anderen Ausführungsformen erkennen, ob dies nun ausdrücklich beschrieben ist oder nicht.
  • Ferner können gegebenenfalls die in dieser Schrift beschriebenen Funktionen in einem oder mehreren von Hardware, Software, Firmware, digitalen Komponenten oder analogen Komponenten durchgeführt werden. Zum Beispiel können eine oder mehrere anwendungsspezifische integrierte Schaltungen (application specific integrated circuits - ASICs) dazu programmiert sein, eine(s) oder mehrere der in dieser Schrift beschriebenen Systeme und Prozeduren auszuführen. Gewisse Ausdrücke werden in der gesamten Beschreibung verwendet und Patentansprüche beziehen sich auf konkrete Systemkomponenten. Der Fachmann versteht, dass auf Komponenten mit unterschiedlichen Benennungen Bezug genommen werden kann. In dieser Schrift soll nicht zwischen Komponenten unterschieden werden, die sich der Benennung nach, nicht jedoch hinsichtlich ihrer Funktion unterscheiden.
  • Es versteht sich zudem, dass das Wort „Beispiel“, wie es in dieser Schrift verwendet wird, nicht ausschließender und nicht einschränkender Natur sein soll. Konkreter gibt das Wort „Beispiel“, wie es in dieser Schrift verwendet wird, eines von mehreren Beispielen an, und es versteht sich, dass keine übermäßige Betonung oder Bevorzugung auf das konkrete beschriebene Beispiel gerichtet ist.
  • Ein computerlesbares Medium (auch als prozessorlesbares Medium bezeichnet) beinhaltet ein beliebiges nicht transitorisches (z. B. physisches) Medium, das am Bereitstellen von Daten (z. B. Anweisungen) beteiligt ist, die durch einen Computer (z. B. durch einen Prozessor eines Computers) ausgelesen werden können. Ein derartiges Medium kann viele Formen annehmen, die nicht flüchtige Medien und flüchtige Medien beinhalten, aber nicht darauf beschränkt sind. Rechenvorrichtungen können computerausführbare Anweisungen beinhalten, wobei die Anweisungen durch eine oder mehrere Rechenvorrichtungen, wie etwa durch die vorstehend aufgeführten, ausführbar sein können und auf einem computerlesbaren Medium gespeichert sein können.
  • Hinsichtlich der in dieser Schrift beschriebenen Prozesse, Systeme, Verfahren, Heuristiken usw. versteht es sich, dass die Schritte derartiger Prozesse usw. zwar als gemäß einer gewissen geordneten Abfolge erfolgend beschrieben worden sind, derartige Prozesse jedoch praktisch umgesetzt werden könnten, wobei die beschriebenen Schritte in einer Reihenfolge durchgeführt werden, die von der in dieser Schrift beschriebenen Reihenfolge abweicht. Es versteht sich ferner, dass gewisse Schritte gleichzeitig durchgeführt, andere Schritte hinzugefügt oder gewisse in dieser Schrift beschriebene Schritte weggelassen werden könnten. Mit anderen Worten dienen die Beschreibungen von Prozessen in dieser Schrift dem Zwecke des Veranschaulichens verschiedener Ausführungsformen und sollten keinesfalls dahingehend ausgelegt werden, dass sie die Patentansprüche einschränken.
  • Dementsprechend versteht es sich, dass die vorstehende Beschreibung veranschaulichend und nicht einschränkend sein soll. Aus der Lektüre der vorstehenden Beschreibung ergeben sich viele andere Ausführungsformen und Anwendungen, bei denen es sich nicht um die bereitgestellten Beispiele handelt. Der Umfang sollte nicht unter Bezugnahme auf die vorstehende Beschreibung bestimmt werden, sondern sollte stattdessen unter Bezugnahme auf die beigefügten Patentansprüche bestimmt werden, zusammen mit der gesamten Bandbreite an Äquivalenten, zu denen diese Patentansprüche berechtigen. Es wird vorweggenommen und ist beabsichtigt, dass es zukünftige Entwicklungen bei den in dieser Schrift erörterten Technologien geben wird und dass die offenbarten Systeme und Verfahren in derartige zukünftigen Ausführungsformen einbezogen werden. Insgesamt versteht es sich, dass die Anmeldung zu Modifikation und Variation fähig ist.
  • Allen in den Patentansprüchen verwendeten Ausdrücken soll deren allgemeine Bedeutung zugeordnet werden, wie sie dem Fachmann auf dem Gebiet der in dieser Schrift beschriebenen Technologien bekannt ist, sofern in dieser Schrift keine ausdrückliche gegenteilige Angabe erfolgt. Insbesondere ist die Verwendung der Singularartikel, wie etwa „ein“, „eine“, „der“, „die“, „das“ usw., dahingehend auszulegen, dass eines oder mehrere der angegebenen Elemente genannt werden, sofern ein Patentanspruch nicht eine ausdrückliche gegenteilige Einschränkung nennt. Mit Formulierungen, die konditionale Zusammenhänge ausdrücken, wie unter anderem „kann“, „könnte“, „können“ oder „könnten“, soll im Allgemeinen vermittelt werden, dass gewisse Ausführungsformen gewisse Merkmale, Elemente und/oder Schritte beinhalten könnten, wohingegen andere Ausführungsformen diese nicht beinhalten können, es sei denn, es ist konkret etwas anderes angegeben oder es ergibt sich etwas anderes aus dem jeweils verwendeten Kontext. Somit sollen derartige Formulierungen, die konditionale Zusammenhänge ausdrücken, im Allgemeinen nicht implizieren, dass Merkmale, Elemente und/oder Schritte für eine oder mehrere Ausführungsformen in irgendeiner Weise erforderlich sind.
  • In einem Aspekt der Erfindung beinhaltet das Verfahren Folgendes: Pulsen der aktiven UI und einer inaktiven UI gegeneinander, wobei der Puls die Opazität des ersten Eingriffsschnittstellenabschnitts und des zweiten Eingriffsschnittstellenabschnitts umgekehrt beeinflusst.
  • In einem Aspekt der Erfindung beinhaltet das Verfahren Auswählen einer vorbestimmten Pulsfrequenz auf Grundlage einer Ereignisdringlichkeitsmetrik, die mit Sensorikdaten der mobilen Vorrichtung assoziiert ist, wobei die vorbestimmte Pulsfrequenz eine langsamere Frequenz umfasst, die mit einem niedrigen Wert für die Ereignisdringlichkeitsmetrik assoziiert ist, und eine Pulsfrequenz eine schnellere Frequenz umfasst, die mit einem hohen Wert für die Ereignisdringlichkeitsmetrik assoziiert ist.
  • Gemäß der vorliegenden Erfindung wird ein System bereitgestellt, das Folgendes aufweist: einen Prozessor; und einen Speicher zum Speichern von ausführbaren Anweisungen, wobei der Prozessor dazu programmiert ist, die Anweisungen zu Folgendem auszuführen: Darstellen eines ersten Eingriffsschnittstellenabschnitts und eines zweiten Eingriffsschnittstellenabschnitts über eine Mensch-Maschine-Schnittstelle (HMI) einer mobilen Vorrichtung; Empfangen einer ersten Eingabe, die eine Berührung des ersten Eingriffsschnittstellenabschnitts umfasst; Bewirken, dass die HMI eine aktive Benutzerschnittstelle (UI) von dem ersten Eingriffsschnittstellenabschnitt auf den zweiten Eingriffsschnittstellenabschnitt umschaltet; Bewirken, dass die aktive UI von einer teilweise transparenten Ausgabe auf eine opake Ausgabe umschaltet; Bestimmen, dass ein Benutzer ein Schwellenniveau an Eingriff in einen des ersten Eingriffsschnittstellenabschnitts und des zweiten Eingriffsschnittstellenabschnitts aufrechterhält; und Senden einer Konfigurationsnachricht an ein Fahrzeug, das kommunikativ mit der mobilen Vorrichtung gekoppelt ist, wobei die Konfigurationsnachricht Anweisungen zum Bewirken umfasst, dass eine Fahrzeugsteuerung das Fahrzeug als Reaktion auf das Bestimmen, dass der Benutzer das Schwellenniveau an Eingriff aufrechterhält, automatisch manövriert.
  • Gemäß einer Ausführungsform umfasst der erste Eingriffsschnittstellenabschnitt eine Eingriffsschnittstelle für komplexe Gesten, wobei der Prozess die Anweisungen zu Folgendem ausführt: Bestimmen, dass der Benutzer eine komplexe Geste durchführt, während er einen Berührungspunkt kontaktiert, der in der Eingriffsschnittstelle für komplexe Gesten angeordnet ist; Bestimmen, dass der Benutzer entweder den Kontakt mit dem Berührungspunkt unterbrochen hat oder aufgehört hat, die komplexe Geste durchzuführen; und Generieren einer Benutzereingriffswarnung als Reaktion auf das Bestimmen, dass der Benutzer entweder den Kontakt mit dem Berührungspunkt unterbrochen hat oder aufgehört hat, die komplexe Geste durchzuführen.
  • Gemäß der vorliegenden Erfindung ein nicht transitorisches computerlesbares Speichermedium in einer mobilen Vorrichtung, wobei das computerlesbare Speichermedium darauf gespeicherte Anweisungen aufweist, die bei Ausführung durch einen Prozessor bewirken, dass der Prozessor Folgendes ausführt: Darstellen eines ersten Eingriffsschnittstellenabschnitts und eines zweiten Eingriffsschnittstellenabschnitts; Empfangen einer ersten Eingabe, die eine Berührung des ersten Eingriffsschnittstellenabschnitts umfasst; Umschalten einer aktiven Benutzerschnittstelle (UI) von dem ersten Eingriffsschnittstellenabschnitt auf den zweiten Eingriffsschnittstellenabschnitt; Ändern der aktiven UI, sodass sie von einer teilweise transparenten Ausgabe auf eine opake Ausgabe umschaltet; Bestimmen, dass der Benutzer ein Schwellenniveau an Eingriff in einen des ersten Eingriffsschnittstellenabschnitts und des zweiten Eingriffsschnittstellenabschnitts aufrechterhält; und Senden einer Konfigurationsnachricht an ein Fahrzeug, das über Anbindung kommunikativ mit der mobilen Vorrichtung verbunden ist, wobei die Konfigurationsnachricht Anweisungen zum Bewirken umfasst, dass eine Fahrzeugsteuerung das Fahrzeug als Reaktion auf das Bestimmen, dass der Benutzer das Schwellenniveau an Eingriff aufrechterhält, automatisch manövriert.

Claims (15)

  1. Verfahren zum Steuern eines Fahrzeugs über eine mobile Vorrichtung, umfassend: Darstellen einer Mensch-Maschine-Schnittstelle (HMI), die einen ersten Eingriffsschnittstellenabschnitt und einen zweiten Eingriffsschnittstellenabschnitt umfasst, über einen Prozessor; Empfangen einer ersten Eingabe, die eine Berührung des ersten Eingriffsschnittstellenabschnitts umfasst, von einem Benutzer; Bewirken über den Prozessor, dass die HMI eine aktive UI von dem ersten Eingriffsschnittstellenabschnitt auf den zweiten Eingriffsschnittstellenabschnitt umschaltet; Bewirken über den Prozessor, dass die aktive UI von einer teilweise transparenten Ausgabe auf eine opake Ausgabe umschaltet; Bestimmen, dass der Benutzer ein Schwellenniveau an Eingriff in einen des ersten Eingriffsschnittstellenabschnitts und des zweiten Eingriffsschnittstellenabschnitts aufrechterhält; und Senden einer Konfigurationsnachricht an das Fahrzeug, wobei die Konfigurationsnachricht Anweisungen zum Bewirken umfasst, dass eine Fahrzeugsteuerung das Fahrzeug als Reaktion auf das Bestimmen, dass der Benutzer das Schwellenniveau an Eingriff aufrechterhält, automatisch manövriert.
  2. Verfahren nach Anspruch 1, ferner umfassend: Anbinden der mobilen Vorrichtung an das Fahrzeug über den Prozessor auf Grundlage der HMI als Reaktion auf ein Bestimmen, dass die mobile Vorrichtung Ultrabreitband-(UWB-)Fähigkeit umfasst.
  3. Verfahren nach Anspruch 2, ferner umfassend: Empfangen einer zweiten Eingabe von dem Benutzer, die eine Orbitalform umfasst; und Anbinden der mobilen Vorrichtung an das Fahrzeug als Reaktion auf das Empfangen der zweiten Eingabe.
  4. Verfahren nach Anspruch 1, wobei der erste Eingriffsschnittstellenabschnitt eine Eingriffsschnittstelle für komplexe Gesten umfasst.
  5. Verfahren nach Anspruch 4, ferner umfassend: Bestimmen über den Prozessor, dass der Benutzer eine komplexe Geste durchführt, während er einen Berührungspunkt kontaktiert, der in der Eingriffsschnittstelle für komplexe Gesten angeordnet ist; Bestimmen über den Prozessor, dass der Benutzer entweder den Kontakt mit dem Berührungspunkt unterbrochen hat oder aufgehört hat, die komplexe Geste durchzuführen; und Generieren einer Benutzereingriffswarnung über den Prozessor als Reaktion auf das Bestimmen, dass der Benutzer entweder den Kontakt mit dem Berührungspunkt unterbrochen hat oder aufgehört hat, die komplexe Geste durchzuführen.
  6. Verfahren nach Anspruch 5, wobei die Benutzereingriffswarnung eines oder mehrere von Folgenden umfasst: einer Textanweisung; einer akustischen Warnung; einer haptischen Warnung; und einer Opazitätsänderung eines UI-Elements, das mit dem ersten Eingriffsschnittstellenabschnitt assoziiert ist.
  7. Verfahren nach Anspruch 1, wobei das Bewirken, dass die HMI die aktive UI von dem ersten Eingriffsschnittstellenabschnitt auf den zweiten Eingriffsschnittstellenabschnitt umschaltet, Folgendes umfasst: Darstellen einer Benutzeranweisung für aktiven Benutzereingriff; Bestimmen über den Prozessor, dass der Benutzer die mobile Vorrichtung von dem Fahrzeug weggerichtet hat; und Empfangen einer Benutzereingabe, die eine komplexe Geste umfasst, auf Grundlage der Benutzeranweisung.
  8. Verfahren nach Anspruch 7, ferner umfassend: Bestimmen über den Prozessor, dass der Benutzer auf eine Fahrzeugbewegungsschaltfläche gedrückt und diese gedrückt gehalten hat.
  9. Verfahren nach Anspruch 1, wobei der erste Eingriffsschnittstellenabschnitt und der zweite Eingriffsschnittstellenabschnitt gleichzeitig auf einem Bildschirm der mobilen Vorrichtung dargestellt werden.
  10. Verfahren nach Anspruch 1, ferner umfassend Umschalten der aktiven UI auf Grundlage einer Position der mobilen Vorrichtung, wobei die Position eine Ausrichtung der mobilen Vorrichtung und eine Raumlage der mobilen Vorrichtung umfasst.
  11. Verfahren nach Anspruch 10, ferner umfassend: Bestimmen über den Prozessor, dass die Ausrichtung der mobilen Vorrichtung Hochformat ist; und Machen des ersten Eingriffsschnittstellenabschnitts zu der aktiven UI auf Grundlage davon, dass die Ausrichtung der mobilen Vorrichtung Hochformat ist.
  12. Verfahren nach Anspruch 11, wobei der Prozessor den ersten Eingriffsschnittstellenabschnitt unabhängig von der Raumlage der mobilen Vorrichtung zu der aktiven UI macht.
  13. Verfahren nach Anspruch 1, ferner umfassend: Bestimmen über den Prozessor, dass der Benutzer das Schwellenniveau an Eingriff nicht aufrechterhalten hat; Pulsen des ersten Eingriffsschnittstellenabschnitts und des zweiten Eingriffsschnittstellenabschnitts über den Prozessor durch kontinuierliches Ändern einer Opazität/Transparenz eines aktiven UI-Elements von größtenteils transparent zu größtenteils opak; und Ausgeben eines Bilds einer Fahrzeugszene einem Hintergrund des zweiten Eingriffsschnittstellenabschnitts, wobei das Fahrzeug als das aktive UI-Element gerendert wird, das sich von größtenteils transparent zu größtenteils opak ändert.
  14. Verfahren nach Anspruch 13, ferner umfassend: Zurückkehren zu einem Anzeigemodus im Hochformat als Reaktion auf ein Bestimmen, dass der Benutzer keinen kontinuierlichen Kontakt mit dem ersten Eingriffsschnittstellenabschnitt aufrechterhalten hat; und Ändern einer Opazität des aktiven UI-Elements, das Benutzeranweisungstext umfasst.
  15. Verfahren nach Anspruch 14, wobei das Ändern der Opazität des aktiven UI-Elements Folgendes umfasst: Bestimmen über den Prozessor, dass sich eine Ausrichtung der mobilen Vorrichtung geändert hat; und Ändern der Opazität des ersten Eingriffsschnittstellenabschnitts oder des zweiten Eingriffsschnittstellenabschnitts auf Grundlage eines vorbestimmten Pulses.
DE102022122847.9A 2021-09-17 2022-09-08 Einparkassistent mit augmented-reality- und berührungsbasiertem benutzereingriff Pending DE102022122847A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/478,541 2021-09-17
US17/478,541 US20230087202A1 (en) 2021-09-17 2021-09-17 Augmented Reality And Touch-Based User Engagement Parking Assist

Publications (1)

Publication Number Publication Date
DE102022122847A1 true DE102022122847A1 (de) 2023-03-23

Family

ID=85383677

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022122847.9A Pending DE102022122847A1 (de) 2021-09-17 2022-09-08 Einparkassistent mit augmented-reality- und berührungsbasiertem benutzereingriff

Country Status (3)

Country Link
US (1) US20230087202A1 (de)
CN (1) CN115826807A (de)
DE (1) DE102022122847A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD987666S1 (en) * 2019-09-11 2023-05-30 Ford Global Technologies, Llc Display screen or portion thereof with transitional graphical user interface
US11914835B2 (en) * 2020-11-16 2024-02-27 Samsung Electronics Co., Ltd. Method for displaying user interface and electronic device therefor
US20230256995A1 (en) * 2022-02-16 2023-08-17 Chan Duk Park Metaverse autonomous driving system and cluster driving

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10609335B2 (en) * 2012-03-23 2020-03-31 Magna Electronics Inc. Vehicle vision system with accelerated object confirmation
US20150193982A1 (en) * 2014-01-03 2015-07-09 Google Inc. Augmented reality overlays using position and orientation to facilitate interactions between electronic devices
US20160328077A1 (en) * 2014-01-31 2016-11-10 Hewlett-Packard Development Company, L.P. Touch sensor
US9688199B2 (en) * 2014-03-04 2017-06-27 Magna Electronics Inc. Vehicle alert system utilizing communication system
WO2017015046A1 (en) * 2015-07-17 2017-01-26 Crown Equipment Corporation Processing device having a graphical user interface for industrial vehicle
US20170253237A1 (en) * 2016-03-02 2017-09-07 Magna Electronics Inc. Vehicle vision system with automatic parking function
WO2018080442A1 (en) * 2016-10-25 2018-05-03 Hewlett-Packard Development Company, L.P. Selecting camera modes for electronic devices having multiple display panels
US10278778B2 (en) * 2016-10-27 2019-05-07 Inneroptic Technology, Inc. Medical device navigation using a virtual 3D space
US10166949B1 (en) * 2017-05-02 2019-01-01 Adel Selim Vehicle safety and security system
DK180470B1 (en) * 2017-08-31 2021-05-06 Apple Inc Systems, procedures, and graphical user interfaces for interacting with augmented and virtual reality environments
US10854002B2 (en) * 2017-09-08 2020-12-01 Verizon Patent And Licensing Inc. Interactive vehicle window system including augmented reality overlays
US11484365B2 (en) * 2018-01-23 2022-11-01 Inneroptic Technology, Inc. Medical image guidance
EP3762190A4 (de) * 2018-03-05 2022-01-26 The Regents Of The University Of Colorado Koordinierung in erweiterter realität einer mensch-roboter-interaktion
US11269323B2 (en) * 2018-03-27 2022-03-08 Denso International America, Inc. Remote park assist message flow systems and methods
US10788880B2 (en) * 2018-10-22 2020-09-29 Google Llc Smartphone-based radar system for determining user intention in a lower-power mode
US10719995B2 (en) * 2018-10-23 2020-07-21 Disney Enterprises, Inc. Distorted view augmented reality
US11281373B2 (en) * 2019-05-07 2022-03-22 Yifang Liu Multi-perspective input for computing devices
US11267483B2 (en) * 2019-08-26 2022-03-08 GM Global Technology Operations LLC Method and apparatus for prevention of unintended lane change maneuver in an assisted driving system
WO2022087152A1 (en) * 2020-10-20 2022-04-28 Polaris Industries Inc. Vehicle communication and monitoring
US11556175B2 (en) * 2021-04-19 2023-01-17 Toyota Motor Engineering & Manufacturing North America, Inc. Hands-free vehicle sensing and applications as well as supervised driving system using brainwave activity
US20220382275A1 (en) * 2021-05-28 2022-12-01 Jaguar Land Rover Limited Computer readable medium, apparatus, and method for controlling vehicle movement
KR20230037917A (ko) * 2021-09-10 2023-03-17 현대자동차주식회사 자율주행 차량용 통합조작장치의 경고신호 발생방법

Also Published As

Publication number Publication date
US20230087202A1 (en) 2023-03-23
CN115826807A (zh) 2023-03-21

Similar Documents

Publication Publication Date Title
DE102022122847A1 (de) Einparkassistent mit augmented-reality- und berührungsbasiertem benutzereingriff
DE102019128555A1 (de) Minderung einer intermittierenden verzögerung für ferngesteuerten fahrzeugvorgang
EP3027484B1 (de) Verfahren zum nutzen eines kommunikationsendgeräts in einem kraftfahrzeug beim aktivierten autopiloten und kraftfahrzeug
DE102018100182A1 (de) Insassenpräferenzen einbindendes autonomes Fahrzeugsteuersystem und -Verfahren
DE102019113578A1 (de) System und verfahren zur benachrichtigung von fahrzeugdiensten
DE102019124631A1 (de) Systeme und verfahren zur ferneinparkhilfe für ein fahrzeug
DE102021104592A1 (de) Benutzereingriffsschalter zum ferngesteuerten anhängerrangieren
DE102021116929A1 (de) Fernsteuerungssystem für ein fahrzeug und einen anhänger
DE102019129506A1 (de) Entfernte fahrzeugsteuerung
DE102020115556A1 (de) Ferngesteuerte anhängermanövrierhilfe
DE102021122404A1 (de) Fernsteuerungssystem für ein fahrzeug und einen anhänger
DE102021101380A1 (de) Ferngesteuertes anhängermanövrierassistenzsystem
DE102016223811A1 (de) System und verfahren für konnektivität von fahrzeuggebundenen und mobilen kommunikationseinrichtungen
DE102022101237A1 (de) Autonome fahrzeugkameraschnittstelle für drahtloses anbinden
DE102021100160A1 (de) Kapazitives sensorsystem zur erfassung von manipulation einer ladeflächenabdeckung
DE102020115502A1 (de) Ferngesteuerte anhängermanövrierhilfe
DE102022114735A1 (de) Unterstützung durch gezogenes fahrzeug
DE102022103197A1 (de) Authentifizierung von sowie Einsteige- und Absetzbestätigung für Mitfahrer in einem autonomen Fahrzeug
DE102020133412A1 (de) System und Verfahren zum Festlegen eines Fahrspurwechselmanövers
DE102021102159A1 (de) Kapazitive sensorsysteme für eine pickup-ladefläche und verfahren
DE102020133418A1 (de) System und Verfahren, um einen Fahrzeuginsassen darauf aufmerksam zu machen, Fahrzeugoperationen wieder aufzunehmen
DE102022100673A1 (de) Fernsteuerungssystem für ein fahrzeug und einen anhänger
DE102021125469A1 (de) Verbesserter Fahrzeugweg durch Augmented Reality
DE102021131852A1 (de) Systeme und verfahren zum beseitigen von störungen der fahrzeugbewegung während eines fernsteuerungs-fahrzeugmanövriervorgangs
DE102021132749A1 (de) Systeme und verfahren zur kopfpositionsinterpolation zur benutzerverfolgung

Legal Events

Date Code Title Description
R082 Change of representative

Representative=s name: BONSMANN - BONSMANN - FRANK PATENTANWAELTE, DE