-
Die vorliegende Erfindung betrifft ein Verfahren zur Ausgabe einer Rückmeldung bei einer Interaktion eines Nutzers mit einem datenverarbeitenden System in einer Nutzerumgebung, wobei ein datenverarbeitendes System vorgesehen ist, wobei das datenverarbeitende System zur Durchführung mindestens einer Anwendung eingerichtet ist, wobei der mindestens einen Anwendung eine Vielzahl von zulässigen Rückmeldungsmodalitäten zugeordnet ist, wobei ein Nutzer eine Interaktion mit einer Benutzerschnittstelle des datenverarbeitenden Systems durchführt.
-
Ferner betrifft die vorliegende Erfindung ein Kraftfahrzeug mit einem datenverarbeitenden System.
-
Bei der Interaktion mit datenverarbeitenden Systemen, beispielsweise durch Berührungseingaben oder im Rahmen einer Sprachsteuerung oder Gestensteuerung, ist es vorteilhaft, wenn das datenverarbeitende System eine die Interaktion betreffende Rückmeldung an den Nutzer ausgibt, damit die Interaktion für den Nutzer möglichst effektiv und leicht verständlich ist. Derartige Rückmeldungen können visuell bzw. optisch, akustisch oder haptisch erfolgen. So kann beispielsweise bei einer Gestensteuerung ein akustisches Signal ausgegeben werden, welches dem Nutzer mitteilt, dass eine Geste vom datenverarbeitenden System erkannt wurde.
-
Bei Gesteneingaben mit oder ohne Sichtkontakt ist zudem ein haptisches Feedback vorteilhaft. Insbesondere beim Interagieren mit von einem holographischen 3D-Display erzeugten virtuellen schwebenden Elementen ist es sinnvoll, dem Nutzer eine klare Rückmeldung zu geben, ob dessen Hand das virtuelle schwebende Element erreicht hat. Hier tritt oft der Effekt auf, dass Nutzer mit ihren Händen nicht weit genug vorgreifen, um das virtuell schwebende Element zu erreichen. Zur Erzeugung eines haptischen Feedbacks kann eine ultraschallbasierte haptische Rückmeldung eingesetzt werden.
-
Je nach Nutzerumgebung oder der aktuellen Situation, in der die Interaktion stattfindet, können bestimmte Rückmeldungsformen weniger geeignet sein.
-
So kann zum Beispiel eine akustische Rückmeldung bei einer vom Nutzer blind, das heißt ohne Sichtkontakt, mit einer Benutzerschnittstelle durchgeführten Interaktion gegenüber einer optischen Rückmeldung geeigneter sein, während bei direktem Sichtkontakt mit der Benutzerschnittstelle, beispielsweise mit einem holographischen 3D-Display oder einem Headup-Display, die visuelle Domäne dominant ist.
-
Eine akustische Rückmeldung kann zudem dann nachteilhaft sein, wenn sich der Nutzer gerade mit einer weiteren Person unterhält, Musik hört oder ein Telefonat führt, oder wenn sich in der Nähe schlafende Personen befinden.
-
Der Einsatz einer ultraschallbasierten haptischen Rückmeldung kann wiederum dann nachteilig sein, wenn sich für Ultraschall empfindliche Personen oder Haustiere, wie bspw. Hunde, in der Nähe befinden.
-
Aus der
US 2016/0124588 A1 ist ein Verfahren zur Rauminteraktion bekannt. Ein Anwendungsschnittstellenmodul erkennt verschiedene Gesten, mit denen ein Benutzer mit Menüs und anderen Informationen interagieren kann. Die Interaktion des Benutzers kann durch verschiedene Töne, die von einem Sounderzeugungsmodul erzeugt werden, und/oder durch verschiedene haptische Hinweise (z. B. Vibrationshinweise), die von einem Modul zur Erzeugung haptischer Hinweise erzeugt werden, ergänzt werden.
-
Die
US 2020/0089388 A1 offenbart Methoden und Systeme zur Bereitstellung einer multimodalen 3D-Objekt-Interaktion, die es dem Benutzer ermöglicht, mit digitalen 3D-Objekten auf natürliche und realistische Weise zu interagieren.
-
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur Ausgabe von Rückmeldungen bei einer Interaktion eines Nutzers mit einem datenverarbeitenden System bereitzustellen, mit dem der Nutzer bestmöglich unter den jeweiligen Umständen unterstützt werden kann.
-
Zur Lösung der der Erfindung zugrundeliegenden Aufgabe wird ein Verfahren zur Ausgabe einer Rückmeldung bei einer Interaktion eines Nutzers mit einem datenverarbeitenden System in einer Nutzerumgebung vorgeschlagen, wobei ein datenverarbeitendes System vorgesehen ist, wobei das datenverarbeitende System zur Durchführung mindestens einer Anwendung eingerichtet ist, wobei der mindestens einen Anwendung eine Vielzahl von zulässigen Rückmeldungsmodalitäten zugeordnet ist, wobei ein Nutzer eine Interaktion mit einer Benutzerschnittstelle des datenverarbeitenden Systems durchführt, wobei ferner vorgesehen ist, dass situationsbezogene Informationen ermittelt werden, dass in Abhängigkeit der situationsbezogenen Informationen mindestens eine Rückmeldungsmodalität aus der Vielzahl der zulässigen Rückmeldungsmodalitäten ausgewählt und/oder angepasst wird, und dass eine Rückmeldung gemäß der mindestens einen ausgewählten und/oder angepassten Rückmeldungsmodalität ausgegeben wird.
-
Unter einer Rückmeldungsmodalität wird im Rahmen der vorliegenden Erfindung die Art und Weise, bevorzugt der Kanal, einer möglichen Rückmeldung verstanden. So können Rückmeldungen optisch ausgegeben werden. Derartige Rückmeldungen entsprechen dann einer optischen Rückmeldungsmodalität. Akustische Rückmeldungen sind einer akustischen Rückmeldungsmodalität zuzuordnen und entsprechend haptische Rückmeldungen einer haptischen Rückmeldungsmodalität. Insbesondere kann der Begriff Rückmeldungsmodalität als Rückmeldungskanal verstanden werden. Eine Rückmeldungsmodalität beschreibt damit bevorzugt eine Klasse von Rückmeldungen, welche über einen der Rückmeldungsmodalität zugeordneten Ausgabekanal ausgegeben werden.
-
Das datenverarbeitende System kann dabei insbesondere jedes rechner- oder computergesteuerte System sein. Bevorzugt handelt es sich bei der Nutzerumgebung um ein Kraftfahrzeug mit einem Fahrzeuginnenraum, wobei das datenverarbeitende System dann ein System des Kraftfahrzeugs, beispielsweise ein Infotainmentsystem, sein kann.
-
Das datenverarbeitende System ist zur Durchführung mindestens einer Anwendung eingerichtet. Bei der Anwendung kann es sich zum Beispiel um die Anzeige einer Karte oder einer Navigationsanzeige, um die Anzeige beziehungsweise die Navigation durch eine Menüstruktur oder, im Fall eines sogenannten holografischen 3D-Displays, um die Anzeige eines virtuellen schwebenden Objekts handeln. Insbesondere kann die Anwendung eine Anwendung eines Infotainmentsystems eines Kraftfahrzeugs sein.
-
Zur Interaktion mit dem datenverarbeitenden System beziehungsweise zur Steuerung oder Bedienung der Anwendung weist das datenverarbeitende System eine Benutzerschnittstelle auf. Die Benutzerschnittstelle kann ein berührungsempfindliches Display sein oder physische Bedienelemente wie Tasten oder Knöpfe umfassen. Bevorzugt handelt es sich jedoch um eine berührungslose Schnittstelle. Die berührungslose Schnittstelle kann zu einer, bevorzugt kamera-, lidar- oder ultraschallbasierten, Gestensteuerung ausgebildet sein. Ferner kann die berührungslose Schnittstelle ein Display und insbesondere ein holografisches 3D-Display zur Darstellung virtueller schwebender Elemente, mit denen ein Nutzer interagieren kann, sein. Die Benutzerschnittstelle kann auch ein Mikrofon für Spracheingaben aufweisen.
-
Die Vielzahl von Rückmeldungsmodalitäten kann eine akustische Rückmeldungsmodalität und/oder eine optische Rückmeldungsmodalität und/oder eine haptische Rückmeldungsmodalität umfassen. Ferner kann die Vielzahl von Rückmeldungsmodalitäten auch mehrere Rückmeldungsmodalitäten umfassen, welche sich in einem Charakteristikum wie beispielsweise der Intensität unterscheiden. Beispielsweise kann die Vielzahl von Rückmeldungsmodalitäten zwei akustische Rückmeldungsmodalitäten umfassen, welche sich in der Lautstärke der Rückmeldung unterscheiden. Entsprechendes gilt für optische und haptische Rückmeldungsmodalitäten.
-
Für die mindestens eine Anwendung sind mehrere Rückmeldungsmodalitäten zulässig, das heißt, dass Rückmeldungen in unterschiedlicher Form und/oder über unterschiedliche Kanäle und/oder in unterschiedlicher Intensität ausgegeben werden können. So ist es möglich, dass für die Anwendung akustische Rückmeldungen entsprechend einer akustischen Rückmeldungsmodalität, optische Rückmeldungen entsprechend einer optischen Rückmeldungsmodalität und/oder haptische Rückmeldungen entsprechend einer haptischen Rückmeldungsmodalität zulässig sind.
-
Erfindungsgemäß werden situationsbezogene Informationen ermittelt. Die situationsbezogenen Informationen können dabei jegliche Umstände betreffen, die den Nutzer, die Nutzerumgebung, und/oder das datenverarbeitende System betreffen.
-
Ferner ist erfindungsgemäß vorgesehen, dass in Abhängigkeit der situationsbezogenen Informationen mindestens eine Rückmeldungsmodalität aus der Vielzahl der zulässigen Rückmeldungsmodalitäten ausgewählt und/oder angepasst wird, und dass eine Rückmeldung gemäß der mindestens einen ausgewählten und/oder angepassten Rückmeldungsmodalität ausgegeben wird.
-
Es kann eine Rückmeldungsmodalität ausgewählt und/oder angepasst werden. Es ist aber auch möglich, dass mehrere Rückmeldungsmodalitäten ausgewählt und/oder angepasst werden.
-
So kann beispielsweise in Abhängigkeit der situationsbezogenen Informationen eine akustische Rückmeldungsmodalität und/oder eine optische Rückmeldungsmodalität und/oder eine haptische Rückmeldungsmodalität ausgewählt werden und die Rückmeldung erfolgt entsprechend der ausgewählten Rückmeldungsmodalität bzw. der ausgewählten Rückmeldungsmodalitäten. Ferner ist es möglich, dass wenn beispielsweise eine akustische Rückmeldungsmodalität ausgewählt wurde, die Intensität bzw. die Lautstärke der Rückmeldung angepasst wird. Zudem ist es möglich, dass die Vielzahl von Rückmeldungsmodalitäten zwei akustische Rückmeldungsmodalitäten umfasst, welche sich in einem Charakteristikum wie der Intensität bzw. der Lautstärke unterscheiden. Es kann dann die akustische Rückmeldungsmodalität ausgewählt werden, welche hinsichtlich der situationsbezogenen Informationen eine geeignete Intensität oder Lautstärke aufweist. Entsprechendes gilt für optische und haptische Rückmeldungsmodalitäten.
-
Wenn der Nutzer beispielsweise gerade ein Telefonat führt, kann anstelle einer akustischen Rückmeldungsmodalität eine optische Rückmeldungsmodalität ausgewählt werden. Der Nutzer kann somit das Telefonat ungehindert fortführen, erhält aber gemäß der optischen Rückmeldungsmodalität eine optische Rückmeldung zu seiner Interaktion mit dem datenverarbeitenden System. Befindet sich eine schlafende Person in der Nutzerumgebung, so können die situationsbezogenen Informationen entsprechend die Information beinhalten, dass sich eine schlafende Person in der Nähe befindet. Auch in diesem Fall kann die optische Rückmeldungsmodalität ausgewählt werden. Auch wäre es möglich, eine akustische Rückmeldungsmodalität mit einer geringeren Lautstärke auszuwählen oder die Lautstärke einer akustischen Rückmeldungsmodalität anzupassen, um die schlafende Person nicht zu wecken.
-
Die Rückmeldung wird bevorzugt über eine Ausgabevorrichtung ausgegeben. Dabei kann die Ausgabevorrichtung von der Benutzerschnittstelle verschieden sein. Grundsätzlich ist jedoch auch möglich, dass die Ausgabevorrichtung identisch mit der Benutzerschnittstelle ist. Insbesondere wenn es sich bei der Benutzerschnittstelle um ein Display, wie beispielsweise ein holografisches 3D-Display handelt, kann das Display einerseits zur Interaktion des Nutzers mit dem datenverarbeitenden System verwendet werden und gleichzeitig als Ausgabekanal von optischen Rückmeldungen dienen.
-
Die Ermittlung der situationsbezogenen Informationen kann mittels entsprechenden, bevorzugt Sensoren umfassenden, Vorrichtungen erfolgen. Derartige Vorrichtungen sind dem Fachmann bekannt. Für die Verarbeitung der situationsbezogenen Informationen und/oder die Auswahl der Rückmeldungsmodalität kann eine entsprechend eingerichtete Datenverarbeitungsvorrichtung vorgesehen sein.
-
Bevorzugt ist vorgesehen, dass die Rückmeldungsmodalitäten eine akustische Rückmeldungsmodalität und/oder eine optische Rückmeldungsmodalität und/oder eine haptische Rückmeldungsmodalität umfassen.
-
Für eine haptische Rückmeldungsmodalität können beispielsweise Piezoschwinger in Oberflächen in der Nutzerumgebung angeordnet sein, um bei einer Berührung der Oberfläche eine haptische Rückmeldung an den Nutzer auszugeben.
-
Bevorzugt ist jedoch vorgesehen, dass die haptische Rückmeldungsmodalität eine ultraschallbasierte Rückmeldungsmodalität umfasst.
-
Dies ist insbesondere dann sinnvoll, wenn es sich bei der Benutzerschnittstelle um ein holografisches 3D-Display handelt, in welchem Fall eine Kontaktrückmeldung nicht einfach umsetzbar ist. In diesem Fall wird ultraschallbasiert ein haptisches Feedback bzw. eine haptische Rückmeldung an den Nutzer ausgegeben.
-
Mit weiterem Vorteil kann vorgesehen sein, dass, wie vorstehend erläutert, eine Intensität der Rückmeldungsmodalität angepasst wird.
-
Dabei ist bevorzugt vorgesehen, dass die Intensität eine Lautstärke oder eine Lichtintensität oder eine Stärke einer haptischen Rückmeldung umfasst.
-
Mit weiterem Vorteil kann vorgesehen sein, dass die Nutzerumgebung ein Kraftfahrzeug, bevorzugt ein Fahrzeuginnenraum, ist, und dass das datenverarbeitende System ein System des Kraftfahrzeugs, insbesondere ein Fahrerassistenzsystem oder ein Infotainmentsystem, ist.
-
Eine besonders vorteilhafte Anwendung des Verfahrens kann in einem Kraftfahrzeug erfolgen. In diesem Fall handelt es sich bei der Nutzerumgebung um das Kraftfahrzeug, insbesondere um einen Fahrzeuginnenraum des Kraftfahrzeugs. Das datenverarbeitende System kann dann ein System des Kraftfahrzeugs, wie beispielsweise ein Fahrerassistenzsystem oder ein Infotainmentsystem sein.
-
Beispielsweise kann ein Nutzer bzw. Fahrer während der Fahrt über eine akustische Benutzerschnittstelle, insbesondere ein Mikrofon, eine Spracheingabe und somit eine sprachliche Interaktion, beispielsweise mit einem Infotainmentsystem, vornehmen. Wenn der Fahrer oder der Nutzer dabei Blickkontakt, beispielsweise mit einem Display des Infotainmentsystems, hat, kann ihm eine optische Rückmeldung ausgegeben werden. Konzentriert sich der Fahrer hingegen auf die Straße, so kann gemäß dem Verfahren als Rückmeldungsmodalität die akustische Rückmeldungsmodalität gewählt und entsprechend eine akustische Rückmeldung ausgegeben werden.
-
Ebenso ist es beispielsweise möglich, dass sich im Fahrzeug weitere Passagiere, Kinder oder Tiere, wie beispielsweise ein Hund, befinden. Befindet sich eine schlafende Person in dem Kraftfahrzeug, wäre die Wahl der akustischen Rückmeldungsmodalität eher nachteilig, da die Gefahr besteht, dass die schlafende Person geweckt wird.
-
Eine ultraschallbasierte haptische Rückmeldungsmodalität wäre insbesondere dann nicht vorteilhaft, wenn sich Kinder oder Tiere im Kraftfahrzeug befinden, da diese oft empfindlich für Ultraschall sind. Entsprechend kann für diesen Fall eine optische Rückmeldungsmodalität gewählt werden.
-
Mit weiterem Vorteil ist vorgesehen, dass die situationsbezogenen Informationen, bevorzugt eine Tätigkeit oder einen Aufmerksamkeitszustand, des Nutzers oder einer weiteren Person oder eines weiteren Lebewesens betreffen.
-
Mit weiterem Vorteil ist vorgesehen, dass die Tätigkeit ein aktives Gespräch oder ein Telefonat oder das Hören von Musik ist, und/oder dass der Aufmerksamkeitszustand das Fehlen oder Vorliegen eines Blickkontakts mit der Benutzerschnittstelle, ein Wachzustand oder ein Schlafzustand ist.
-
Die situationsbezogenen Informationen können auch einen Aufmerksamkeitszustand des Nutzers betreffen. Ist ein Fahrer eines Kraftfahrzeugs stark auf die Straße konzentriert, so kann gegebenenfalls vorgesehen sein, dass gar keine Rückmeldung ausgegeben wird, oder dass die optische Rückmeldungsmodalität gewählt wird, wobei insbesondere bevorzugt eine optische Rückmeldung über ein Headup-Display an den Fahrer ausgegeben wird. Durch die Ausgabe über das Headup-Display wird die Aufmerksamkeit des Fahrers nicht von der Straße gelenkt.
-
Bevorzugt ist vorgesehen, dass die weitere Person ein Passagier, insbesondere ein Kind, ist, oder dass das weitere Lebewesen ein Tier, insbesondere ein Haustier, bevorzugt ein Hund oder eine Katze, ist.
-
Die situationsbezogenen Informationen können auch weitere Personen und deren Tätigkeiten oder Aufmerksamkeitszustand betreffen. Beispielsweise können sich schlafende Personen in der Nähe befinden, in welchem Falle die situationsbezogenen Informationen die Information über die schlafenden Personen beinhalten. Wie vorstehend erläutert, kann in diesem Fall eine optische Rückmeldungsmodalität gewählt werden, um die schlafenden Personen nicht zu wecken.
-
Mit weiterem Vorteil ist vorgesehen, dass die situationsbezogenen Informationen eine Fahrsituation des Kraftfahrzeugs betrifft.
-
Auch in Abhängigkeit der Fahrsituation des Kraftfahrzeugs können sich unterschiedliche Rückmeldungsmodalitäten unterschiedlich sinnvoll erweisen. Bei hohen Fahrgeschwindigkeiten kann beispielsweise die optische Rückmeldungsmodalität, insbesondere über ein Headup-Display, gewählt werden, um die Aufmerksamkeit des Fahrers nicht von der Straße zu lenken.
-
Bei einer Nachtfahrsituation kann eine optische Rückmeldungsmodalität in ihrer Intensität angepasst werden, oder es kann für die Ausgabe einer Rückmeldung zu einer Interaktion des Nutzers mit dem datenverarbeitenden System die akustische oder haptische Rückmeldungsmodalität gewählt werden.
-
Geht aus den situationsbezogenen Informationen hervor, dass der Fahrer oder Nutzer nicht abgelenkt werden sollte, so kann auch auf das Ausgeben einer Rückmeldung vollständig verzichtet werden.
-
Entsprechend kann bevorzugt vorgesehen sein, dass eine Umgebungserkennung, bevorzugt eine Passagierzustandserkennung, eine Insassenerkennung, eine Innenraumwahrnehmung oder eine Fahrsituationserkennung durchgeführt wird.
-
Bevorzugt ist vorgesehen, dass die Benutzerschnittstelle eine berührungslose Schnittstelle ist, und dass die Interaktion eine berührungslose Interaktion ist.
-
Mit Vorteil ist vorgesehen, dass die Interaktion eine Gesteninteraktion ist.
-
Bei der berührungslosen Schnittstelle kann es sich um eine optische, beispielsweise kamerabasierte, Schnittstelle handeln. So kann beispielsweise ein Nutzer mit dem datenverarbeitenden System, insbesondere in einem Kraftfahrzeug, wie einem Infotainmentsystem, über Blickkontakt kommunizieren. Hierbei werden mittels Kameras die Augen des Fahrers getrackt und daraus gewünschte Interaktionen des Nutzers abgeleitet. Auch eine Spracheingabe fällt unter den Begriff einer berührungslosen Interaktion. Eine weitere berührungslose Schnittstelle besteht in einem sogenannten holografischen 3D-Display, von welchem virtuelle schwebende 3D-Objekte angezeigt werden. Ein Nutzer kann diese virtuellen schwebenden 3D-Objekte mit der Hand oder den Fingern virtuell berühren.
-
Die Gesten können zum Beispiel ein Wischen, Tippen, Sliden, Drehen oder einen Zwei-Finger-Zoom umfassen. Die Gesteninteraktion kann dabei auch im Zusammenhang mit einem holografischen 3D-Display eingesetzt werden.
-
Eine weitere Lösung der der Erfindung zugrundeliegenden Aufgabe besteht in einem Kraftfahrzeug umfassend einen Fahrzeuginnenraum, ein datenverarbeitendes System mit einer Benutzerschnittstelle und eine Steuervorrichtung, wobei das Kraftfahrzeug Mittel zur Ermittlung situationsbezogener Informationen aufweist, wobei das datenverarbeitende System eine Ausgabevorrichtung zur Ausgabe einer Rückmeldung aufweist, und wobei die Steuervorrichtung zur Durchführung eines vorbeschriebenen Verfahrens ausgebildet ist.
-
Bevorzugt ist vorgesehen, dass die Mittel zur Ermittlung situationsbezogener Informationen Vorrichtungen zur Umgebungserkennung, bevorzugt zur Passagierzustandserkennung, Insassenerkennung, Innenraumwahrnehmung oder Mittel zur Fahrsituationserkennung, umfassen.
-
Sämtliche im Zusammenhang mit dem vorbeschriebenen Verfahren erläuterten Merkmale und Funktionen können in entsprechender Weise auch auf das Kraftfahrzeug und dessen Komponenten übertragen werden.
-
Die Erfindung wird nachstehend näher anhand der beigefügten Figuren erläutert. Es zeigen
- 1 ein Kraftfahrzeug, und
- 2 ein Ablaufdiagramm eines Verfahrens zur Ausgabe einer Rückmeldung bei einer Interaktion eines Nutzers mit einem datenverarbeitenden System.
-
Anhand der 1 und 2 wird ein Verfahren 100 zur Ausgabe einer Rückmeldung bei einer Interaktion eines Nutzers 10 mit einem datenverarbeitenden System 11 in einer Nutzerumgebung 12 erläutert. 1 zeigt ein Kraftfahrzeug 200 mit einem Fahrzeuginnenraum 13. Das Kraftfahrzeug 200 beziehungsweise der Fahrzeuginnenraum 13 stellt eine Nutzerumgebung 12 dar. Das Kraftfahrzeug 200 weist ein datenverarbeitendes System 11 mit einer Benutzerschnittstelle 14 auf. Bei dem datenverarbeitenden System 11 handelt es sich um ein Infotainmentsystem 15, und die Benutzerschnittstelle 14 ist als holografisches 3D-Display 16 ausgebildet. Das Infotainmentsystem 15 ist zur Ausführung eine Anwendung, wie beispielsweise einer Musikwiedergabe ausgebildet. Die Interaktion des Nutzers 10 mit dem Infotainmentsystem 15 zur Steuerung der Anwendung erfolgt über das holografische 3D-Display 16. Ferner ist eine Steuervorrichtung 17 im Kraftfahrzeug 200 vorgesehen, welche zur Durchführung des Verfahrens 100 eingerichtet ist. Das Kraftfahrzeug 200 umfasst ferner Mittel 18 zur Ermittlung von situationsbezogenen Informationen. Diese Mittel 18 können Sensoren 19 zur Ermittlung von Fahrsituationen umfassen. Ferner umfassen die Mittel Sensoren 20 für die Passagierzustandserkennung, Insassenerkennung und Innenraumwahrnehmung. Zudem sind Ausgabevorrichtungen 21 zur Ausgabe einer Rückmeldung vorgesehen. Die Ausgabevorrichtungen 21 umfassen das holografische 3D-Display 16 sowie Lautsprecher 22 und einen Ultraschallsender 23. Für die Anwendung sind mehrere Rückmeldungsmodalitäten zulässig. Im gezeigten Beispiel können optische Rückmeldungen gemäß einer optischen Rückmeldungsmodalität über das holografische 3D-Display 16 sowie akustische Rückmeldungen gemäß einer akustischen Rückmeldungsmodalität über die Lautsprecher 22 ausgegeben werden. Ferner kann eine ultraschallbasierte haptische Rückmeldung gemäß einer haptischen Rückmeldungsmodalität über den Ultraschallsender 23 ausgegeben werden.
-
2 zeig ein Ablaufdiagramm des Verfahrens 100. In einem ersten Verfahrensschritt S1 führt der Nutzer 10 eine Interaktion mit der Benutzerschnittstelle 14 des datenverarbeitenden Systems 11 durch. So kann beispielsweise vorgesehen sein, dass der Nutzer 10 mit seiner Hand ein von dem holografischen 3D-Display 16 erzeugtes virtuelles schwebendes Objekt 24 berührt. Auch kann vorgesehen sein, dass der Nutzer 10 Handgesten für eine Gestensteuerung, wie beispielsweise Wischen, Zoomen, usw. durchführt. Zur Erkennung der Handgesten des Nutzers 10 sind Kameras 25 im Fahrzeuginnenraum 13 vorgesehen. In einem zweiten Verfahrensschritt S2, welcher auch vor oder während des ersten Verfahrensschrittes S1 erfolgen kann, werden situationsbezogene Informationen mittels der Sensoren 20 für die Passagierzustandserkennung, Insassenerkennung und Innenraumwahrnehmung und der Sensoren 19 zur Ermittlung von Fahrsituationen ermittelt.
-
Die situationsbezogenen Informationen können dabei den Aufmerksamkeitszustand des Nutzers 10, aber auch den Aufmerksamkeitszustand weiterer Personen 26, oder im Fahrzeuginnenraum 13 befindliche Tiere 27 betreffen (1).
-
In einem dritten Verfahrensschritt S3 wird in Abhängigkeit der informationsbezogenen Informationen eine Rückmeldungsmodalität aus den für die Anwendung zulässigen Rückmeldungsmodalitäten ausgewählt. Anschließend wird in einem vierten Verfahrensschritt S4 eine Rückmeldung gemäß der ausgewählten Rückmeldungsmodalität ausgegeben.
-
Im hier beispielhaft erläuterten Fall können die situationsbezogenen Informationen die Informationen umfassen, dass sich eine schlafende Person 26 sowie ein Tier 27 innerhalb des Fahrzeuginnenraumes 13 befinden. Da sich eine schlafende Person 26 in dem Fahrzeuginnenraum 13 befindet, kann eine akustische Rückmeldung gemäß der akustische Rückmeldungsmodalität ungeeignet sein, da sonst die Gefahr besteht, dass die schlafende Person 26 geweckt wird. Ferner kann ein ultraschallbasiertes haptisches Feedback für die Interaktion des Nutzers 10 mit den virtuellen schwebenden Objekten 24 ungeeignet sein, da Tiere 27 empfindlich auf Ultraschall reagieren können. Entsprechend wird in dem dargestellten Fall als Rückmeldungsmodalität die optische Rückmeldungsmodalität beziehungsweise der optische Rückmeldungskanal gewählt. Zur Rückmeldung an den Nutzer 10 kann somit auf dem holografischen 3D-Display 16 optisch eine Rückmeldung ausgegeben werden. Die Rückmeldung kann auch in einer optischen Veränderung des virtuellen schwebenden Objekts 24 bestehen.
-
Bezugszeichenliste
-
- 100
- Verfahren
- 200
- Kraftfahrzeug
- 10
- Nutzer
- 11
- Datenverarbeitendes System
- 12
- Nutzerumgebung
- 13
- Fahrzeuginnenraum
- 14
- Benutzerschnittstelle
- 15
- Infotainmentsystem
- 16
- Holografisches 3D-Display
- 17
- Steuervorrichtung
- 18
- Mittel zur Ermittlung von situationsbezogenen Informationen
- 19
- Sensor
- 20
- Sensor
- 21
- Ausgabevorrichtung
- 22
- Lautsprecher
- 23
- Ultraschallsender
- 24
- Virtuelles schwebendes Objekt
- 25
- Kamera
- 26
- Person
- 27
- Tier
- S1
- Verfahrensschritt
- S2
- Verfahrensschritt
- S3
- Verfahrensschritt
- S4
- Verfahrensschritt
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 20160124588 A1 [0009]
- US 20200089388 A1 [0010]
