DE102017212215A1 - Bedienverfahren für ein Gerät eines Kraftfahrzeugs, Bedienvorrichtung und Kraftfahrzeug - Google Patents

Bedienverfahren für ein Gerät eines Kraftfahrzeugs, Bedienvorrichtung und Kraftfahrzeug Download PDF

Info

Publication number
DE102017212215A1
DE102017212215A1 DE102017212215.3A DE102017212215A DE102017212215A1 DE 102017212215 A1 DE102017212215 A1 DE 102017212215A1 DE 102017212215 A DE102017212215 A DE 102017212215A DE 102017212215 A1 DE102017212215 A1 DE 102017212215A1
Authority
DE
Germany
Prior art keywords
motor vehicle
evaluation
data
input
navigation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102017212215.3A
Other languages
English (en)
Other versions
DE102017212215B4 (de
Inventor
Tim Pensel
Felix Richter
Malte Möller
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Original Assignee
Audi AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG filed Critical Audi AG
Priority to DE102017212215.3A priority Critical patent/DE102017212215B4/de
Publication of DE102017212215A1 publication Critical patent/DE102017212215A1/de
Application granted granted Critical
Publication of DE102017212215B4 publication Critical patent/DE102017212215B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3679Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3605Destination input or retrieval
    • G01C21/3608Destination input or retrieval using speech input, e.g. using speech recognition
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3664Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures

Abstract

Die Erfindung betrifft ein Bedienverfahren zum Bedienen eines Gerätes (14) eines Kraftfahrzeugs (10), wobei bei dem Bedienverfahren Sprache, Gestik und/oder manuelle Eingaben eines Insassen (26) des Kraftfahrzeugs (10) mittels einer Eingabeerfassungseinrichtung (20) erfasst werden, um Eingabedaten zu erhalten, und Navigationsdaten des Kraftfahrzeugs (10) mittels einer Navigationseinrichtung (34) ermittelt werden. Die Erfindung sieht vor, dass die Eingabedaten und die Navigationsdaten mittels einer Auswerteeinrichtung (36) gemeinsam ausgewertet werden, um ein Auswertesignal zu erhalten, wobei das Gerät (14) mittels einer Steuereinrichtung (48) basierend auf dem Auswertesignal angesteuert wird.

Description

  • Die Erfindung betrifft Bedienverfahren zum Bedienen eines Gerätes eines Kraftfahrzeugs. Ferner betrifft die Erfindung eine Bedienvorrichtung zum Durchführen des Bedienverfahrens und ein damit versehenes Kraftfahrzeug.
  • Neue Bedienkonzepte für Kraftfahrzeuge werden im Zuge der weiteren Automatisierung des Fahrvorgangs sowie im Hinblick auf die stetige Verringerung des Unfallrisikos zusehends wichtiger. Verschiedene Einrichtungen bzw. Geräte des Kraftfahrzeugs, wie etwa Fahrerassistenzsysteme, Anzeigegeräte oder Lenk- und Antriebseinrichtungen nutzen dabei, die im Kraftfahrzeug vorhandenen Eingabeschnittstellen. Allerdings verwenden bekannte Connect Dienste ausschließlich die durch den Benutzer bereitgestellten Eingaben, der dadurch den Dienst steuert und/oder die Inhalte des Dienstes durch diverse Menüs aussucht und anzeigen lassen kann. Dies kann insbesondere beim Fahrer zu einer unerwünschten Ablenkung vom Verkehrsgeschehen führen, welche das Unfallrisiko steigern kann.
  • Die DE 10 2013 016 196 A1 offenbart ein Kraftfahrzeug mit einer ersten Bedienschnittstelle, durch welche eine Sprachbedienung zumindest eines Geräts des Kraftfahrzeugs bereitgestellt ist, und mit einer weiteren Bedienschnittstelle, durch welche eine auf zumindest einer anderen Eingabemodalität basierende Bedienung des zumindest einen Geräts bereitgestellt ist. Die erste Bedienschnittstelle ist dazu ausgelegt, in einer Spracheingabe eines Benutzers zumindest einen Referenzbegriff zu erkennen, welcher auf zumindest ein Objekt hinweist, das der Benutzer mittels der zumindest einen anderen Eingabemodalität beschreibt. Eine Steuereinrichtung ist dazu ausgelegt, in Abhängigkeit von dem zumindest einen erkannten Referenzbegriff und in Abhängigkeit von einer über die weitere Bedienschnittstelle empfangenen Benutzereingabe das zumindest eine Objekt zu ermitteln und in Abhängigkeit von der Spracheingabe und dem zumindest einen ermittelten Objekt zumindest einen Steuerbefehl zu erzeugen und an das zumindest eine Gerät auszusenden.
  • Die EP 1 830 244 A2 offenbart ein Verfahren und eine Vorrichtung zum Betreiben von zumindest zwei Funktionskomponenten eines Systems, bei dem eine der Funktionskomponenten zum weiteren Bedienen durch zumindest ein akustisches Signal ausgewählt wird, welches der Funktionskomponente spezifisch zugeordnet wird, und eine Funktion und/oder ein Betriebszustand einer ausgewählten Funktionskomponente abhängig von Gesten eines Bedieners eingestellt wird, wobei eine vorgebbare Mehrzahl unterschiedlicher Gesten für das Einstellen einer Funktionskomponente zugrunde gelegt wird und zumindest eine der Gesten bei beiden Funktionskomponenten einer jeweils komponentenspezifischen Einstellung einer Funktion und/oder einem Betriebszustand zugeordnet wird, und abhängig von einem Erfassen einer Geste durch eine Erfassungsvorrichtung eine der erfassten Geste zugeordnete Funktion und/oder ein Betriebszustand der ausgewählten Funktionskomponente eingestellt wird.
  • Die DE 10 2009 058 146 A1 offenbart ein Verfahren zum Betreiben eines Kraftfahrzeugs, wobei das Kraftfahrzeug eine Erkennungseinrichtung zum Erfassen und Interpretieren von Gesten eines Insassen des Kraftfahrzeugs sowie ein zentrales Bedienelement zum Steuern von jeweils einer von mehreren Komponenten des Kraftfahrzeugs aufweist, mit einem Auswählen einer der Komponenten durch den Insassen mittels einer Geste, einem Erfassen der Geste durch die Erkennungseinrichtung, einem Interpretieren der erfassten Geste und Identifizieren der vom Insassen ausgewählten Komponente durch die Erkennungseinrichtung, gefolgt von einem Aktivieren eines Bedienmodus des zentralen Bedienelements, in welchem zumindest eine Funktion der ausgewählten Komponente einstellbar ist, um ein Bedienen von Komponenten eines Kraftfahrzeugs zu vereinfachen.
  • Die bekannten Verfahren ermöglichen eine Steuerung mittels Gestik und/oder Sprache, was den Benutzer, insbesondere den Fahrer, weniger ablenken kann. Dennoch können der Sinnzusammenhang der Spracheingabe oder die Gesten des Benutzers nicht immer zuverlässig ermittelt werden. Es können beispielsweise Mehrdeutigkeiten in der Befehlseingabe verbleiben, welche zu ihrer Beseitigung wiederum eine Nutzereingabe erfordern. Ferner gibt es keine Möglichkeit die Connect Dienste nach weiteren Merkmalen, beispielsweise nach Standort- und Umgebungsinformationen, automatisch zu steuern.
  • Der Erfindung liegt die Aufgabe zugrunde, Maßnahmen bereitzustellen, die eine zuverlässigere Steuerung eines Kraftfahrzeugs ermöglichen und gleichzeitig das Unfallrisiko senken können.
  • Die Aufgabe wird durch den Gegenstand der unabhängigen Ansprüche gelöst. Bevorzugte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Ansprüche.
  • Die Erfindung schafft ein Bedienverfahren zum Bedienen eines Gerätes eines Kraftfahrzeugs mit den Schritten:
    1. a) Erfassen von Sprache, Gestik und/oder manuellen Eingaben eines Insassen des Kraftfahrzeugs mittels einer Eingabeerfassungseinrichtung, um Eingabedaten zu erhalten;
    2. b) Ermitteln von Navigationsdaten des Kraftfahrzeugs mittels einer Navigationseinrichtung;
    3. c) gemeinsames Auswerten der Eingabedaten und der Navigationsdaten mittels einer Auswerteeinrichtung, um ein Auswertesignal zu erhalten;
    4. d) Ansteuern des Gerätes mittels einer Steuereinrichtung basierend auf dem Auswertesignal.
  • Die Nutzung von Diensten, insbesondere zur Anzeige lokaler Informationen, kann vereinfacht werden. In vielen Fällen werden Connect Dienste beispielsweise dafür genutzt, Informationen zu Merkmalen, etwa Wetterangaben, Verkehrsinformationen, Ortschaften und dergleichen, in unmittelbarer Nähe zum Fahrzeug oder entlang des Fahrweges des Fahrzeugs aufzurufen. Durch die zusätzliche Verwendung der Navigationsdaten kann ein um ein Vielfaches erleichterter Aufruf erfolgen, das die gewöhnliche Menüstruktur, die bisher der Auswahl der erforderlichen Eingaben genügte, damit in den Hintergrund rückt. Dabei wird zunächst anhand der Sprache oder Eingabe eine erste Analyse vorgenommen, welchen Befehl der Benutzer ausgeführt haben möchte. Anhand der Gestik und der Navigationsdaten wird sodann ein örtlicher Bezug zu dem möglichen Befehl hergestellt. Insgesamt kann somit ein genaueres Ergebnis erhalten werden und/oder die Fehlerrate bei der Gestenerkennung gesenkt werden.
  • Es ist bevorzugt, dass die Auswerteeinrichtung eine Datenfernübertragungseinrichtung und eine Basisstation umfasst, wobei in Schritt c) die Eingabedaten und/oder die Navigationsdaten mittels der Datenfernübertragungseinrichtung an die Basisstation übertragen und von der Basisstation ausgewertet werden. Es ist bevorzugt, dass das in Schritt c) erhaltene Auswertesignal mittels der Datenfernübertragungseinrichtung von der Basisstation an das Kraftfahrzeug übermittelt und der Steuereinrichtung zugeführt wird. Die Basisstation kann als ein Servers des Internets z.B. auf der Grundlage eines Computers oder eines Computerverbundes realisiert sein. Die Basisstation ist in der Regel zentral gesteuert, etwa durch den Hersteller des Kraftfahrzeugs, und kann so einfacher gewartet werden. Eine andere Bezeichnung für eine solche Basisstation ist auch „Backend“. Ferner ist es nicht erforderlich, dass das Kraftfahrzeug die gesamte Information mit sich führt. Das Risiko falscher oder veralteter Angaben kann somit verringert werden.
  • Es ist bevorzugt, dass in Schritt c) zunächst die Eingabedaten ausgewertet werden, um eine Hauptrichtung zu ermitteln. Vorzugsweise wird anschließend basierend auf der ermittelten Hauptrichtung und der Navigationsdaten ein Zwischenauswertesignal erzeugt, das Angaben über wenigstens ein Umgebungsmerkmal enthält, das sich in einem Umgebungsbereich befindet, der sich entlang der ermittelten Hauptrichtung um das Kraftfahrzeug erstreckt, wobei das Zwischenauswertesignal als Auswertesignal ausgegeben wird. Es ist bevorzugt, dass anhand der Eingabedaten aus unterschiedlichen Eingabequellen eine Anzahl der Umgebungsmerkmale reduziert wird, um aus dem Zwischenauswertesignal ein verfeinertes Zwischenauswertesignal zu erzeugen, wobei das verfeinerte Zwischenauswertesignal als Auswertesignal ausgegeben wird. Anhand einer Geste oder einer Spracheingabe kann eine Hauptrichtung ermittelt werden, in welcher der Nutzer Informationen erhalten möchte. Beispielsweise kann auf die Aussage des Benutzers „Welcher Ort ist da drüben?“ ermittelt werden, dass der Benutzer eine Ortsangabe wünscht. Die Angabe „da drüben“ wird von der Gestenerkennung anhand der Handbewegung oder Blickrichtung des Benutzers konkretisiert als Hauptrichtung. Ausgehend von dem momentanen Standort des Kraftfahrzeugs, der von der Navigationseinrichtung ermittelt wird, und anderer Navigationsdaten, sucht die Auswertevorrichtung aus einem Informationsspeicher, beispielsweise einer Datenbank, in einem vorzugsweise dreieckigen Umgebungsbereich, der sich entlang der Hauptrichtung erstreckt, sämtliche Ortsnamen bis zu einer vorgebbaren Entfernung im Umkreis um das Kraftfahrzeug heraus. Sodann kann beispielsweise der am nächsten gelegene Ort innerhalb des Umgebungsbereichs durch ein entsprechend angesteuertes Gerät angezeigt werden. Ferner kann die Auswerteeinrichtung Zusatzangaben von Points-of-Interest (POI) übermitteln, etwa Läden, Restaurants und deren Öffnungszeiten und/oder Bewertung.
  • Es ist bevorzugt, dass in Schritt c) aus den Eingabedaten und den Navigationsdaten ein entlang einer Fahrstrecke des Kraftfahrzeugs befindlicher Ort ermittelt und ein Zwischensignal erzeugt wird, das Angaben über wenigstens ein Umgebungsmerkmal enthält, das sich in einem Umgebungsbereich des Ortes befindet. Mit dieser Ausgestaltung kann der Benutzer beispielsweise Fragen: „Wie wird das Wetter bei der Ankunft?“. Aufgrund der Spracheingabe „Wetter“ und „Ankunft“ erkennt die Auswerteeinrichtung, dass es sich um eine Wetterinformation am Zielort handelt. Mithilfe der Navigationsdaten wird auf an sich bekannte Weise ermittelt wie lange die Fahrtdauer noch bis zum Zielort ist. Sodann werden die entsprechenden Wetterangaben von der Auswerteeinrichtung an die Steuereinrichtung übermittelt. Das Zwischensignal kann als das Auswertesignal oder als Teil des Auswertesignals ausgegeben werden.
  • Es ist bevorzugt, dass das Gerät als Anzeigegerät und/oder Lautsprechgerät ausgebildet ist und in Schritt d) derart angesteuert wird, dass in dem Auswertesignal enthaltene Angaben wiedergegeben werden. Die durch den Benutzer mit Hilfe der Eingabedaten und Navigationsdaten abgefragten Angaben können akustisch und/oder auf einer Anzeige dargestellt werden.
  • Es ist bevorzugt, dass in Schritt a) die Eingabeerfassungseinrichtung eine Kameraeinheit umfasst, die Bewegungen des Insassen aufzeichnet und als Eingabedaten ausgibt. Vorzugsweise wird die gesamte Fahrgastzelle von der Eingabeerfassungseinrichtung erfasst. Die Kameraeinheit kann hochauflösende Bilddaten zur Verfügung stellen, die mittels an sich bekannter Verfahren auf Gesten untersucht werden können.
  • Die Erfindung schafft ferner eine Bedienvorrichtung, die zum Bedienen eines Gerätes eines Kraftfahrzeugs und zum Durchführen eines zuvor beschriebenen bevorzugten Verfahrens ausgebildet ist, die Bedienvorrichtung umfassend:
    • - eine Eingabeerfassungseinrichtung, die ausgebildet ist, Sprache, Gestik und/oder manuellen Eingaben eines Insassen des Kraftfahrzeugs zu erfassen, um Eingabedaten zu erhalten;
    • - eine Navigationseinrichtung, die ausgebildet ist, Navigationsdaten des Kraftfahrzeugs zu ermitteln;
    • - eine Auswerteeinrichtung, die ausgebildet ist, die Eingabedaten und die Navigationsdaten gemeinsam auszuwerten, um Auswertedaten zu erhalten;
    • - eine Steuereinrichtung, die ausgebildet ist, das Gerät basierend auf den Auswertedaten anzusteuern.
  • Die Erfindung schafft auch ein Kraftfahrzeug mit einer bevorzugten Bedienvorrichtung.
  • Zu der Erfindung gehören auch Weiterbildungen der erfindungsgemäßen Vorrichtungen, die Merkmale aufweisen, wie sie bereits im Zusammenhang mit den Weiterbildungen des erfindungsgemäßen Verfahrens beschrieben worden sind. Aus diesem Grund sind die entsprechenden Weiterbildungen der erfindungsgemäßen Vorrichtungen hier nicht noch einmal beschrieben.
  • Mit der erfindungsgemäßen Bedienvorrichtung und dem erfindungsgemäßen Kraftfahrzeug können jeweils ähnliche Vorteile, wie die bereits beschriebenen verwirklicht werden.
  • Es sollte beachtet werden, dass die Angaben a), b) usw. bei der Aufzählung der Verfahrensschritte lediglich der leichteren Bezugnahme darauf dienen; sie legen keine Reihenfolge fest. Zu der Erfindung gehört demnach jede technisch sinnvolle Reihenfolge der Verfahrensschritte, einschließlich einer gleichzeitigen Durchführung mehrerer oder aller Schritte.
  • Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:
    • 1 schematisch ein Ausführungsbeispiel eines Kraftfahrzeugs;
    • 2 schematisch ein Ausführungsbeispiel eines Bedienverfahrens;
    • 3 schematisch eine Fahrtroute eines Kraftfahrzeugs.
  • Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
  • In den Figuren sind funktionsgleiche Elemente jeweils mit denselben Bezugszeichen versehen.
  • Es wird zunächst auf 1 Bezug genommen, die ein Kraftfahrzeug 10 mit einer Bedienvorrichtung 12 zum Steuern eines Gerätes 14 zeigt. Das Gerät 14 ist beispielsweise eine Anzeigeeinheit 16 oder eine Lautsprechereinheit 18.
  • Die Bedienvorrichtung 12 umfasst eine Eingabeerfassungseinrichtung 20, die zum Erfassen von Sprache, Gestik und/oder manuellen Eingaben ausgebildet ist und daraus Eingabedaten erzeugt. Die Eingabeerfassungseinrichtung 20 umfasst vorzugsweise eine Mikrofoneinheit 22 zum Aufnehmen von Sprache. Ferner kann die Eingabeerfassungseinrichtung 20 eine Kameraeinheit 24 umfassen, welche einen Insassen 26, wie beispielsweise Fahrer 28 und/oder Beifahrer 30, optisch erfasst. Zudem kann die Eingabeerfassungseinrichtung 20 eine manuelle Eingabeeinheit 32 aufweisen, beispielsweise in Gestalt von Bedienknöpfen.
  • Die Bedienvorrichtung 12 umfasst ferner eine an sich bekannte Navigationseinrichtung 34, die zum Ermitteln eines Standorts des Kraftfahrzeugs 10 und anderer Navigationsdaten ausgebildet ist.
  • Weiter ist die Bedienvorrichtung 12 mit einer Auswerteinrichtung 36 ausgestattet. Die Auswerteeinrichtung 36 ist ausgebildet, die Eingabedaten und die Navigationsdaten auszuwerten und darauf basierend ein Auswertesignal auszugeben. Im vorliegenden Beispiel hat die Auswerteeinrichtung 36 eine Datenfernübertragungseinrichtung 38 und eine Basisstation 40. Die Basisstation 40 ist mittels der Datenfernübertragungseinrichtung 38 mit dem Kraftfahrzeug 10 verbunden. Die Datenfernübertragungseinrichtung 38 umfasst beispielsweise einen Fahrzeug-Sendeempfänger 42, der an dem Kraftfahrzeug 10 angeordnet ist. Ferner kann die Datenfernübertragungseinrichtung 38 einen Basisstation-Sendeempfänger 44, der an der Basisstation 40 angeordnet ist aufweisen. Als Datenfernübertragungseinrichtung 38 kann beispielsweise ein Mobilfunknetz 46 oder dergleichen verwendet werden. Die eigentliche Auswertung findet vorzugsweise durch die Basisstation 40 statt.
  • Zudem umfasst die Bedienvorrichtung 12 eine Steuereinrichtung 48, die ausgebildet ist, das Auswertesignal zu verarbeiten und darauf basierend das Gerät 14 anzusteuern.
  • Nachfolgend wird anhand von 1 und 2 ein Ausführungsbeispiel des Bedienverfahrens näher erläutert.
  • Das Bedienverfahren beginnt mit einem Vorbereitungsschritt S0, in welchem die Komponenten der Bedienvorrichtung 12 initialisiert werden. Dies findet beispielsweise beim Start des Kraftfahrzeugs 10 statt.
  • In einem Erfassungsschritt S1 erfasst die Erfassungseinrichtung 20 beispielsweise eine Sprachsequenz des Beifahrers 30, der entlang einer Zeige-Richtung 50 aus dem Kraftfahrzeug 10 zeigt und spricht: „Wollen wir dort Essengehen?“ Ferner erfasst die Erfassungseinrichtung 20 die Zeigebewegung des Beifahrers 30. Diese erfassten Eingabedaten werden an die Auswerteeinrichtung 36 übermittelt.
  • In einem Navigationsschritt S2 ermittelt die Navigationseinrichtung 34 den momentanen Standort des Kraftfahrzeugs 10. Ferner können dabei auch andere Navigationsdaten, etwa die Geschwindigkeit, Fahrtrichtung und der gleichen ermittelt werden. Sodann werden die Navigationsdaten ebenfalls an die Auswerteeinrichtung 36 übermittelt.
  • In einem Auswerteschritt S3 wertet die Auswerteeinrichtung 36 zunächst die Eingabedaten, insbesondere die Gestik, aus. Dabei wird auf an sich bekannte Weise aus den Bilddaten der Kameraeinheit 24 eine Hauptrichtung 52 ermittelt, die im Wesentlichen der Zeige-Richtung 50 entspricht. Sodann wird von der Auswerteeinrichtung 36 ein Umgebungsbereich 54 definiert, in welchem relevante POIs liegen können. Der Umgebungsbereich 54 schließt einen Winkel ein, der bevorzugt durch die Hauptrichtung 52 halbiert wird.
  • Ferner wertet die Auswerteeinrichtung 36 die Spracheingabe aus und setzt die Referenz „dort“ mit der Zeige-Richtung 50 bzw. der Hauptrichtung 52 in Beziehung. Zudem wird durch die Referenz „Essengehen“ von der Auswerteeinrichtung 36 erkannt, dass POIs gesucht sind, die Essen anbieten.
  • Angaben über die Hauptrichtung 52, den Umgebungsbereich 54 und/oder die Eingabedaten bzw. deren Auswerteergebnis können sodann an die Basisstation 40 mittels der Datenfernübertragungseinrichtung 38 übertragen werden.
  • Aus einer Datenbank der Basisstation 40 können sodann Kandidaten für relevante POIs herausgesucht werden. Mit anderen Worten werden lediglich POIs berücksichtigt, die innerhalb des Umgebungsbereichs 54 liegen und an denen Essen erhältlich ist. Zudem können Angaben über die Öffnungszeiten oder die Bewertung der relevanten POIs in der Basisstation 40 abgelegt sein, die zusammen mit der Ortsangabe der POIs wieder an das Kraftfahrzeug 10 übermittelt werden. Die Auswerteeinrichtung 36 erzeugt auf Basis dieser Angaben ein Auswertesignal, das der Steuereinrichtung 48 zugeführt wird.
  • In einem Steuerungsschritt S4 steuert die Steuereinrichtung 48 das Gerät 14 auf Basis des Auswertesignals an und zeigt beispielsweise sämtliche Restaurants, die innerhalb des Umgebungsbereichs 54 liegen, und deren Öffnungszeiten und Bewertungen auf der Anzeigeeinheit 16 an. Alternativ oder zusätzlich kann eine Lautsprecherausgabe durch die Lautsprechereinheit 18 erfolgen.
  • In einem Endschritt S5 wird das Verfahren beendet. Das Verfahren kann dann - je nach Bedarf - wieder von vorne beginnen.
  • Anhand von 3 wird ein weiteres Ausführungsbeispiel des Verfahrens erläutert.
  • In diesem Beispiel befindet sich das Kraftfahrzeug 10 auf einer geplanten Fahrtroute 56 von einem Startort 58 über eine Mehrzahl von Wegpunkten 60, 62 zu einem Zielort 64. Die Insassen 26 unterhalten sich beispielsweise über das Wetter, wobei die Spracheingabe „Hoffentlich ist das Wetter schön, wenn wir ankommen“ fällt. Die Auswerteeinrichtung 36 erkennt wiederum die Referenzen „Wetter“ und „ankommen“. Daraus kann die Auswerteeinrichtung 36 ermitteln, dass nach dem Wetter an dem Zielort 64 gefragt ist. Die Navigationseinrichtung 34 gibt als Navigationsdaten auch die voraussichtliche Ankunftszeit aus, sodass die Auswerteeinrichtung 36 ein Auswertesignal erzeugt, das Angaben über das Wetter des Zielortes 64 zur voraussichtlichen Ankunftszeit enthält. Das so ermittelte Auswertesignal wird wiederum von der Steuereinrichtung 48 zum Ansteuern des Geräts 14 verwendet.
    Heutige Connect Dienste werden ausschließlich durch den Benutzer gesteuert und die Inhalte durch diverse Menüs ausgesucht und darüber angezeigt. Es gibt keine Möglichkeit Connect Dienste nach weiteren Merkmalen automatisch zu steuern. Darunter fallen beispielweise auch die durch Navigationsdaten, einschließlich den Standort, ermittelten Umgebungsinformationen.
  • Durch die Analyse von Navigationsdaten in Kombination mit Eingabedaten, insbesondere Sprach-/Gestikanalyse mittels einer Auswerteeinrichtung, wird die Intention des Benutzers/Fahrers erkannt und ein Gerät des Kraftfahrzeugs darauf basierend angesteuert, z. B. werden die Inhalte des aktuell genutzten Dienstes automatisch angepasst. Dies wird ermöglicht durch die Erkennung von Sprache und Gestik, sobald ein Gerät bzw. der davon bereitgestellte Dienst genutzt wird. Die Referenz, welche sich durch Zeigen und/oder Aussprechen von in der Umgebung befindlichen Merkmalen wie Restaurants, Sehenswürdigkeiten, Wetter oder Nachrichten ergibt, wird mittels einer Auswerteeinrichtung, die im Backend, d.h. in der Basisstation 40, vorgesehen sein kann, analysiert und anhand der Navigationsdaten bzw. Standortinformationen errechnet, wie das Gerät angesteuert werden soll, beispielsweise welche Daten exakt angezeigt werden sollen. Das Gerät, bzw. der davon bereitgestellte Dienst kann somit automatisch den aktuellen Inhalt auf die für den Nutzer relevanten Informationen anpassen.
  • Im Fahrzeug werden mittels einer Eingabeerfassungseinrichtung Gestik und Sprache des Fahrers/der Insassen aufgezeichnet und an die Auswerteeinrichtung im Backend übertragen. Dort werden im Fall eines Dienstaufrufes die letzten Gesten und Sprachsequenzen der Insassen auf in der Umgebung befindlichen Merkmale hin überprüft. Die Gesten bzw. Eingabedaten werden dabei mittels der Auswerteeinrichtung durch ein 3D-Muster analysiert und die Richtung des Zeigens mit einem 3D-Muster der Navigationskarte bzw. mit den Navigationsdaten abgeglichen. Darüber wird errechnet auf welches Merkmal der Nutzer zeigt. Das Zwischenauswertesignal als Ergebnis dieses Abgleichs wird mit den Sprachsequenzen ebenfalls von der Auswerteeinrichtung überprüft und im Fall einer sprachlichen Detaillierung weiter verfeinert und als Auswertesignal ausgegeben. Die Überprüfung erfolgt abhängig vom Gerät bzw. von dessen bereitgestelltem Dienst und dessen Zweck. So werden bei Gesprächen über Wetter oder das Deuten auf den Himmel die Navigationsdaten genutzt, um die Wetterinformationen auf den momentanen Standort hin anzupassen. Bei Diensten wie POI oder Nachrichten erfolgt eine weitere Detaillierung im Falle eines Gespräches über Öffnungszeiten, Events oder Geschehnissen. Sobald die Überprüfung eine Übereinstimmung ergibt, wird das Ergebnis aus dem Backend/von der Basisstation als Aufruf an das Gerät im Fahrzeug übermittelt und der vom Gerät angezeigte Dienst entsprechend angepasst.
  • Die Nutzung von Diensten zur Anzeige lokaler Informationen wird stark vereinfacht. Da in vielen Fällen Connect Dienste dafür genutzt werden Informationen zu Merkmalen in unmittelbarer Nähe zum Fahrzeug aufzurufen, erfolgt ein um ein Vielfaches erleichterter Aufruf. Die Menüstruktur rückt damit in den Hintergrund, da sie in diesen Fällen nicht mehr genutzt werden muss.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102013016196 A1 [0003]
    • EP 1830244 A2 [0004]
    • DE 102009058146 A1 [0005]

Claims (10)

  1. Verfahren zum Steuern eines Gerätes (14) eines Kraftfahrzeugs (10), gekennzeichnet durch die Schritte: a) Erfassen von Sprache und/oder Gestik und/oder manuellen Eingaben eines Insassen (26) des Kraftfahrzeugs (10) mittels einer Eingabeerfassungseinrichtung (20), um Eingabedaten zu erhalten; b) Ermitteln von Navigationsdaten des Kraftfahrzeugs (10) mittels einer Navigationseinrichtung (34); c) gemeinsames Auswerten der Eingabedaten und der Navigationsdaten mittels einer Auswerteeinrichtung (36), um ein Auswertesignal zu erhalten; d) Ansteuern des Gerätes (14) mittels einer Steuereinrichtung (48) basierend auf dem Auswertesignal.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Auswerteeinrichtung (36) eine Datenfernübertragungseinrichtung (38) und eine Basisstation (40) umfasst, wobei in Schritt c) die Eingabedaten und/oder die Navigationsdaten mittels der Datenfernübertragungseinrichtung (38) an die Basisstation (40) übertragen und von der Basisstation (40) ausgewertet werden.
  3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass das in Schritt c) erhaltene Auswertesignal mittels der Datenfernübertragungseinrichtung (38) von der Basisstation (40) an das Kraftfahrzeug (10) übermittelt und der Steuereinrichtung (48) zugeführt wird.
  4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass in Schritt c) zunächst die Eingabedaten ausgewertet werden, um eine Hauptrichtung (52) zu ermitteln, wobei anschließend basierend auf der ermittelten Hauptrichtung (52) und der Navigationsdaten ein Zwischenauswertesignal erzeugt wird, das Angaben über wenigstens ein Umgebungsmerkmal (POI) enthält, das sich in einem Umgebungsbereich (54) befindet, der sich entlang der ermittelten Hauptrichtung (52) erstreckt, wobei das Zwischenauswertesignal als Auswertesignal ausgegeben wird.
  5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass anhand der Eingabedaten aus unterschiedlichen Eingabequellen eine Anzahl der Umgebungsmerkmale reduziert wird, um aus dem Zwischenauswertesignal ein verfeinertes Zwischenauswertesignal zu erzeugen, wobei das verfeinerte Zwischenauswertesignal als Auswertesignal ausgegeben wird.
  6. Verfahren nach einem der vorhergehenden Ansprüche 1 bis 5, dadurch gekennzeichnet, dass in Schritt c) aus den Eingabedaten und den Navigationsdaten ein entlang einer Fahrstrecke (56) des Kraftfahrzeugs (10) befindlicher Ort (60, 62, 64) ermittelt und ein Zwischensignal erzeugt wird, das Angaben über wenigstens ein Umgebungsmerkmal enthält, das sich in einem Umgebungsbereich des Ortes (60, 62, 64) befindet.
  7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass das Gerät (14) als Anzeigegerät (16) und/oder Lautsprechgerät (18) ausgebildet ist und in Schritt d) derart angesteuert wird, dass in dem Auswertesignal enthaltene Angaben wiedergegeben werden.
  8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass in Schritt a) die Eingabeerfassungseinrichtung (20) eine Kameraeinheit (24) umfasst, die Bewegungen des Insassen (26) aufzeichnet und als Eingabedaten ausgibt.
  9. Bedienvorrichtung (12), die zum Bedienen eines Gerätes (14) eines Kraftfahrzeugs (10) und zum Durchführen eines Verfahrens gemäß einem der Ansprüche 1 bis 8 ausgebildet ist, die Bedienvorrichtung (12) umfassend: - eine Eingabeerfassungseinrichtung (20), die ausgebildet ist, Sprache, Gestik und/oder manuellen Eingaben eines Insassen (26) des Kraftfahrzeugs (10) zu erfassen, um Eingabedaten zu erhalten; - eine Navigationseinrichtung (34), die ausgebildet ist, Navigationsdaten des Kraftfahrzeugs (10) zu ermitteln; - eine Auswerteeinrichtung (36), die ausgebildet ist, die Eingabedaten und die Navigationsdaten gemeinsam auszuwerten, um Auswertedaten zu erhalten; - eine Steuereinrichtung (48), die ausgebildet ist, das Gerät (14) basierend auf den Auswertedaten anzusteuern.
  10. Kraftfahrzeug (10) gekennzeichnet durch eine Bedienvorrichtung (12) nach Anspruch 9.
DE102017212215.3A 2017-07-17 2017-07-17 Bedienverfahren für ein Gerät eines Kraftfahrzeugs, Bedienvorrichtung und Kraftfahrzeug Active DE102017212215B4 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102017212215.3A DE102017212215B4 (de) 2017-07-17 2017-07-17 Bedienverfahren für ein Gerät eines Kraftfahrzeugs, Bedienvorrichtung und Kraftfahrzeug

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102017212215.3A DE102017212215B4 (de) 2017-07-17 2017-07-17 Bedienverfahren für ein Gerät eines Kraftfahrzeugs, Bedienvorrichtung und Kraftfahrzeug

Publications (2)

Publication Number Publication Date
DE102017212215A1 true DE102017212215A1 (de) 2019-01-17
DE102017212215B4 DE102017212215B4 (de) 2022-01-20

Family

ID=64745372

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102017212215.3A Active DE102017212215B4 (de) 2017-07-17 2017-07-17 Bedienverfahren für ein Gerät eines Kraftfahrzeugs, Bedienvorrichtung und Kraftfahrzeug

Country Status (1)

Country Link
DE (1) DE102017212215B4 (de)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040090121A1 (en) * 2002-11-12 2004-05-13 Simonds Craig John Context-based service delivery system and method
EP1830244A2 (de) 2006-03-01 2007-09-05 Audi Ag Verfahren und Vorrichtung zum Betreiben von zumindest zwei Funktionskomponenten eines Systems, insbesondere eines Fahrzeugs
US20090150156A1 (en) * 2007-12-11 2009-06-11 Kennewick Michael R System and method for providing a natural language voice user interface in an integrated voice navigation services environment
US7818116B1 (en) * 2002-12-30 2010-10-19 Mapquest, Inc. Presenting a travel route in a ground-based vehicle
US20110010676A1 (en) * 2009-07-07 2011-01-13 Microsoft Corporation System and method for allocating digital graffiti objects and canvasses
DE102009058146A1 (de) 2009-12-12 2011-06-16 Volkswagen Ag Verfahren und Vorrichtung zur multimodalen kontextsensitiven Bedienung
US20130226449A1 (en) * 2012-02-27 2013-08-29 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and Methods for Determining Available Providers
US20140278051A1 (en) * 2013-03-15 2014-09-18 Apple Inc. Prediction Engine
DE102013016196A1 (de) 2013-09-27 2015-04-02 Volkswagen Ag Kraftfahrzeugbedienung mittels kombinierter Eingabemodalitäten

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040090121A1 (en) * 2002-11-12 2004-05-13 Simonds Craig John Context-based service delivery system and method
US7818116B1 (en) * 2002-12-30 2010-10-19 Mapquest, Inc. Presenting a travel route in a ground-based vehicle
EP1830244A2 (de) 2006-03-01 2007-09-05 Audi Ag Verfahren und Vorrichtung zum Betreiben von zumindest zwei Funktionskomponenten eines Systems, insbesondere eines Fahrzeugs
US20090150156A1 (en) * 2007-12-11 2009-06-11 Kennewick Michael R System and method for providing a natural language voice user interface in an integrated voice navigation services environment
US20110010676A1 (en) * 2009-07-07 2011-01-13 Microsoft Corporation System and method for allocating digital graffiti objects and canvasses
DE102009058146A1 (de) 2009-12-12 2011-06-16 Volkswagen Ag Verfahren und Vorrichtung zur multimodalen kontextsensitiven Bedienung
US20130226449A1 (en) * 2012-02-27 2013-08-29 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and Methods for Determining Available Providers
US20140278051A1 (en) * 2013-03-15 2014-09-18 Apple Inc. Prediction Engine
DE102013016196A1 (de) 2013-09-27 2015-04-02 Volkswagen Ag Kraftfahrzeugbedienung mittels kombinierter Eingabemodalitäten

Also Published As

Publication number Publication date
DE102017212215B4 (de) 2022-01-20

Similar Documents

Publication Publication Date Title
EP2752036B1 (de) Kraftfahrzeug
DE102012013503A1 (de) Verfahren und Steuerungssystem zum Betreiben eines Kraftwagens
DE102019211681B4 (de) Verfahren eines Fahrzeugs zum automatisierten Parken
DE102017102133A1 (de) Längsparkhilfe
DE102009017176A1 (de) Navigationsanordnung für ein Kraftfahrzeug
DE102014015493A1 (de) Verfahren zum Betrieb eines Kraftfahrzeugs und Kraftfahrzeug
DE102017202051B4 (de) Bedieneinrichtung für ein Kraftfahrzeug und Verfahren zum Betrieb einer Bedieneinrichtung
WO2018210539A1 (de) Fahrsystem mit verschiedenen fahrfunktionen zum automatisierten fahren und einer gemeinsamen eingabekomponente sowie verfahren zum aktivieren einer fahrfunktion über die gemeinsame eingabekomponente
DE102013020699A1 (de) Parkassistenzsystem und Verfahren zur Fahrerunterstützung bei Parkmanövern
DE102014016237A1 (de) Verfahren zum Betrieb eines Fahrzeugs
WO2020083962A1 (de) Vorrichtung und steuereinheit zur automatisierung einer zustandsänderung einer fensterscheibe eines fahrzeugs
DE102016221365A1 (de) Verfahren und Vorrichtung zum automatischen Manövrieren eines Rollstuhls relativ zu einem Fahrzeug
DE102018125621A1 (de) Verfahren zum Unterstützen eines Fahrbetriebs eines Kraftfahrzeugs und zum Betreiben eines Kraftfahrzeugs, Kraftfahrzeug und Servereinrichtung
DE102019204940A1 (de) Verfahren und Vorrichtung zum Steuern zwischen einem Fahrzeug und einer Cloud verteilter Anwendungen
DE102017212215B4 (de) Bedienverfahren für ein Gerät eines Kraftfahrzeugs, Bedienvorrichtung und Kraftfahrzeug
DE102018006824A1 (de) Verfahren zur Unterstützung eines Fahrgastes und Fahrzeug mit einer Vorrichtung zur Durchführung des Verfahrens
DE112017007950T5 (de) Fahrunterstützungsvorrichtung und Fahrunterstützungsverfahren
EP1901037B1 (de) Verfahren zur Bestimmung einer Fahrzeit
WO2022184341A1 (de) Verfahren zum betrieb eines fahrzeugs
DE102013001747A1 (de) Verfahren und Vorrichtung zur Bewertung einer Fahrt
DE102016203827A1 (de) Verfahren zum Ermitteln einer Fahrtroute für ein automatisiertes Kraftfahrzeug
DE102019004587A1 (de) Vorrichtung und Verfahren zur akustischen Umgebungspräsentation für ein Fahrzeug
DE102019124505A1 (de) Verfahren und System zum Bestimmen von Haltepunkten für automatisiert fahrende Fahrzeuge
DE102018221712B4 (de) Verfahren zum Betreiben eines interaktiven Informationssystems für ein Fahrzeug, sowie ein Fahrzeug
DE102016014505A1 (de) Verfahren und System zum Auffinden einer freien Abstellfläche für einen Kraftwagen

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final