DE10008226C2 - Vorrichtung zur Sprachsteuerung und Verfahren zur Sprachsteuerung - Google Patents

Vorrichtung zur Sprachsteuerung und Verfahren zur Sprachsteuerung

Info

Publication number
DE10008226C2
DE10008226C2 DE10008226A DE10008226A DE10008226C2 DE 10008226 C2 DE10008226 C2 DE 10008226C2 DE 10008226 A DE10008226 A DE 10008226A DE 10008226 A DE10008226 A DE 10008226A DE 10008226 C2 DE10008226 C2 DE 10008226C2
Authority
DE
Germany
Prior art keywords
display
pictorial
voice
processor
voice control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE10008226A
Other languages
English (en)
Other versions
DE10008226A1 (de
Inventor
Andreas Kynast
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE10008226A priority Critical patent/DE10008226C2/de
Priority to DE50109658T priority patent/DE50109658D1/de
Priority to EP01102015A priority patent/EP1127748B1/de
Priority to JP2001042135A priority patent/JP2001255890A/ja
Publication of DE10008226A1 publication Critical patent/DE10008226A1/de
Application granted granted Critical
Publication of DE10008226C2 publication Critical patent/DE10008226C2/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373Voice control

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Navigation (AREA)
  • Communication Control (AREA)
  • User Interface Of Digital Computer (AREA)

Description

Stand der Technik
Die Erfindung geht aus von einer Vorrichtung zur Sprachsteuerung eines Geräts bzw. einem Verfahren zur Sprachsteuerung eines Geräts nach der Gattung der unabhängigen Patentansprüche.
Es sind bereits Fahrerassistenzsysteme in Fahrzeugen bekannt, wobei Infotainment (Autoradio, Wiedergabegeräte und Hifi-Anlagen), Kommunikationsmittel (Mobiltelefon, Ortungsvorrichtung und Navigation), Sensoren und Aktoren über eine Sprachsteuerung steuerbar sind. Mittels wenigstens eines Mikrofons werden Spracheingaben eines Nutzers aufgenommen, in elektrische Signale umgewandelt und als Ausführungsbefehl interpretiert. Gegebenenfalls wird über Lautsprecher eine Sprachausgabe vorgenommen, die insbesondere auf die Durchführbarkeit der Ausführungsbefehle Bezug nimmt.
Die Patentschrift DE 195 33 541 C1 beschreibt ein Verfahren zur automatischen Steuerung eines oder mehrerer Geräte durch Sprachkommandos oder Sprachdialog im Echtzeitbetrieb. Dabei werden die Syntax- und Kommandostruktur während des Echtzeitdialogbetriebs fixiert. Eine Vorverarbeitungserkennung in Dialosteuerung für Betrieb in geräuschbehafteter Umgebung ist dabei vorgesehen. Für die Erkennung allgemeiner Kommandos ist kein Training durch den Benutzer erforderlich, während es für spezifische Kommandos notwendig ist.
Die ältere Anmeldung, die Offenlegungsschrift DE 198 45 560 A1 hat einen virtuellen Gesprächspartner zum Gegenstand, der aus einem Personal-Computer, einem Algorithmus zur Spracherkennung von Bild- und Tondokumente sowie Medien zur Ein- und Ausgabe besteht und eine Verbindung an das Telefonnetz aufweisen kann. Der virtuelle Gesprächspartner ermöglicht durch den Algorithmus zur Sprachsteuerung seine Steuerung und stellt so die passenden Bilder mit der entsprechenden Sprache dar.
Vorteile der Erfindung
Die erfindungsgemäße Vorrichtung zur Sprachsteuerung eines Geräts bzw. das erfindungsgemäße Verfahren zur Sprachsteuerung eines Geräts mit den Merkmalen der unabhängigen Patentansprüche haben demgegenüber den Vorteil, dass die sprachliche Kommunikation zwischen dem Gerät, zum Beispiel dem Fahrerassistenzsystem, und dem Nutzer durch bildhafte Hinweise in nicht verbaler Art unterstützt wird. Diese bildhaften Hinweise haben einen hohen Informationsinhalt und einen hohen Wiedererkennungswert, so dass sie zu einer schnellen Erfassung der Information für den Nutzer führen. Damit wird die Kommunikation durch das Gerät, zum Beispiel das Fahrerassitenzsystem, verständlicher und nähert sich insbesondere der rein menschlichen Kommunikation an. Dadurch wächst vorteilhafterweise auch die Akzeptanz für Nutzer, da Nutzer üblicherweise an zwischenmenschliche Kommunikation gewöhnt sind und diese Art der Kommunikation bevorzugen.
Weiterhin ist es von Vorteil, dass insbesondere in einem Fahrzeug oder in einer Fabrikhalle, wenn ein hoher Geräuschpegel vorliegt, die Kommunikation durch die bildhaften Hinweise verständlicher wird, da sprachliche Kommunikation unter dem Hintergrundgeräuschpegel leidet. Dies führt letztlich dann auch zu einer erhöhten Sicherheit des Nutzers, insbesondere des Fahrers, da er wichtige Hinweise zumindest optisch erkennt. Dies gilt auch, falls die Person, die die Sprachsteuerung ausführt, abgelenkt wird. Auch dadurch wächst die Akzeptanz von einer Vorrichtung zur eines Geräts, vorzugsweise eines sprachgesteuerten Fahrerassistenzsystems, da Schwierigkeiten bei solchen sprachgesteuerten Systemen durch die erfindungsgemäßen bildhaften Hinweise kompensiert werden.
Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen und Weiterbildungen sind vorteilhafte Verbesserungen der in den unabhängigen Patentansprüchen angegebenen Vorrichtung zur Sprachsteuerung eines Geräts bzw. des Verfahrens zur Sprachsteuerung eines Geräts möglich.
Besonders vorteilhaft ist, dass die bildhaften Hinweise zweidimensional dargestellt werden, wodurch eine deutliche, unmißverständliche und klare Aussage getroffen wird. Weiterhin ist eine zweidimensionale Darstellung leicht für einen Benutzer erfassbar und führt zu einem eindeutigen Hinweis.
Des weiteren ist es von Vorteil, dass dreidimensional dargestellte bildhafte Hinweise eine lebensnahe Darstellung liefern, die zu einer großen Akzeptanz bei Benutzern führt. Ein Benutzer wird eine Mensch-zu-Mensch-Kommunikation immer gegenüber einer Mensch-Maschine-Kommunikation bevorzugen.
Darüber hinaus ist es von Vorteil, dass die bildhaften Hinweise mit bewegten Darstellungen angezeigt werden, was die Lebensechtheit der bildhaften Hinweise weiter steigert, da dadurch beispielsweise ein künstliches Gesicht dargestellt wird, das Sprachausgaben durch Mienenspiel unterstützt.
Es ist weiterhin von Vorteil, dass die bildhaften Hinweise durch künstliche Mimik und/oder Gestik dargestellt werden, so dass die Lebensechtheit und damit die Akzeptanz bei den Nutzern von sprachgesteuerten Geräten stark erhöht wird.
Es ist von Vorteil, dass durch Netzhautprojektoren oder stereoskopische Bildschirme als Anzeigen dreidimensionale bildhafte Hinweise erzeugt werden, so dass dadurch in einfacher Weise dreidimensionale künstliche bildhafte Hinweise erzeugt werden, die eine hohe Akzeptanz bei Benutzern finden und eine klare Aussage für den Benutzer bedeuten.
Schließlich ist es von Vorteil, dass die erfindungsgemäße Vorrichtung beziehungsweise das erfindungsgemäße Verfahren in einem Fahrzeug verwendet werden, wo damit die Sprachsteuerung besonders in seiner Akzeptanz durch einen lebensnäheren Dialog und eine erhöhte Sicherheit des Fahrers gesteigert wird.
Zeichnung
Ausführungsbeispiele der Erfindung sind in der Zeichnung dargestellt und werden in der nachfolgenden Beschreibung näher erläutert. Es zeigen Fig. 1 die erfindungsgemäße Vorrichtung zur Sprachsteuerung eines Geräts, Fig. 2 die erfindungsgemäße Vorrichtung zur Sprachsteuerung eines Geräts, wobei die Komponenten der Vorrichtung und mit der Vorrichtung verbundene Komponenten über einen Bus verbunden sind, Fig. 3 Beispiele für bildhafte Hinweise, Fig. 4 eine beispielhafte Szene und Fig. 5 ein Flußdiagramm des erfindungsgemäßen Verfahrens.
Beschreibung
Die Mensch-zu-Mensch-Kommunikation zeigt einen hohen Anteil an nonverbaler Kommunikation, die die sprachliche Kommunikation unterstützt. Gestik, Mimik und Bewegungen geben allein schon ohne die sprachliche Kommunikation einen wesentlichen Anteil der ausgesendeten Information wieder, so dass fast auf die sprachliche Kommunikation verzichtet werden kann. Mensch-Maschine-Dialoge sind jedoch, wenn Sprachsteuerung vorliegt, allein durch eine Spracheingabe und Sprachausgabe charakterisiert. Ein hoher Hintergrundgeräuschpegel erschwert diese rein sprachliche Mensch-Maschine-Kommunikation.
Erfindungsgemäß wird daher der Mensch-Maschine-Dialog bei einer Sprachsteuerung in einem Fahrzeug durch bildhafte Hinweise, also eine optische Komponente, unterstützt. Damit ist es möglich, dass selbst, wenn die Sprachausgabe aufgrund von Lärm oder Ablenkung von dem Nutzer nicht aufgenommen wurde, durch Blickkontakt mit der Anzeige eine Informationsaufnahme möglich ist. In Weiterbildungen der Erfindung werden die bildhaften Hinweise entweder zweidimensional oder dreidimensional dargestellt, wobei dies gegebenenfalls durch bewegte Darstellungen unterstützt wird, so dass die Lebensechtheit der bildhaften Hinweise gesteigert wird. Vorteilhafterweise wird dazu ein künstliches Gesicht gewählt, das durch künstliche Mimik und Gestik besonders ausdrucksstark Sprachausgaben der erfindungsgemäßen Vorrichtung zur Sprachsteuerung eines Geräts bildhaft wiedergibt und unterstützt.
In Fig. 1 ist die erfindungsgemäße Vorrichtung zur Sprachsteuerung eines Geräts in einem Fahrzeug dargestellt. Die Vorrichtung und die mit der Vorrichtung verbundenen Komponenten machen hier ein Fahrerassisstenzsystem als das mittels Sprachsteuerung zu steuernde Gerät in dem Fahrzeug aus.
Ein Prozessor 1 ist über seinen ersten Dateneingang mit einer Signalverarbeitung 2 verbunden, und an einen Dateneingang der Signalverarbeitung 2 ist ein Mikrofon 3 angeschlossen. Hier ist nur ein Mikrofon angeschlossen. Es sind jedoch mehrere Mikrofone anschließbar, wobei dann die Signalverarbeitung 2 auch als Demultiplexer wirkt. Über einen ersten Datenausgang ist der Prozessor 1 mit einer Signalverarbeitung 4 angeschlossen. Über einen Datenausgang der Signalverarbeitung 4 ist ein Lautsprecher 5 angeschlossen. Alternativ können hier auch mehrere Lautsprecher angeschlossen sein, wobei dann die Signalverarbeitung 4 auch als Multiplexer wirkt. In einer weiteren Alternative kann das Lautsprechersystem eines Infotainmentsystems 11, das über einen ersten Datenein-/- ausgang mit dem Prozessor 1 verbunden ist, verwendet werden.
Über einen zweiten Dateneingang ist der Prozessor 1 mit einer Signalverarbeitung 6 verbunden. An einen Dateneingang der Signalverarbeitung 6 sind Bedienelemente 7 angeschlossen. Die Bedienelemente 7 repräsentieren hier haptische Bedienelemente, die der Fahrer in dem Fahrzeug oder auch Beifahrer bedienen können. Über einen dritten Dateneingang ist der Prozessor 1 mit einer Signalverarbeitung 9 verbunden. An einen Dateneingang der Signalverarbeitung 9 sind Sensoren 8 angeschlossen. Über einen zweiten Datenein-/-ausgang des Prozessors 1 ist ein Speicher 10 mit dem Prozessor 1 verbunden. Über einen zweiten Datenausgang ist der Prozessor 1 mit einer Signalverarbeitung 12 verbunden und an deren Datenausgang sind Aktoren 13 angeschlossen. Über einen dritten Datenein- /-ausgang ist der Prozessor 1 mit einem Navigationssystem 15 verbunden. Über einen fünften Datenein-/-ausgang ist ein Kommunikationssystem 14 an den Prozessor 1 angeschlossen. Über einen vierten Dateneingang ist an den Prozessor 1 eine Ortungsvorrichtung 16 angeschlossen. Ein fünfter Datenausgang des Prozessors 1 führt zu einer Signalverarbeitung 50, die Signale an eine Anzeige 51 ausgibt.
Spracheingaben werden mittels des Mikrofons 3 und angeschlossener Elektronik von akustischen Signalen in elektrische Signale umgewandelt, um dann von der Signalverarbeitung 2 digitalisiert zu werden und schließlich an den Prozessor 1 übertragen zu werden. Weiterhin verfügt die Signalverarbeitung 2 über einen Sprachprozessor, der die Sprachsignale in für den Prozessor 1 geeignete Daten umwandelt. Es wird dabei insbesondere eine Quellencodierung der Sprachsignale in ein dem Prozessor 1 bekanntem Format durchgeführt.
Der Prozessor 1 wertet die Spracheingabe aus und vergleicht dieses Signal mit im Speicher 10 abgelegten Signalen, um herauszufinden, um welchen Eingabebefehl es sich handelt. Dabei ist zu berücksichtigen, dass ein sprachgesteuertes System zunächst aktiviert werden muß, um nicht zufällig Befehle durch Gespräche im Fahrraum zu empfangen. Diese Aktivierung geschieht beispielsweise mittels eines haptischen Bedienelements, das am Lenkrad des Fahrzeugs befestigt ist, z. B. durch einen Druckknopf, der analog zu einer Drucktaste für eine Hupe angebracht ist.
Dieser Druckknopf gehört dann zu den Bedienelementen 7, wobei die Bedienelemente 7 eine haptische Bewegung, die an ihnen durchgeführt wird, in ein elektrisches Signal mittels angeschlossener Elektronik umwandeln und verstärken, um es an die Signalverarbeitung 6 zu übergeben, die dieses Signal auswertet und digitalisiert, um es dann an den Prozessor 1 zu übergeben, so dass im Falle der Aktivierung der Sprachsteuerung durch die Bedienelemente 7 der Prozessor 1 nun Signale von der Signalverarbeitung 2 als Spracheingabebefehl akzeptiert. Die digitalen Signale, die aufgrund haptischer Eingaben an den Bedienelementen 7 erzeugt werden, weisen eine feste Codierung, beispielsweise eindeutige Bitfolgen auf, die die haptischen Eingaben eindeutig identifizieren.
Findet nun der Prozessor 1 in dem Speicher 10 einen übereinstimmenden Befehl mit dem Spracheingabebefehl, dann erkennt der Prozessor 1, welchen Ausführungsbefehl er durchzuführen hat. Dazu überprüft nun der Prozessor 1, ob dieser Befehl ausführbar ist. Sind z. B. entsprechende Komponenten, die zur Ausführung dieses Ausführungsbefehls notwendig sind, bereit, dann wird dieser Ausführungsbefehl durchgeführt. Ist der Ausführungsbefehl jedoch nicht durchführbar, dann übergibt der Prozessor 1 eine entsprechende Meldung über die Signalverarbeitung 4 an den Lautsprecher 5, um akustisch anzuzeigen, dass dieser Befehl nicht ausführbar ist, insbesondere unter dem Hinweis, welchen Grund die Nichtausführbarkeit hat, z. B. wenn die Handbremse noch gezogen ist. Diese Antworten entnimmt der Prozessor 1 aus dem Speicher 10.
Dabei sind die Antworten mit den erkannten Ausführungsbefehlen bei Ausführbarkeit oder Nichtausführbarkeit verknüpft, wobei bei Nichtausführbarkeit mehrere Antworten möglich sind, die nach weiteren technischen Merkmalen verknüpft sind, die einen entsprechenden Hinweis aufweisen, um den Mangel zu beheben. Ist z. B. die Handbremse gezogen, so wird dies mittels der Sensoren 8 erkannt und dem Prozessor 1 über die Signalverarbeitung 9 übermittelt.
Die Sensoren 8 repräsentieren hier verschiedene Sensoren, Öl, Wasser, Reifendruck, Motorfunktionsfähigkeit, Funktionsfähigkeit der elektrischen Komponenten und eben auch, ob die Handbremse gezogen ist. Mit diesen Merkmalen wählt der Prozessor 1 aus dem Speicher 10 entsprechende Antworten aus. Zusätzlich zu der Sprachausgabe, dass ein Befehl ausführbar oder nicht ausführbar ist, lädt der Prozessor 1 aus dem Speicher 10 bildhafte Hinweise, die über die Signalverarbeitung 50 mittels der Anzeige 51 dargestellt werden. Jedoch auch bei erfolgreicher Ausführung wird eine sprachliche Ausgabe mit einem bildhaften Hinweis unterstützt, wobei hier gegebenenfalls auf eine Sprachausgabe verzichtet werden kann.
Beispiele für solche bildhaften Darstellungen werden weiter unten näher beschrieben. Es kann sich dabei um zweidimensionale, dreidimensionale und animierte Darstellungen handeln. Für eine dreidimensionale Darstellung ist entweder ein Netzhautprojektor oder ein stereoskopischer Bildschirm als die Anzeige 51 notwendig. Eine dreidimensionale Darstellung erhöht den Wirklichkeitseffekt der Darstellung, insbesondere, wenn es sich um ein künstliches Gesicht handelt, dass durch entsprechende Gestik und Mimik die Sprachausgabe unterstützt.
Ist der Ausführungsbefehl, den der Prozessor 1 entweder mittels des Mikrofons 3 oder der Bedienelemente 7 erhalten hat, ausführbar, dann wird mittels der Aktoren 13, die die Signale von dem Prozessor 1 über die Signalverarbeitung 12, die die Signale für die Aktoren 13 vorbereitet, erhalten, der Ausführungsbefehl in eine Aktion umgesetzt. Die Aktoren 13 sind für mechanische Bewegungen von Teilen angebracht, die elektronisch gesteuert werden. Dazu gehört eine Türverriegelung, Scheibenwischer, eine Sitzverstellung, Fensterheber, eine Frischluft- und Temperaturzufuhr und eine Klimaanlage. Betrifft der Ausführungsbefehl nicht die Aktoren 13, sondern ein Navigationsgerät 15, insbesondere um Routenvorschläge zu erzeugen, dann überträgt der Prozessor 1 dem Navigationsgerät 15 entsprechende Daten.
Das Navigationsgerät 15 wird gegebenenfalls weitere Daten von dem Benutzer erfragen und sich dabei des Lautsprechers 5 und/oder der Anzeige 51 bedienen. Das Navigationsgerät 15 verfügt selbst über Speicher, um entsprechende Routen zu ermitteln. Den aktuellen Standort gibt die Ortungsvorrichtung 16 an, wobei die Ortungsvorrichtung 16 hier ein GPS (Global Positioning System) Empfänger ist, der die Ortskoordinaten des Fahrzeugs ermittelt. Damit ist das Navigationsgerät 15 in der Lage, aus dem aktuellen Standort und seinem Speicher eine optimale Route unter verschiedenen Gesichtspunkten zu ermitteln. Zu solchen Gesichtspunkten gehören Fahrerpräferenzen und auch Verkehrsnachrichten, die mittels des Infotainmentsystems 11 und/oder des Kommunikationssystems 14 ermittelt werden.
Die Verkehrsnachrichten werden beim Infotainmentsystem 11 mittels eines Autoradios, das zum Infotainmentsystem 11 gehört, ermittelt und dann an den Prozessor 1 übertragen. Der Prozessor 1 überträgt diese entsprechende Nachricht an das Navigationssystem 15, das mittels der Nachricht Routenvorschläge modifiziert. Das Kommunikationssystem 14 ist hier ein Mobiltelefon, also eine Sende-/Empfangsstation, mit der entweder Telefonie ausgeführt wird oder Daten abgerufen werden.
Zu dem Infotainmentsystem 11 gehört neben dem Autoradio, das auch als digitaler Rundfunkempfänger ausgebildet sein kann, Wiedergabegeräte für Speichermedien, die insbesondere Musik, enthalten. Zu solchen Wiedergabegeräten gehören Kassetten, Abspieler, Minidiscspieler, CD-Spieler oder ein MPEG3- Player. Ist der Rundfunkempfänger des Infotainmentsystems 11 als digitaler Rundfunkempfänger ausgebildet, insbesondere für den Empfang von DAB (Digital Audio Broadcasting), dann ist der digitale Rundfunkempfänger auch als Breitbandempfänger von Daten geeignet.
DAB ist ein digitales Übertragungsverfahren, das neben der digitalen Übertragung von Audiodaten auch zur Übertragung von Multimediadaten geeignet ist. In diesen Multimediadaten können, wie oben dargestellt, Verkehrsnachrichten enthalten sein, aber auch andere Daten, die zur Unterhaltung oder Information des Fahrers und der Beifahrer dienen. Neben DAB sind auch DRM (Digital Radio Mondial) und DVB (Digital Video Broadcasting) für den Empfang von digitalen Hörfunkprogrammen und Multimediadaten geeignet. Sie unterscheiden sich von DAB hinsichtlich der Sendefrequenzen, der Rahmenstruktur und der Übertragungsrate. Diese digitalen Übertragungsverfahren bieten gegenüber Mobilfunkverfahren mehr Bandbreite, es fallen keine Übertragungsgebühren an, und es muß keine Verbindung zu dem jeweiligen Rundfunkempfänger aufgebaut werden, da diese Übertragungsverfahren Rundfunkverteilsysteme sind.
Der Speicher 10, der insbesondere zur Zwischenspeicherung von Daten und zum Abruf von gespeicherten Daten genutzt wird, repräsentiert hier ein System, das mehrere Speichermedien aufweist. Dazu gehören eine Festplatte als wiederbesschreibbarer Speicher und auch feste Speicher wie CD-ROMs.
In Fig. 2 ist die erfindungsgemäße Vorrichtung zur Sprachsteuerung in einem Fahrzeug dargestellt, wobei die einzelnen Komponenten nun über einen Bus 17 miteinander verbunden sind. Der Bus 17 ist hier als elektrisches Leitungssystem ausgebildet. Alternativ ist es jedoch auch möglich, den Bus 17 als optisches Übertragungssystem oder als funkbasierten Bus auszuführen.
Die an den Bus 17 angeschlossenen Stationen weisen Buscontroller auf, die die Kommunikation über den Bus 17 steuern. Liegt ein optischer Bus vor, dann sind diese Buscontroller mit Optokopplern versehen. Liegt ein funkbasierter Bus vor, dann sind die Buscontroller mit Sende-/Empfangsstationen ausgeführt.
An den Bus 17 sind über Datenein-/-ausgänge ein Prozessor 18, die Signalverarbeitungen 19, 21, 23, 25, 28 und 52 angeschlossen, sowie ein Speicher 27, ein Kommunikationssystem 30, ein Infotainmentsystem 31 und ein Navigatiossystem 32. An einen Dateneingang der Signalverarbeitung 19 ist ein Mikrofon 20 angeschlossen. An einen Datenausgang der Signalverarbeitung 21 ist ein Lautsprecher 22 angeschlossen. Über einen Dateneingang der Signalverarbeitung 23 sind Bedienelemente 24 angeschlossen. mit einem Dateneingang der Signalverarbeitung 25 sind Sensoren 26 angeschlossen. Über einen Datenausgang der Signalverarbeitung 28 sind Aktoren 29 mit der Signalverarbeitung 28 verbunden. An einen Datenausgang der Signalverarbeitung 52 ist eine Anzeige 53 angeschlossen.
Die Funktionen und Alternativen sind dieselben wie für die Komponenten, die in Fig. 1 beschrieben wurden.
In Fig. 3 ist ein Satz von bildhaften Hinweisen dargestellt, der in einem Fahrzeug zur Unterstützung von Sprachausgabe ausgegeben wird. Der bildhafte Hinweis 34 zeigt durch Gestik und symbolhafte Hände ein Warten auf eine Eingabe an.
Der bildhafte Hinweis 35 zeigt durch Gestik, Mimik und ein angedeutetes Klatschen durch die symbolhaften Hände die Reaktion auf eine erfolgreiche Eingabe an.
Der bildhafte Hinweis 36 zeigt durch Gestik und Mimik des symbolhaften Gesichts und die erhobenen symbolhaften Hände eine Warnung für den Fahrer an.
Schließlich deutet der bildhafte Hinweis 37 durch Gestik und Mimik des symbolhaften Gesichtes und gefaltete symbolhafte Hände an, dass alles in Ordnung ist. Wichtig für die Auswahl der symbolhaften Darstellungen ist, dass es nicht zu viele verschiedene bildhaften Hinweise sind, um einen Fahrer nicht durch zu viele Abstufungen in seiner Aufnahmekapazität zu überfordern, und dass sie leicht und deutlich erkennbar sind. Durch Bewegung der symbolhaften Hände oder des symbolhaften Gesichtes, insbesondere durch ein lebensechteres Gesicht, das das Mienenspiel und die verschiedenen Gestiken noch weiter unterstützt, sind Alternativen möglich. Durch Verwendung eines Netzhautprojektors oder eines stereoskopischen Bildschirms für die Anzeige 51 können die in Fig. 3 dargestellten bildhaften Hinweise auch perspektivisch dargestellt werden, um so eine größere Lebensechtheit zu vermitteln.
In Fig. 4 ist eine beispielhafte Szene in einem Fahrzeug schematisch dargestellt. In der linken Spalte sind die Sprachausgaben der erfindungsgemäße Vorrichtung dargestellt, in der Mitte die entsprechenden bildhaften Hinweise, um die Sprachausgaben der erfindungsgemäßen Vorrichtung zu unterstützen und in der linken Spalte sind Spracheingaben des Fahrers angegeben. In der ersten Zeile fragt die Vorrichtung, wohin der Fahrer fahren möchte. Dies wird in der zweiten Spalte durch den bildhaften Hinweis 34 unterstützt, um eine Eingabe anzuregen. Der Fahrer gibt den Fahrwunsch nach Hildesheim sprachlich an.
Die Vorrichtung erkennt in der zweiten Zeile dieses Ziel als möglich und unterstützt dies durch den bildhaften Hinweis 35, da die Eingabe erfolgreich war. In Zeile 3 gibt die Maschine an, dass die Handbremse noch angezogen ist und unterstützt dies durch den bildhaften Hinweis 36, der eine sofortige Reaktion des Fahrers erwartet. Der Fahrer löst dann mittels der Bedienelemente 7 die Handbremse, und die Vorrichtung gibt dann in der letzten Zeile mit dem bildhaften Hinweis 37 an, dass nun alles in Ordnung ist. Dies kann gegebenenfalls noch durch eine Sprachausgabe unterstützt werden. Warnung können noch durch weitere optische Meldungen oder Warntöne zusätzlich signalisiert werden.
In Fig. 5 ist das erfindungsgemäße Verfahren zur Sprachsteuerung in einem Fahrzeug als Flußdiagramm dargestellt. In Verfahrensschritt 38 gibt die Sprachsteuerung des Fahrzeugs an, dass sie eine Eingabe erwartet, z. B. bezüglich des Fahrziels, um mittels des Navigationsgeräts 15 eine Route zu errechnen. In Verfahrensschritt 39 wird dies durch den bildhaften Hinweis 34 unterstützt. In Verfahrensschritt 40 führt der Fahrer eine Sprach- und/oder haptische Eingabe durch, die in Verfahrensschritt 41 auf ihre Ausführbarkeit hin überprüft wird. Ist die Eingabe des Fahrers ausführbar, dann wird in Verfahrensschritt 42 dies in einer Sprachausgabe mitgeteilt und in Verfahrensschritt 43 mittels des bildhaften Hinweises 35 unterstützt. In Verfahrensschritt 44 wird dann mittels des bildhaften Hinweises 37 angezeigt, dass alles in Ordnung ist. Wurde jedoch in Verfahrensschritt 43 erkannt, dass die Ausführbarkeit des Befehls des Fahrers nicht gegeben ist, dann wird in Verfahrensschritt 45 mittels einer Sprachausgabe angegeben, dass dies nicht möglich ist und in Verfahrensschritt 46 wird dies mittels des bildhaften Hinweises 36 unterstützt, um dann nach Verfahrensschritt 40 zurückzuspringen, um auf eine neue Eingabe zu warten.
Neben Anwendungen in einem Fahrzeug ist die erfindungsgemäße Vorrichtung beziehungsweise das erfindungsgemäße Verfahren auch für eine Sprachsteuerung von anderen Geräten wie zum Beispiel in Produktionseinheiten und Überwachungsanlagen verwendbar. Auch der Einsatz in intelligenten zentralen Kommunikations- und Steueranlagen ist hier denkbar.

Claims (12)

1. Vorrichtung zur Sprachsteuerung eines Geräts, wobei die Vorrichtung wenigstens ein Mikrofon (3, 20) für Spracheingaben und wenigstens einen Lautsprecher (5, 22) für Sprachausgaben aufweist, wobei die Vorrichtung zur Sprachsteuerung eines Geräts in einem Fahrzeug einsetzbar ist, wobei die Vorrichtung mit einem Prozessor (1, 18), mit Bedienelementen (7, 24), mit Sensoren (8, 26), mit wenigstens einem Speicher (10, 27) und mit einer Anzeige (51, 53) des Geräts verbunden ist, dadurch gekennzeichnet, dass der Prozessor (1, 18) so ausgebildet ist, dass der Prozessor (1, 18) in Abhängigkeit von Sprachausgaben bildhafte Hinweise auf der Anzeige (51, 53) darstellt.
2. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Anzeige (51, 53) so ausgebildet ist, dass die Anzeige (51, 53) die bildhaften Hinweise als zweidimensionale Darstellungen anzeigt.
3. Vorrichtung nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Anzeige (51, 53) derart ausgebildet ist, dass die Anzeige (51, 53) die bildhaften Hinweise dreidimensional darstellt.
4. Vorrichtung nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass die Anzeige (51, 53) derart ausgebildet ist, dass die Anzeige (51, 53) die bildhaften Hinweise (34 bis 37) mit bewegten Darstellungen anzeigt.
5. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Anzeige (51, 53) als Netzhautprojektor ausgebildet ist.
6. Vorrichtung nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Anzeige (51, 53) als stereoskopischer Bildschirm ausgebildet ist.
7. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Anzeige (51, 53) so ausgebildet ist, dass die Anzeige (51, 53) die bildhaften Hinweise (34 bis 37) mittels künstlicher Mimik und/oder Gestik darstellt.
8. Verfahren zur Sprachsteuerung eines Geräts, wobei Spracheingaben zur Steuerung des Geräts durchgeführt werden, wobei das Verfahren zur Sprachsteuerung eines Geräts in einem Fahrzeug ausgeführt wird, wobei die Spracheingaben in Ausführungsbefehle umgesetzt werden, wobei die Ausführungsbefehle auf eine Ausführbarkeit hin überprüft werden, wobei Sprachausgaben in Abhängigkeit von der Ausführbarkeit und/oder eines Zustands des Geräts ausgeführt werden, dadurch gekennzeichnet, dass in Abhängigkeit von dem Zustand des Geräts und/oder der Ausführbarkeit der Ausführungsbefehle bildhafte Hinweise angezeigt werden.
9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass die bildhaften Hinweise (34 bis 37) zweidimensional dargestellt werden.
10. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass die bildhaften Hinweise (34 bis 37) dreidimensional dargestellt werden.
11. Verfahren nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass die bildhaften Hinweise mit bewegten Darstellungen dargestellt werden.
12. Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass die bildhaften Hinweise mittels künstlicher Mimik und/oder Gestik dargestellt werden.
DE10008226A 2000-02-22 2000-02-22 Vorrichtung zur Sprachsteuerung und Verfahren zur Sprachsteuerung Expired - Fee Related DE10008226C2 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE10008226A DE10008226C2 (de) 2000-02-22 2000-02-22 Vorrichtung zur Sprachsteuerung und Verfahren zur Sprachsteuerung
DE50109658T DE50109658D1 (de) 2000-02-22 2001-01-30 Vorrichtung und Verfahren zur Sprachsteuerung
EP01102015A EP1127748B1 (de) 2000-02-22 2001-01-30 Vorrichtung und Verfahren zur Sprachsteuerung
JP2001042135A JP2001255890A (ja) 2000-02-22 2001-02-19 音声制御するための装置および方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE10008226A DE10008226C2 (de) 2000-02-22 2000-02-22 Vorrichtung zur Sprachsteuerung und Verfahren zur Sprachsteuerung

Publications (2)

Publication Number Publication Date
DE10008226A1 DE10008226A1 (de) 2001-09-06
DE10008226C2 true DE10008226C2 (de) 2002-06-13

Family

ID=7631954

Family Applications (2)

Application Number Title Priority Date Filing Date
DE10008226A Expired - Fee Related DE10008226C2 (de) 2000-02-22 2000-02-22 Vorrichtung zur Sprachsteuerung und Verfahren zur Sprachsteuerung
DE50109658T Expired - Lifetime DE50109658D1 (de) 2000-02-22 2001-01-30 Vorrichtung und Verfahren zur Sprachsteuerung

Family Applications After (1)

Application Number Title Priority Date Filing Date
DE50109658T Expired - Lifetime DE50109658D1 (de) 2000-02-22 2001-01-30 Vorrichtung und Verfahren zur Sprachsteuerung

Country Status (3)

Country Link
EP (1) EP1127748B1 (de)
JP (1) JP2001255890A (de)
DE (2) DE10008226C2 (de)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10338512A1 (de) * 2003-08-22 2005-03-17 Daimlerchrysler Ag Unterstützungsverfahren für Sprachdialoge zur Bedienung von Kraftfahrzeugfunktionen
WO2006087280A1 (de) 2005-02-17 2006-08-24 Robert Bosch Gmbh Verfahren und vorrichtung zur sprachsteuerung eines gerätes oder eines systems in einem kraftfahrzeug
DE102007042583A1 (de) * 2007-09-07 2009-03-12 Audi Ag Verfahren zur Kommunikation zwischen einer natürlichen Person und einem künstlichen Sprachsystem sowie Kommunikationssystem
DE102011121110A1 (de) 2011-12-14 2013-06-20 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Sprachdialogsystems in einem Fahrzeug und dazugehöriges Sprachdialogsystem
DE102013013695A1 (de) * 2013-08-16 2015-02-19 Audi Ag Kraftfahrzeug mit Spracherkennung

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10120513C1 (de) 2001-04-26 2003-01-09 Siemens Ag Verfahren zur Bestimmung einer Folge von Lautbausteinen zum Synthetisieren eines Sprachsignals einer tonalen Sprache
EP1342605B1 (de) 2002-03-04 2006-07-26 Ford Global Technologies, LLC Vorrichtung zur Steuerung einer Bildschirmanzeige
DE10220797A1 (de) * 2002-05-10 2003-12-24 Audi Ag Kraftfahrzeug
US7242312B2 (en) * 2002-05-29 2007-07-10 Yamaha Hatsudoki Kabushiki Kaisha Product state display system, and program and recording medium for the same
JP3724461B2 (ja) 2002-07-25 2005-12-07 株式会社デンソー 音声制御装置
DE102005049386A1 (de) * 2005-10-15 2007-04-19 GM Global Technology Operations, Inc., Detroit Kraftfahrzeug mit beleuchtbaren Bedienelementen
JP2007326491A (ja) * 2006-06-08 2007-12-20 Toyota Motor Corp 車両用入力装置
DE102008027827A1 (de) * 2008-06-11 2009-12-17 Volkswagen Ag Audiovisuelles Assistenzsystem
DE102008028512A1 (de) 2008-06-16 2009-12-17 Audi Ag Kommunikationssystem und Verfahren zur Darstellung von Informationen bei einer Kommunikation
DE102009011395A1 (de) * 2009-03-03 2010-09-09 Rohde & Schwarz Gmbh & Co. Kg System zur sprachgesteuerten Steuerung von Messgeräten
DE102014018423B4 (de) * 2014-12-11 2021-03-25 Audi Ag Kraftfahrzeug mit durch peripheres Sehen interpretierbarer Zustandsanzeige sowie entsprechendes Verfahren
DE102015007244A1 (de) 2015-06-05 2016-12-08 Audi Ag Zustandsindikator für ein Datenverarbeitungssystem
DE102016124700A1 (de) * 2016-12-16 2018-06-21 ic audio GmbH Alarmeinheit und Alarmsystem
DE102022107293A1 (de) * 2022-03-28 2023-09-28 Bayerische Motoren Werke Aktiengesellschaft Assistenzsystem und Assistenzverfahren für ein Fahrzeug

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19533541C1 (de) * 1995-09-11 1997-03-27 Daimler Benz Aerospace Ag Verfahren zur automatischen Steuerung eines oder mehrerer Geräte durch Sprachkommandos oder per Sprachdialog im Echtzeitbetrieb und Vorrichtung zum Ausführen des Verfahrens
DE19845560A1 (de) * 1998-10-02 2000-04-13 Axel Susen Virtueller Gesprächspartner

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3712170A1 (de) * 1987-04-10 1989-02-09 Holtronic Gmbh Stereoskopisches display-system
JP2985231B2 (ja) * 1990-05-17 1999-11-29 ソニー株式会社 映像表示装置
US5621424A (en) * 1992-08-24 1997-04-15 Olympus Optical Co., Ltd. Head mount display apparatus allowing easy switching operation from electronic image to external field image
US5883739A (en) * 1993-10-04 1999-03-16 Honda Giken Kogyo Kabushiki Kaisha Information display device for vehicle
JPH09102098A (ja) * 1995-10-03 1997-04-15 Honda Motor Co Ltd 車両用情報表示装置
US6249720B1 (en) * 1997-07-22 2001-06-19 Kabushikikaisha Equos Research Device mounted in vehicle
DE19825560A1 (de) * 1998-06-08 1999-12-09 Kt Elektronik Klaucke Und Part Analog-Digital-Wandler

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19533541C1 (de) * 1995-09-11 1997-03-27 Daimler Benz Aerospace Ag Verfahren zur automatischen Steuerung eines oder mehrerer Geräte durch Sprachkommandos oder per Sprachdialog im Echtzeitbetrieb und Vorrichtung zum Ausführen des Verfahrens
DE19845560A1 (de) * 1998-10-02 2000-04-13 Axel Susen Virtueller Gesprächspartner

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10338512A1 (de) * 2003-08-22 2005-03-17 Daimlerchrysler Ag Unterstützungsverfahren für Sprachdialoge zur Bedienung von Kraftfahrzeugfunktionen
WO2006087280A1 (de) 2005-02-17 2006-08-24 Robert Bosch Gmbh Verfahren und vorrichtung zur sprachsteuerung eines gerätes oder eines systems in einem kraftfahrzeug
DE102007042583A1 (de) * 2007-09-07 2009-03-12 Audi Ag Verfahren zur Kommunikation zwischen einer natürlichen Person und einem künstlichen Sprachsystem sowie Kommunikationssystem
DE102007042583B4 (de) * 2007-09-07 2010-12-09 Audi Ag Verfahren zur Kommunikation zwischen einer natürlichen Person und einem künstlichen Sprachsystem sowie Kommunikationssystem
DE102011121110A1 (de) 2011-12-14 2013-06-20 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Sprachdialogsystems in einem Fahrzeug und dazugehöriges Sprachdialogsystem
DE102013013695A1 (de) * 2013-08-16 2015-02-19 Audi Ag Kraftfahrzeug mit Spracherkennung
DE102013013695B4 (de) 2013-08-16 2019-05-23 Audi Ag Kraftfahrzeug mit Spracherkennung

Also Published As

Publication number Publication date
EP1127748A3 (de) 2004-03-17
EP1127748A2 (de) 2001-08-29
JP2001255890A (ja) 2001-09-21
DE10008226A1 (de) 2001-09-06
DE50109658D1 (de) 2006-06-08
EP1127748B1 (de) 2006-05-03

Similar Documents

Publication Publication Date Title
DE10008226C2 (de) Vorrichtung zur Sprachsteuerung und Verfahren zur Sprachsteuerung
EP1123842B1 (de) Fahrerassistenzsystem und Verfahren zur Steuerung von einer Informationsdarstellung, von Kommunikationsmitteln und von einer Aktorik in einem Fahrzeug
EP1342054B1 (de) Verfahren zur steuerung einer spracheingabe und -ausgabe
EP1986889B1 (de) Vorrichtung und verfahren zur interaktiven informationsausgabe und/oder hilfestellung für den benutzer eines kraftfahrzeugs
DE102018127443A1 (de) Bordeigenes System zum Kommunizieren mit den Insassen
DE112014006409T5 (de) Fahrzeugsteuervorrichtung und Fahrzeugsteuerverfahren
DE112012006617T5 (de) Bord-Informationsvorrichtung
EP3661797B1 (de) Verfahren, vorrichtung, mobiles anwendergerät, computerprogramm zur steuerung eines audiosystems eines fahrzeugs
EP2026328B1 (de) Verfahren zur multimodalen Bedienung mindestens eines Gerätes in einem Kraftfahrzeug
DE102018126525A1 (de) Fahrzeuginternes System, Verfahren und Speichermedium
DE112020007096T5 (de) Systeme und verfahren zum bereitstellen eines personalisierten virtuellen persönlichen assistenten
DE102015014652B4 (de) Verfahren zum Betreiben eines Kraftfahrzeugs, bei welchem ein Text eines Musikstücks ausgegeben wird, und Kraftfahrzeug
DE102016217026A1 (de) Sprachsteuerung eines Kraftfahrzeugs
EP1121684B1 (de) Verfahren und vorrichtung zur ausgabe von informationen und/oder meldungen per sprache
DE102017213249A1 (de) Verfahren und System zum Erzeugen einer auditiven Meldung in einem Innenraum eines Fahrzeugs
DE102014019192A1 (de) Darstellung des Online-Status einer hypriden Sprachbedienung
DE102009018468A1 (de) Verfahren zur selektiven Wiedergabe von Außengeräuschen und/oder wenigstens einer daraus abgeleiteten Information in einem schallgedämpften Innenraum eines Kraftfahrzeugs, Fahrerassistenzsystem und Kraftfahrzeug
DE102017213252A1 (de) Verfahren, Vorrichtung und Computerprogramm zum Variieren eines in einem Fahrzeug auszugebenden Audio-Inhalts
DE102007042583B4 (de) Verfahren zur Kommunikation zwischen einer natürlichen Person und einem künstlichen Sprachsystem sowie Kommunikationssystem
DE102013013695A1 (de) Kraftfahrzeug mit Spracherkennung
DE102019203533A1 (de) Verfahren zur Wiedergabe von Audioinhalten und Audiowiedergabesystem
DE102008002718A1 (de) Navigationsvorrichtung
DE102007042580A1 (de) Verfahren zur Kommunikation zwischen einer natürlichen Person und einem künstlichen Sprachsystem sowie Kommunikationssystem
WO2016156448A1 (de) Rechnersystem für ein fahrzeug
DE102022213306A1 (de) Spracherkennungssystem und verfahren zur bereitstellung eines spracherkennungsdienstes

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
D2 Grant after examination
8364 No opposition during term of opposition
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee

Effective date: 20110901