DE102011106271B4 - Verfahren und Vorrichtung zum Bereitstellen einer Sprachschnittstelle, insbesondere in einem Fahrzeug - Google Patents

Verfahren und Vorrichtung zum Bereitstellen einer Sprachschnittstelle, insbesondere in einem Fahrzeug Download PDF

Info

Publication number
DE102011106271B4
DE102011106271B4 DE201110106271 DE102011106271A DE102011106271B4 DE 102011106271 B4 DE102011106271 B4 DE 102011106271B4 DE 201110106271 DE201110106271 DE 201110106271 DE 102011106271 A DE102011106271 A DE 102011106271A DE 102011106271 B4 DE102011106271 B4 DE 102011106271B4
Authority
DE
Germany
Prior art keywords
time interval
metric
quantifiable
change
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE201110106271
Other languages
English (en)
Other versions
DE102011106271A1 (de
Inventor
Stefan Schulz
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Priority to DE201110106271 priority Critical patent/DE102011106271B4/de
Publication of DE102011106271A1 publication Critical patent/DE102011106271A1/de
Application granted granted Critical
Publication of DE102011106271B4 publication Critical patent/DE102011106271B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373Voice control

Abstract

Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung (2, 3, 5, 6, 7) zum Bereitstellen einer Sprachschnittstelle, insbesondere in einem Fahrzeug (1). Bei dem erfindungsgemäßen Verfahren wird ein Signal zur Aktivierung der Sprachschnittstelle erfasst, durch welches ein erstes Zeitintervall (11) gestartet wird. Das erste Zeitintervall (11) wird mittels eines graphischen Objekts (9A–9E) angezeigt, indem die abgelaufene Zeit im ersten Zeitintervall (11) mittels einer ersten metrisch quantifizierbaren Veränderung des graphischen Objekts (9) visualisiert wird. Vor Ablauf des ersten Zeitintervalls (11) wird eine Spracheingabe (10) erfasst, durch welche ein zweites Zeitintervall (13; 14, 12) gestartet wird und das zweite Zeitintervall (13; 14, 12) visualisiert wird, indem die abgelaufene Zeit im zweiten Zeitintervall (13; 14, 12) mittels einer zweiten metrisch quantifizierbaren Veränderung des graphischen Objekts (9B'–9G') visualisiert wird. Dabei wird die erste metrisch quantifizierbare Veränderung in Abhängigkeit von der abgelaufenen Zeit (12) im ersten Zeitintervall (11) berechnet und es wird die zweite metrisch quantifizierbare Veränderung auf der Basis des Zwischenzustands (9B) des graphischen Objekts (9) unmittelbar vor Beginn des zweiten Zeitintervalls (13; 14, 12) und in Abhängigkeit von der abgelaufenen Zeit im zweiten Zeitintervall (13; 14, 12) berechnet, wobei sich beide metrisch quantifizierbaren Veränderungen voneinander unterscheiden.

Description

  • Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zum Bereitstellen einer Sprachschnittstelle, insbesondere in einem Fahrzeug.
  • Sprachschnittstellen finden ein breites Anwendungsspektrum für Bediensysteme. Dies betrifft gleichermaßen die Bedienung von Geräten sowie die Erledigung fernmündlicher Aufgaben mittels eines Sprachcomputers.
  • Eine Sprachschnittstelle kann vorteilhafterweise zum Bedienen von diversen Funktionseinrichtungen in einem Fahrzeug eingesetzt werden. Dabei ist insbesondere darauf zu achten, dass der Fahrer bei der Bedienaktion nicht vom Straßenverkehr abgelenkt wird. So kann die Sprachbedienung alternativ oder auch zusätzlich zu anderen Eingabemöglichkeiten, z. B. einer manuellen Eingabe, angeboten werden, sodass der Fahrer je nach Situation die für ihn komfortabelste Eingabemöglichkeit auswählen kann. Dies trägt dann zur Verbesserung der Sicherheit im Straßenverkehr bei.
  • Die Bereitstellung einer Sprachschnittstelle muss an die jeweilige Benutzungssituation maßgeschneidert angepasst werden. So kann es bei einer permanent aktivierten Sprachschnittstelle in Umgebungen mit Störgeräuschen, insbesondere bei Hintergrundkonversationen, zu ungewollten Eingaben kommen, indem einzelne nicht als Spracheingabe gedachte Wortfragmente systemseitig als Spracheingabe fehlinterpretiert werden. Dadurch kann es zur Fehlauslösung einer Funktion oder zumindest zu einer ungewollten Kommunikation zwischen Mensch und Maschine kommen. Andererseits belastet eine permanent aktivierte Sprachschnittstelle die Systemressourcen, da laufend mit einer potentiellen Spracheingabe gerechnet werden muss.
  • Um dies zu verhindern, kann eine vorherige Aktivierung der Sprachschnittstelle vorgesehen sein. Die Absicht einer Spracheingabe wird beispielsweise situationsabhängig erkannt und daraufhin systemseitig ein Steuersignal zur Aktivierung der Sprachschnittstelle erzeugt oder es wird nutzerseitig vor einer Spracheingabe eine dafür vorgesehene Aktivierungstaste (z. B. eine sogenannte „Push-To-Talk-Taste”) betätigt. Eine solche Aktivierung bringt allerdings ihrerseits den Nachteil mit sich, dass in einer zwischen der Erzeugung des Aktivierungssignals und der tatsächlichen Aktivierung der Sprachschnittstelle bestehenden systembedingten Totzeit das System noch keine Spracheingaben verarbeiten kann. Typischerweise wird diese Totzeit vom Nutzer ignoriert und es kommt zu Eingabefehlern, die wiederum durch geeignete Mittel erkannt und ggf. korrigiert werden müssen.
  • Die US 2010/0204982 A1 beschreibt beispielweise ein System und ein Verfahren zum Erzeugen von Daten für die statische Modellierung von Dialogsystemen mit der Hauptanwendung für Sprachdialogsysteme.
  • Die US 2003/0200094 A1 beschreibt ein System und ein Verfahren zum wissensbasierten Trainieren von automatischen Spracherkennern, indem in einer Firma bereits bekannte Daten, z. B. aus E-Mails oder aus anderen Konversationen, benutzt werden.
  • Die US 2005/0197843 beschreibt ein Sprachverarbeitungssystem, das nach Empfangen eines Signals zur Aktivierung der Sprachschnittstelle eine erste Spracheingabe erfasst und daraufhin ein zweites Zeitintervall startet. Erfolgt auch im zweiten Zeitintervall eine Spracheingabe wird das gewünschte Ergebnis gezeigt.
  • Die DE 10 2008 051 757 A1 beschreibt ein Verfahren und eine Systemarchitektur zur multimodalen Informationseingabe. Haptische und gestische Eingabesignale auf der Anzeige- und Bedieneinrichtung führen dabei zur Aktivierung der Spracherkennung.
  • Die US 2004/0093215 beschreibt ein Verfahren, ein System und ein Modul zur multi-modalen Datenfusion. Es können z. B. Daten aus einer Spracheingabe mit Daten aus einer Touch-Screen Eingabe kombiniert und verwertet werden.
  • In der US 6 751 591 B1 wird ein Verfahren und ein System zur Vorhersage von Verständigungsproblemen in einem Sprachdialogsystem beschrieben. Bei einer unklaren Spracheingabe werden Wahrscheinlichkeiten bestimmt, mit der die Spracheingabe einer Funktion zugeordnet werden kann. In Abhängigkeit davon werden unterschiedliche Dialogstrategien weiterverfolgt.
  • Es ist ferner bekannt, dem Nutzer die Verfügbarkeit der Sprachschnittstelle in geeigneter Weise anzuzeigen, damit er eine visuelle Orientierung erhält, ob er in der konkreten Situation eine Spracheingabe tätigen kann oder nicht.
  • Es ist die Aufgabe der vorliegenden Erfindung, ein Verfahren und eine Vorrichtung zum Bereitstellen einer Sprachschnittstelle anzugeben, bei denen der Nutzer eine verbesserte und intuitiv verständliche Übersicht über die Verfügbarkeit der Sprachschnittstelle erhält.
  • Diese Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des Anspruchs 1 und einer Vorrichtung mit den Merkmalen des Anspruchs 9 gelöst. Vorteilhafte Aus- und Weiterbildungen ergeben sich aus den abhängigen Ansprüchen.
  • Bei dem erfindungsgemäßen Verfahren zum Bereitstellen einer Sprachschnittstelle, insbesondere in einem Fahrzeug, wird ein Signal zur Aktivierung der Sprachschnittstelle erfasst, durch welches ein erstes Zeitintervall gestartet wird. Das erste Zeitintervall wird mittels eines graphischen Objekts angezeigt, indem die abgelaufene Zeit im ersten Zeitintervall mittels einer ersten metrisch quantifizierbaren Veränderung des graphischen Objekts visualisiert wird. Vor Ablaut des ersten Zeitintervalls wird eine Spracheingabe erfasst, durch welche ein zweites Zeitintervall gestartet wird und das zweite Zeitintervall visualisiert wird, indem die abgelaufene Zeit im zweiten Zeitintervall mittels einer zweiten metrisch quantifizierbaren Veränderung des graphischen Objekts visualisiert wird. Dabei wird die erste metrisch quantifizierbare Veränderung in Abhängigkeit von der abgelaufenen Zeit im ersten Zeitintervall berechnet und es wird die zweite metrisch quantifizierbare Veränderung auf der Basis des Zwischenzustands des graphischen Objekts unmittelbar vor Beginn des zweiten Zeitintervalls und in Abhängigkeit von der abgelaufenen Zeit im zweiten Zeitintervall berechnet, wobei sich beide metrisch quantifizierbaren Veränderungen voneinander unterscheiden. Dies hat den Vorteil, dass dem Nutzer nicht nur das Zeitintervall vor seiner Spracheingabe visualisiert wird, um ihn auf ein mögliches Deaktivieren der Sprachschnittstelle hinzuweisen, sondern auch, dass er in einem nahtlos daran folgenden Zeitintervall während seiner Spracheingabe weiterhin eine visuelle Rückmeldung erhält, ob gegebenenfalls ein Aufnahmespeicher für die momentane Spracheingabe sich zu erschöpfen droht.
  • Das Signal zur Aktivierung der Sprachschnittstelle kann ein an sich bekanntes Signal sein. Es kann beispielsweise durch die Betätigung einer für die Sprachschnittstelle dedizierten Aktivierungstaste (eine sogenannte „Push-To-Talk”-Taste) ausgelöst werden. Die Aktivierung der Sprachschnittstelle kann aber auch auf andere Weise erfolgen, z. B. indem über die Sprachschnittstelle in einer passiven Phase kontinuierlich akustische Signale empfangen und ausgewertet werden und erst bei der Erkennung eines Schlüsselworts in eine aktive Phase der Sprachschnittstelle gewechselt wird.
  • Das graphische Objekt wird bei der Erfassung der Spracheingabe auf Basis des Zwischenzustandes, der sich aus der ersten metrisch quantifizierbaren Veränderung ergibt, metrisch quantifizierbar in einer zweiten Art verändert. Dadurch bedarf es zum Zeitpunkt der Erfassung der Spracheingabe keiner zusätzlichen Veränderung des graphischen Objekt, sodass keine singulären Punkte mit einer sprunghaften Darstellung entstehen, die den Nutzer verwirren oder visuell überfordern könnten.
  • Eine metrisch quantifizierbare Veränderung des graphischen Objekts ist im Sinne der Erfindung eine nachmessbare Größe eines mit dem Objekt assoziierten Merkmals. Eine solche Veränderung lässt sich visuell schnell und intuitiv erfassen und vermittelt einen objektivierbaren Ablauf der Zeit während der Bedienung über die Sprachschnittstelle. Die erste und/oder die zweite metrisch quantifizierbare Veränderung umfasst beispielsweise eine Längenänderung des graphischen Objekts selber, eine Flächenänderung des graphischen Objekts selber und/oder eine Farbänderung entlang einer Vorzugsrichtung eines Bereichs innerhalb des graphischen Objekts. Es wird z. B. ein grüner Balken in dem graphischen Objekt sukzessive von links nach rechts rot überschrieben, ohne die Gestalt des graphischen Objekts selber zu verändern.
  • Die zweite metrisch quantifizierbare Veränderung läuft insbesondere mit einer anderen Zeitkonstante, z. B. langsamer ab. Sie kann sich ferner auch durch andere Veränderungsmerkmale von der ersten Veränderung unterscheiden. Beispielsweise wird das graphische Objekt durch die erste metrisch quantifizierbare Veränderung verkleinert, durch die zweite metrisch quantifizierbare Veränderung findet dann eine farblich Veränderung entlang einer Kante des so verkleinerten Objekts statt, ohne dass das Objekt weiter verkleinert wird.
  • Die erste und/oder zweite metrisch quantifizierbare Veränderung kann kontinuierlich oder in diskreten Schritten linear mit der jeweils abgelaufenen Zeit im ersten und/oder zweiten Zeitintervall ablaufen. Es kann beispielsweise der lineare Verlauf des entsprechenden Zeitintervalls in vorbestimmten Anteilen, z. B. 5%-Blöcken angezeigt werden. Die mit der abgelaufenen Zeit lineare Veränderung gibt dem Nutzer eine schnelle Übersicht über das ihm für die Spracheingabe zur Verfügung stehende Zeitfenster.
  • Die Länge des zweiten Zeitintervalls kann vorteilhafterweise ein vorab festgelegter erster Wert, die Differenz von einem vorab festgelegten zweiten Wert und der verstrichenen Zeit im ersten Zeitintervall bis zur Erfassung der Spracheingabe und/oder das Minimum hiervon sein. Damit kann der Ablauf der zweiten Veränderung an die jeweilige Nutzungssituation und/oder die Systemeigenschaften angepasst werden. Ein vorab festgelegter erster Wert entspricht dabei einem durch die Sprechdauer während der Spracheingabe ausgelösten Time-Out. Die Differenz eines vorab festgelegten zweiten Wertes und der verstrichenen Zeit im ersten Zeitintervall entspricht dabei einem globalen Time-Out, der unabhängig von dem Verlauf der aktiven Phase der Sprachschnittstelle festgelegt ist.
  • In einer Ausgestaltung des erfindungsgemäßen Verfahrens ist vorgesehen, dass bei einer Sprechpause während des zweiten Zeitintervalls das graphische Objekt durch eine dritte metrisch quantifizierbare Veränderung verändert wird, wobei die dritte metrisch quantifizierbare Veränderung schneller als die zweite metrisch quantifizierbare Veränderung abläuft. Es kann sich dabei insbesondere um eine Veränderung mit denselben Merkmalen handeln. Hierdurch kann der Nutzer darauf hingewiesen werden, dass durch zu lange Sprechpausen die Spracheingabe systemseitig als beendet interpretiert wird. Die Geschwindigkeit der dritten metrisch quantifizierbaren Veränderung ist dabei an die maximal zulässige Sprechpause angepasst.
  • Um dem Nutzer eine zusätzliche Rückmeldung zu geben, dass systemseitig nun Spracheingaben erfassbar sind bzw. seine Spracheingabe tatsächlich erfasst wird, kann die Erfassung der Spracheingabe zusätzlich visualisiert wird. Die zusätzliche Visualisierung kann beispielsweise durch eine Anzeige oder Veränderung eines mit dem graphischen Objekt assoziierten Symbols und/oder durch die Darstellung des Audiospektrums der Spracheingabe erfolgen. Dem Nutzer wird z. B. ein Mikrophon auf dem graphischen Objekt angezeigt.
  • In einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens kann alternativ oder auch zusätzlich vorgesehen sein, dass beim Erfassen des Endes der Spracheingabe, beim Erfassen eines Fehlers und/oder bei Erreichen des Endes des ersten oder zweiten Zeitintervalls ein Signal zur Deaktivierung der Sprachschnittstelle erzeugt wird. Dabei wird die Deaktivierung der Sprachschnittstelle durch Anzeige oder Veränderung eines mit dem graphischen Objekt assoziierten Symbols visualisiert. Beispielsweise kann das während der Spracheingabe angezeigte Mikrophon in einer anderen Farbe dargestellt werden. Hierdurch wird dem Nutzer erleichtert, die Systemaktionen nachzuvollziehen, welches insbesondere bei der weiteren Benutzung der Sprachschnittstelle, z. B. bei einer unmittelbar folgenden Spracheingabe, eine Fehlbedienung zu verhindern unterstützt.
  • Die erfindungsgemäße Vorrichtung zum Bereitstellen einer Sprachschnittstelle, insbesondere in einem Fahrzeug, umfasst Aktivierungsmittel der Sprachschnittstelle, Mittel zum Erfassen einer Spracheingabe und eine Anzeigefläche zum Visualisieren eines Sprachdialogs mittels eines graphischen Objekts. Die erfindungsgemäße Vorrichtung umfasst des Weiteren eine Steuereinheit, die mit den Aktivierungsmitteln, den Mitteln zum Erfassen einer Spracheingabe und der Anzeigefläche verbunden ist, und mittels derer bei der Erfassung eines Signals zur Aktivierung der Sprachschnittstelle ein erstes Zeitintervall und bei der Erfassung einer Spracheingabe ein zweites Zeitintervall initiierbar ist. Die erfindungsgemäße Vorrichtung ist dadurch gekennzeichnet, dass die Anzeigefläche mittels der Steuereinheit derart steuerbar ist, dass das erste Zeitintervall mittels eines graphischen Objekts visualisierbar ist, indem die abgelaufene Zeit im ersten Zeitintervall mittels einer ersten metrisch quantifizierbaren Veränderung des graphischen Objekts visualisiert wird, und das zweite Zeitintervall visualisierbar ist, indem die abgelaufene Zeit im zweiten Zeitintervall mittels einer zweiten metrisch quantifizierbaren Veränderung des graphischen Objekts visualisiert wird. Dabei ist die erste metrisch quantifizierbare Veränderung in Abhängigkeit von der abgelaufenen Zeit im ersten Zeitintervall berechenbar und es ist die zweite metrisch quantifizierbare Veränderung auf der Basis des Zwischenzustands des graphischen Objekts unmittelbar vor Beginn des zweiten Zeitintervalls und in Abhängigkeit von der abgelaufenen Zeit im zweiten Zeitintervall berechenbar, wobei sich beide metrisch quantifizierbaren Veränderungen voneinander unterscheiden. Die Vorrichtung ist insbesondere zum Durchführen des erfindungsgemäßen Verfahrens geeignet. Sie weist somit auch die Vorteile des erfindungsgemäßen Verfahrens auf.
  • Insbesondere ist des Weiteren ein Fahrzeug mit einer solchen Vorrichtung zum Bereitstellen einer Sprachschnittstelle ausgestattet.
  • Die Erfindung wird nun anhand von Ausführungsbeispielen mit Bezug zu den Figuren näher erläutert.
  • 1 zeigt ein Cockpit eines Fahrzeugs, das mit einer Vorrichtung zum Bereitstellen einer Sprachschnittstelle gemäß einem Ausführungsbeispiel der Erfindung ausgestattet ist,
  • 2 zeigt schematisch den Aufbau eines Ausführungsbeispiels der erfindungsgemäßen Vorrichtung zum Bereitstellen einer Sprachschnittstelle
  • 3 zeigt schematisch den zeitlichen Ablauf der Darstellung eines graphischen Objekts, welches gemäß einem Ausführungsbeispiel der Erfindung metrisch quantifizierbar verändert wird, und
  • 4 zeigt schematisch den zeitlichen Ablauf der Darstellung eines graphischen Objekts, welches gemäß einem weiteren Ausführungsbeispiel der Erfindung metrisch quantifizierbar verändert wird.
  • In der 1 ist ein Cockpit eines Fahrzeugs 1 dargestellt, das mit einer Vorrichtung zum Bereitstellen einer Sprachschnittstelle gemäß einem Ausführungsbeispiel der Erfindung ausgestattet ist. Am Lenkrad des Fahrzeugs 1 ist eine Push-To-Talk-Taste 2 angeordnet, über welche ein Signal zur Aktivierung der Sprachschnittstelle ausgelöst werden kann. Im oberen Bereich der Mittelkonsole ist eine Anzeigefläche 5 derart angeordnet, dass sie von Fahrer und Beifahrer gut abgelesen werden kann. Die Anzeigefläche 5 ist frei programmierbar, sodass beliebige zu verschiedenen Programmen gehörige graphische Objekte 9 auf ihr darstellbar sind. Insbesondere können auf der Anzeigefläche 5 graphische Objekte 9 zum Visualisieren einer Eingabe über die Sprachschnittstelle dargestellt werden.
  • Im Cockpit ist des Weiteren ein Mikrophon 3 zum Empfangen von Sprachbefehlen angeordnet. Es kann an geeigneter Stelle im Cockpit integriert sein, z. B. im Dachhimmel in der Nähe der Kopfpositionen von Fahrer oder Beifahrer. Das Mikrophon 3 ist des Weiteren mit einem Softwaremodul zur Sprachaktivitätserkennung sowie mit einem adaptiven Filter zur Störgeräuschunterdrückung verbunden (nicht dargestellt). Für systemseitige Sprachausgaben kann optional ein Lautsprecher 4 vorgesehen sein, der z. B. in der Nähe der Mittelkonsole oder in einem seitlichen Bereich in den Türen integriert ist.
  • In der 2 ist schematisch der Aufbau eines Ausführungsbeispiels der erfindungsgemäßen Vorrichtung zum Bereitstellen einer Sprachschnittstelle dargestellt. Zusätzlich zu den bereits im Zusammenhang mit der 1 beschriebenen Komponenten ist eine Steuereinheit 6 dargestellt, die über den Datenbus 8 im Fahrzeug 1 mit Funktionseinrichtungen verbunden ist, welche über die Sprachschnittstelle bedienbar sind, z. B. ein Navigationssystem, eine Infotainmenteinrichtung oder die Klimatisierungsanlage. Die Steuereinheit 6 ist des Weiteren mit der Anzeigefläche 5, der Push-To-Talk-Taste 2 und dem Mikrophon 3 verbunden. Die Steuereinheit 6 umfasst einen Zeitgeber 7, über den Zeitintervalle 1114 in Abhängigkeit von bestimmten Ereignissen initiiert, beobachtet und beendet werden können. Die Steuereinheit 6 ist derart ausgestaltet, dass die graphischen Objekte 9 auf der Anzeigefläche 5 in Abhängigkeit von den Zeitintervallen 1114 gemäß dem erfindungsgemäßen Verfahren metrisch quantifizierbar verändert werden können.
  • Das erfindungsgemäße Verfahren wird nun anhand zweier Ausführungsbeispiele mit Bezug zu den 3 und 4 näher erläutert. Einzelne Merkmale der Ausführungsbeispiele lassen sich untereinander kombinieren. Zur Durchführung des Verfahrens kann insbesondere die zuvor beschriebene Vorrichtung verwendet werden.
  • In der 3 ist der zeitliche Ablauf der Darstellung eines graphischen Objekts 9 zur Visualisierung des Status der Sprachschnittstelle gemäß einem ersten Ausführungsbeispiel des erfindungsgemäßen Verfahrens dargestellt. Durch die Betätigung der Push-To-Talk-Taste 2 wird ein Signal zur Aktivierung der Sprachschnittstelle ausgelöst und systemseitig erfasst. Daraufhin wird das Zeitintervall 11 des Anfangsschweigens sowie das Zeitintervall 14 der Gesamtaktivierungsdauer gestartet. Das Zeitintervall 11 hat eine definierte Länge und wird bei Erreichen des Zeitpunkts des sogenannten „Leading Silence Time-out” beendet, wenn bis dahin systemseitig keine Spracheingabe erfasst werden konnte, z. B. nach Ablauf von 3 bis 10 Sekunden. Das Zeitintervall 14 wird bei Erreichen des sogenannten „Global Time-out” erreicht und ist länger als das Zeitintervall 11, z. B. 20 bis 60 Sekunden. Die Längen dieser Zeitintervalle können je nach Anwendungsfall sehr unterschiedlich festgesetzt werden, von der Komplexität und der Länge der zu erwartenden Spracheingabe abhängen und daher auch von den angegebenen Längen abweichen.
  • Wird nach Ablauf eines Zeitintervalls 12 während des Zeitintervalls 11 eine Spracheingabe 10 erfasst, so wird ein weiteres Zeitintervall 13 der maximalen Spracheingabedauer gestartet (sogenanntes „Speech Durstion Time-Out”). Das Zeitintervall 13 hat eine definierte Länge, z. B. 10 bis 60 Sekunden, um zu vermeiden, dass es bei exzessiv langen Spracheingaben zu nachteiligen systembedingten Verzögerungen kommt. Die Sprachschnittstelle kann automatisch deaktiviert werden, wenn entweder das Zeitintervall 13, die Differenz des Zeitintervalls 14 minus der im Zeitintervall 11 abgelaufenen Zeit 12 oder das Minimum beider so definierter Zeitintervalle abgelaufen ist.
  • Der Status der Sprachschnittstelle wird anhand des graphischen Objekts 9 visualisiert, um dem Nutzer bei der optimalen Nutzung der Sprachschnittstelle zu unterstützen. Bei der Aktivierung der Sprachschnittstelle umfasst das Objekt 9 einen Balken 9A einer fest vorgegebenen Länge, der auf der Anzeigefläche 5 angezeigt wird. Der Balken 9A erstreckt sich z. B. im Wesentlichen über die gesamte Breite der Anzeigefläche 5. Außerdem wird ein Mikrophonsymbol 15 angezeigt, welches dem Nutzer die Möglichkeit der Spracheingabe noch intuitiver anzeigt.
  • Der Nutzer wird nicht sofort bei der Aktivierung der Sprachschnittstelle mit seiner Spracheingabe beginnen. Dies kann verschiedene Gründe haben. Einerseits wird der Nutzer abwarten, bis er das Mikrophonsymbol erkennt und erst dann anfangen zu sprechen, um ein Abhacken des Anfangs der Spracheingabe zu vermeiden. Andererseits kann der Nutzer gegebenenfalls nachdenken müssen oder situationsbedingt seine Spracheingabe zurückstellen müssen, weil dies die Verkehrssituation erfordert. Diese Phase wird ihm derart visualisiert, dass der Balken 9A im weiteren Verlauf linear mit der Zeit als verkürzte Balken 9B, 9C dargestellt wird. Die Darstellung kann dabei in diskreten Schritten erfolgen, sodass sich der Balken 9A9C stufenweise verkürzt, wobei die Stufenfunktion im Mittel linear dem Zeitverlauf folgt. Die Darstellung kann auch kontinuierlich verkürzt werden, sodass die dargestellten Veränderungen des Balkens 9A9C nur jeweils Momentaufnahmen zu äquidistanten Zeitenpunkten sind.
  • Die Länge des angezeigten Balkens 9A9C (bzw. die zu der Stufenfunktion gehörige Mittellinie) ergibt sich dabei aus folgender Formel (1): B(t) = B(t0)·(1 – t/T1) (1), wobei die Formelbestandteile folgendermaßen definiert sind:
  • B(t)
    ist die zeitlich veränderte Länge des Balkens 9A9C,
    t0
    ist der Zeitpunkt der Aktivierung der Sprachschnittstelle,
    t
    ist die abgelaufene Zeit seit der Aktivierung der Sprachschnittstelle und
    T1
    ist die Länge des Zeitintervalls 11
  • Wird bis zum Ablauf des Zeitintervalls 11 keine Spracheingabe erfasst, so wird die Sprachschnittstelle wieder deaktiviert, weil systemseitig davon ausgegangen wird, dass die Aktivierung z. B. versehentlich erfolgte oder nach der Aktivierung sich eine Situation eingestellt hat, in der der Nutzer die Sprachschnittstelle nicht mehr bedienen möchte oder kurzfristig dazu nicht in der Lage ist. Die Deaktivierung kann zusätzlich visualisiert werden, wie dies in Zusammenhang mit dem zweiten Ausführungsbeispiel weiter unten noch erläutert wird.
  • Wird alternativ nach Ablauf eines Zeitintervalls 12 eine Spracheingabe 10 erfasst, so wird auf Basis des Zwischenzustands des graphischen Objekts 9 der Balken 9B, 9B' fortan mit einer langsameren Geschwindigkeit verkürzt, sodass im weiteren Verlauf die Balken 9C'9E' angezeigt werden. Im gezeigten Beispiel wird die Spracheingabe regulär beendet, bevor das zum Zeitpunkt der Aktivierung der Sprachschnittstelle ausgelöste Zeitintervall 14 und bevor das zum Zeitpunkt der Erfassung der Spracheingabe ausgelöste Zeitintervall 13 abgelaufen sind. Der Nutzer hat im gezeigten Beispiel die Spracheingabe so rechtzeitig begonnen, dass der zuerst auslösende Time-Out durch das Zeitintervall 13 (Speech Durstion Time-Out) eintreten würde, wenn er noch etwas länger geredet hätte. Bei einer verzögerten Spracheingabe 10 wäre der Time-Out durch das Zeitintervall 14 (Global Time-Out) bestimmt worden.
  • Die Länge des angezeigten Balkens 9B'9E' (bzw. die zu der Stufenfunktion gehörige Mittellinie) ergibt sich dabei aus folgender Formel (2): B'(t) = B(tx)·(1 – (t – tx)/(min(T2 + T3, T4) – T2)) (2), wobei die Formelbestandteile folgendermaßen definiert sind:
  • B'(t)
    ist die zeitlich veränderte Länge des Balkens 9B'9E' nach der Erfassung der Spracheingabe,
    tx
    ist der Zeitpunkt der Erfassung der Spracheingabe,
    B(tx)
    ist die Länge des Balkens zum Zeitpunkt der Erfassung der Spracheingabe
    t
    ist die abgelaufene Zeit seit der Aktivierung der Sprachschnittstelle,
    T2
    ist die Länge des abgelaufenen Zeitintervalls 12,
    T3
    ist die Länge des Zeitintervalls 13,
    T4
    ist die Länge des Zeitintervalls 14 und
    min
    ist die mathematische Minimumfunktion.
  • In der 4 ist der zeitliche Ablauf der Darstellung des graphischen Objekts 9 zur Visualisierung des Status der Sprachschnittstelle gemäß einem zweiten Ausführungsbeispiel des erfindungsgemäßen Verfahrens dargestellt, wobei die Zeitintervalle 1114 hier weggelassen wurden. In diesem Ausführungsbeispiel wird das graphische Objekt 9 nur entlang einer unteren Anzeigeleiste 16 verändert. Die Anzeigeleiste 16 wird in dem Maße verkürzt, wie im ersten Ausführungsbeispiel das graphische Objekt 9 gemäß den Formeln (1) und (2) verkürzt wurde.
  • Auf der linken Seite ist wieder die Phase nach der Aktivierung der Sprachschnittstelle und vor dem Erfassen der Spracheingabe dargestellt. In diesem Falle wird das graphisch veränderte Objekt 9 in den Zuständen 9A9E dargestellt. Wenn nach Ablauf des Zeitintervalls 11 keine Spracheingabe erfasst wurde, wird dies zusätzlich dadurch visualisiert, indem das Mikrophonsymbol 15 als farblich verändertes Mikrophonsymbol 15' dargestellt wird, z. B. mit einem Farbwechsel von rot nach grau, um dem Nutzer die Deaktivierung der Sprachschnittstelle anzuzeigen.
  • Wird alternativ eine Spracheingabe 10 vor Ablauf des Zeitintervalls 11 erfasst, so wird wiederum das der Zwischenzustand 9B des graphischen Objekts 9 als Basis für die weitere Veränderung des graphischen Objekts 9 verwendet. Um dabei dem Nutzer die Sprachaktivität zu visualisieren, damit er eine Rückmeldung darüber bekommt, ob seine Spracheingabe systemseitig erfasst wird, wird in der Anzeigeleiste 16 in den graphisch veränderten Objekten 9B'9F' der Empfang der akustischen Impulse oder des akustischen Spektrums durch eine Sprachaktivitätsgraphik 17 angezeigt. Nach Erreichen eines durch die Zeitintervalle 13, 14 vorgegebenen Time-Outs kann wiederum das Mikrophonsymbol 15' angezeigt werden, um die Deaktivierung der Sprachschnittstelle anzuzeigen.
  • Alternativ wird das graphische Objekt 9 oder die Anzeigeleiste 16 nicht verkürzt dargestellt, sondern von rechts nach links gemäß den Formeln (1) und (2) farblich modifiziert. Beispielsweise wird ein anfänglich grüner Balken von rechts nach links rot überschrieben, um den Nutzer auf die Verkürzung des noch zur Verfügung stehenden Zeitintervalls für eine Spracheingabe aufmerksam zu machen.
  • Bezugszeichenliste
  • 1
    Fahrzeug
    2
    Push-To-Talk-Taste
    3
    Mikrophon
    4
    Lautsprecher
    5
    Anzeigefläche
    6
    Steuereinheit
    7
    Zeitgeber
    8
    Datenbus
    9
    graphisches Objekt/Balken
    9A–9E
    durch erste Veränderung verändertes graphisches Objekt
    9B'–9G'
    durch zweite Veränderung verändertes graphisches Objekt
    10
    Spracheingabe
    11–14
    Zeitintervalle
    15, 15'
    Mikrophonsymbol
    16
    Anzeigeleiste
    17
    Sprachaktivitätsgraphik

Claims (9)

  1. Verfahren zum Bereitstellen einer Sprachschnittstelle, insbesondere in einem Fahrzeug (1), bei dem – ein Signal zur Aktivierung der Sprachschnittstelle erfasst wird, durch welches ein erstes Zeitintervall (11) gestartet wird, – das erste Zeitintervall (11) mittels eines graphischen Objekts (9A9E) angezeigt wird, indem die abgelaufene Zeit im ersten Zeitintervall (11) mittels einer ersten metrisch quantifizierbaren Veränderung des graphischen Objekts (9) visualisiert wird, – vor Ablauf des ersten Zeitintervalls (11) eine Spracheingabe (10) erfasst wird, durch welche ein zweites Zeitintervall (13; 14, 12) gestartet wird, und – das zweite Zeitintervall (13; 14, 12) visualisiert wird, indem die abgelaufene Zeit im zweiten Zeitintervall (13; 14, 12) mittels einer zweiten metrisch quantifizierbaren Veränderung des graphischen Objekts (9B'9G') visualisiert wird, – wobei die erste metrisch quantifizierbare Veränderung in Abhängigkeit von der abgelaufenen Zeit (12) im ersten Zeitintervall (11) berechnet wird und die zweite metrisch quantifizierbare Veränderung auf der Basis des Zwischenzustands (9B) des graphischen Objekts (9) unmittelbar vor Beginn des zweiten Zeitintervalls (13; 14, 12) und in Abhängigkeit von der abgelaufenen Zeit im zweiten Zeitintervall (13; 14, 12) berechnet wird und wobei sich beide metrisch quantifizierbaren Veränderungen voneinander unterscheiden.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die erste und/oder die zweite metrisch quantifizierbare Veränderung eine Längenänderung des graphischen Objekts (9) selber, eine Flächenänderung des graphischen Objekts (9) selber und/oder eine Farbänderung entlang einer Vorzugsrichtung eines Bereichs (16) innerhalb des graphischen Objekts (9) umfassen.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die erste und/oder zweite metrisch quantifizierbare Veränderung kontinuierlich oder in diskreten Schritten linear mit der jeweils abgelaufenen Zeit im ersten und/oder zweiten Zeitintervall (11; 13; 14, 12) ablaufen.
  4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Länge des zweiten Zeitintervalls (13; 14, 12) ein vorab festgelegter erster Wert (13), die Differenz von einem vorab festgelegten zweiten Wert (14) und der verstrichenen Zeit im ersten Zeitintervall (12) bis zur Erfassung der Spracheingabe und/oder das Minimum hiervon ist.
  5. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass – bei einer Sprechpause während des zweiten Zeitintervalls (13; 14, 12) das graphische Objekt (9) durch eine dritte metrisch quantifizierbare Veränderung verändert wird, – wobei die dritte metrisch quantifizierbare Veränderung schneller als die zweite metrisch quantifizierbare Veränderung abläuft.
  6. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Erfassung der Spracheingabe (10) zusätzlich visualisiert wird.
  7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass die zusätzliche Visualisierung durch eine Anzeige oder Veränderung eines mit dem graphischen Objekt (9) assoziierten Symbols (15) und/oder durch die Darstellung des Audiospektrums (17) der Spracheingabe (10) erfolgt.
  8. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass – beim Erfassen des Endes der Spracheingabe, beim Erfassen eines Fehlers und/oder bei Erreichen des Endes des ersten oder zweiten Zeitintervalls ein Signal zur Deaktivierung der Sprachschnittstelle erzeugt wird und – die Deaktivierung der Sprachschnittstelle durch Anzeige oder Veränderung eines mit dem graphischen Objekt assoziierten Symbols (15') visualisiert wird.
  9. Vorrichtung (2, 3, 5, 6, 7) zum Bereitstellen einer Sprachschnittstelle, insbesondere in einem Fahrzeug (1), umfassend – Aktivierungsmittel (2) der Sprachschnittstelle, – Mittel (3) zum Erfassen einer Spracheingabe und – eine Anzeigefläche (5) zum Visualisieren eines Sprachdialogs mittels eines graphischen Objekts (9), – eine Steuereinheit (6, 7), die mit den Aktivierungsmitteln (2), den Mitteln (3) zum Erfassen einer Spracheingabe und der Anzeigefläche (5) verbunden ist, und mittels derer bei der Erfassung eines Signals zur Aktivierung der Sprachschnittstelle ein erstes Zeitintervall (11) und bei der Erfassung einer Spracheingabe ein zweites Zeitintervall (13; 14, 12) initiierbar ist, dadurch gekennzeichnet, dass die Anzeigefläche (5) mittels der Steuereinheit (6) derart steuerbar ist, dass – das erste Zeitintervall (11) mittels eines graphischen Objekts (9A9E) visualisierbar ist, indem die abgelaufene Zeit im ersten Zeitintervall (11) mittels einer ersten metrisch quantifizierbaren Veränderung des graphischen Objekts (9) visualisiert wird, und – das zweite Zeitintervall (13; 14, 12) visualisierbar ist, indem die abgelaufene Zeit im zweiten Zeitintervall (13; 14, 12) mittels einer zweiten metrisch quantifizierbaren Veränderung des graphischen Objekts (9) visualisiert wird, – wobei die erste metrisch quantifizierbare Veränderung in Abhängigkeit von der abgelaufenen Zeit im ersten Zeitintervall (11) berechenbar ist und die zweite metrisch quantifizierbare Veränderung auf der Basis des Zwischenzustands (9B) des graphischen Objekts (9) unmittelbar vor Beginn des zweiten Zeitintervalls (13; 14, 12) und in Abhängigkeit von der abgelaufenen Zeit im zweiten Zeitintervall (13; 14, 12) berechenbar ist und wobei sich beide metrisch quantifizierbaren Veränderungen voneinander unterscheiden.
DE201110106271 2011-07-01 2011-07-01 Verfahren und Vorrichtung zum Bereitstellen einer Sprachschnittstelle, insbesondere in einem Fahrzeug Active DE102011106271B4 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE201110106271 DE102011106271B4 (de) 2011-07-01 2011-07-01 Verfahren und Vorrichtung zum Bereitstellen einer Sprachschnittstelle, insbesondere in einem Fahrzeug

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE201110106271 DE102011106271B4 (de) 2011-07-01 2011-07-01 Verfahren und Vorrichtung zum Bereitstellen einer Sprachschnittstelle, insbesondere in einem Fahrzeug

Publications (2)

Publication Number Publication Date
DE102011106271A1 DE102011106271A1 (de) 2013-01-03
DE102011106271B4 true DE102011106271B4 (de) 2013-05-08

Family

ID=47355168

Family Applications (1)

Application Number Title Priority Date Filing Date
DE201110106271 Active DE102011106271B4 (de) 2011-07-01 2011-07-01 Verfahren und Vorrichtung zum Bereitstellen einer Sprachschnittstelle, insbesondere in einem Fahrzeug

Country Status (1)

Country Link
DE (1) DE102011106271B4 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013013695B4 (de) * 2013-08-16 2019-05-23 Audi Ag Kraftfahrzeug mit Spracherkennung
DE102014018423B4 (de) * 2014-12-11 2021-03-25 Audi Ag Kraftfahrzeug mit durch peripheres Sehen interpretierbarer Zustandsanzeige sowie entsprechendes Verfahren

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030200094A1 (en) * 2002-04-23 2003-10-23 Gupta Narendra K. System and method of using existing knowledge to rapidly train automatic speech recognizers
US20040093215A1 (en) * 2002-11-12 2004-05-13 Gupta Anurag Kumar Method, system and module for mult-modal data fusion
US6751591B1 (en) * 2001-01-22 2004-06-15 At&T Corp. Method and system for predicting understanding errors in a task classification system
US20050197843A1 (en) * 2004-03-07 2005-09-08 International Business Machines Corporation Multimodal aggregating unit
DE60309822T2 (de) * 2002-12-31 2007-10-11 Samsung Electro-Mechanics Co., Ltd., Suwon Verfahren und Vorrichtung zur Spracherkennung
DE102008051757A1 (de) * 2007-11-12 2009-05-14 Volkswagen Ag Multimodale Benutzerschnittstelle eines Fahrerassistenzsystems zur Eingabe und Präsentation von Informationen
US20100204982A1 (en) * 2009-02-06 2010-08-12 Robert Bosch Gmbh System and Method for Generating Data for Complex Statistical Modeling for use in Dialog Systems

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6751591B1 (en) * 2001-01-22 2004-06-15 At&T Corp. Method and system for predicting understanding errors in a task classification system
US20030200094A1 (en) * 2002-04-23 2003-10-23 Gupta Narendra K. System and method of using existing knowledge to rapidly train automatic speech recognizers
US20040093215A1 (en) * 2002-11-12 2004-05-13 Gupta Anurag Kumar Method, system and module for mult-modal data fusion
DE60309822T2 (de) * 2002-12-31 2007-10-11 Samsung Electro-Mechanics Co., Ltd., Suwon Verfahren und Vorrichtung zur Spracherkennung
US20050197843A1 (en) * 2004-03-07 2005-09-08 International Business Machines Corporation Multimodal aggregating unit
DE102008051757A1 (de) * 2007-11-12 2009-05-14 Volkswagen Ag Multimodale Benutzerschnittstelle eines Fahrerassistenzsystems zur Eingabe und Präsentation von Informationen
US20100204982A1 (en) * 2009-02-06 2010-08-12 Robert Bosch Gmbh System and Method for Generating Data for Complex Statistical Modeling for use in Dialog Systems

Also Published As

Publication number Publication date
DE102011106271A1 (de) 2013-01-03

Similar Documents

Publication Publication Date Title
DE102010040591B4 (de) Einparkassistent zur Unterstützung eines Einparkvorgangs bei einer Mehrzahl vorhandener Parklücken
EP2200858B1 (de) Fahrzeugsystem mit hilfefunktionalität
EP2574881B1 (de) Verfahren zum Betrieb eines Bediensystems für ein Fahrzeug und Bediensystem für ein Fahrzeug
EP2718919B1 (de) Vorrichtung und verfahren zum warnen eines fahrers eines kraftfahrzeugs
WO2017097509A1 (de) Verfahren zum betreiben eines fahrzeugs
WO2014040930A1 (de) Verfahren und vorrichtung zur bedienung einer kraftfahrzeugkomponente mittels gesten
EP2972698A1 (de) Verfahren zum betreiben eines berührungsempfindlichen bediensystems und vorrichtung mit einem solchen bediensystem
DE102014012550A1 (de) Kraftfahrzeug-Bedienungsvorrichtung
WO2018069027A1 (de) Multimodaler dialog in einem kraftfahrzeug
DE102016003978A1 (de) Bedienvorrichtung für ein Kraftfahrzeug und Kraftfahrzeug
DE102012023245A1 (de) Verfahren zum Betrieb eines Fahrerassistenzsystems eines Kraftfahrzeugs und Kraftfahrzeug
DE102011106271B4 (de) Verfahren und Vorrichtung zum Bereitstellen einer Sprachschnittstelle, insbesondere in einem Fahrzeug
DE102018009487A1 (de) Verfahren und Vorrichtung zur Einstellung einer Fahrzeugkomponente
DE102017007155A1 (de) Verfahren und System zur Fahrerunterstützung
EP3298477B1 (de) Verfahren zum betreiben einer bedienvorrichtung sowie bedienvorrichtung für ein kraftfahrzeug
EP2386464A1 (de) Verfahren zum Einparken oder Ausparken und zur Vermeidung einer Kollision eines Fahrzeugs sowie entsprechende Assistenzsysteme und Fahrzeug
DE102018216621B3 (de) Verfahren zum Bereitstellen eines interaktiven Feedbacks für Fahrzeuginsassen, eine Steuereinheit, eine Sprachausgabeeinrichtung und ein Fahrzeug
DE102013011531B4 (de) Verfahren zum Betreiben eines Assistenzsystems eines Kraftwagens und Assistenzsystem für einen Kraftwagen
EP3115886A1 (de) Verfahren zum betreiben eines sprachsteuerungssystems und sprachsteuerungssystem
DE102013001868B4 (de) Verfahren zum Betreiben eines Kraftwagens per Gestensteuerung sowie Kraftwagen mit einer Gestenerfassungseinrichtung
DE102020104856A1 (de) Vorrichtung und Verfahren zur Steuerung der Rückholbereitschaft eines Fahrers eines Fahrzeugs
DE102020000696A1 (de) Verfahren zur Steuerung einer Mensch-Maschine-Schnittstelle, Computerprogrammprodukt sowie Kraftfahrzeug
DE102011015693A1 (de) Verfahren und Vorrichtung zum Bereitstellen einer Nutzerschnittstelle, insbesondere in einem Fahrzeug
EP3825162B1 (de) Verfahren zum betreiben eines fahrzeuginformationssystems und fahrzeuginformationssystem
DE102005012322A1 (de) Umschaltvorrichtung und Verfahren zum Umschalten einer Fahrzeuginsassen-Rückhalteeinrichtung

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final

Effective date: 20130809