DE10338512A1 - Unterstützungsverfahren für Sprachdialoge zur Bedienung von Kraftfahrzeugfunktionen - Google Patents

Unterstützungsverfahren für Sprachdialoge zur Bedienung von Kraftfahrzeugfunktionen Download PDF

Info

Publication number
DE10338512A1
DE10338512A1 DE10338512A DE10338512A DE10338512A1 DE 10338512 A1 DE10338512 A1 DE 10338512A1 DE 10338512 A DE10338512 A DE 10338512A DE 10338512 A DE10338512 A DE 10338512A DE 10338512 A1 DE10338512 A1 DE 10338512A1
Authority
DE
Germany
Prior art keywords
speech
signal
output
linguistic
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE10338512A
Other languages
English (en)
Inventor
Matthias Dipl.-Inf. Hammler
Florian Dipl.-Phys. Hanisch
Steffen Dr. Klein
Hans Josef Dr.-Phil. Küting
Roland Dipl.-Ing. Stiegler
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
DaimlerChrysler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DaimlerChrysler AG filed Critical DaimlerChrysler AG
Priority to DE10338512A priority Critical patent/DE10338512A1/de
Priority to US10/569,057 priority patent/US20070073543A1/en
Priority to JP2006523570A priority patent/JP2007503599A/ja
Priority to PCT/EP2004/008923 priority patent/WO2005022511A1/de
Publication of DE10338512A1 publication Critical patent/DE10338512A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373—Voice control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3629—Guidance using speech or audio output, e.g. text-to-speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Navigation (AREA)
  • Machine Translation (AREA)

Abstract

Die Erfindung betrifft ein Unterstützungsverfahren für Sprachdialoge zur Bedienung von Kraftfahrzeugfunktionen mittels eines Sprachdialogsystems für Kraftfahrzeuge, bei dem zusätzlich zur Sprachausgabe ein nicht-sprachliches Signal ausgegeben wird. DOLLAR A Sprachdialogsysteme bilden eine Schnittstelle zur Kommunikation von Mensch und Maschine, wobei im Vergleich zur zwischenmenschlichen Kommunikation nachteilig ist, dass neben dem primären Informationsinhalt des Sprachdialoges zusätzliche Informationen über den Zustand des "Gesprächspartners" fehlen, die bei zwischenmenschlicher Kommunikation visuell vermittelt werden. Die Aufgabe der Erfindung besteht darin, diesen Nachteil bei einem Sprachdialogsystem zu überwinden, indem erfindungsgemäß in Abhängigkeit des Zustandes des Sprachdialogsystems nicht-sprachliche Signale als auditives Signal an den Benutzer ausgegeben werden. DOLLAR A Das erfindungsgemäße Unterstützungsverfahren ist mit Vorteil zum Führen von Kraftfahrzeugen und Bedienen deren Kraftfahrzeugfunktionen geeignet, da hierdurch der Informationsgehalt für den Fahrer gesteigert wird, ohne gleichzeitig den Fahrer vom Verkehrsgeschehen abzulenken.

Description

  • Die Erfindung betrifft ein Unterstützungsverfahren für Sprachdialoge zur Bedienung von Kraftfahrzeugfunktionen mittels eines Sprachbediensystems für Kraftfahrzeuge, bei dem zusätzlich zur Sprachausgabe nicht-sprachliche Signale ausgegeben werden, sowie ein Sprachbediensystem zur Durchführung dieses Unterstützungsverfahrens.
  • Sprachbediensysteme zur sprachgesteuerten Bedienung von Kraftfahrzeugfunktionen sind vielfach bekannt. Sie dienen dazu, dem Fahrer die Bedienung unterschiedlichster Funktionen im Kraftfahrzeug dadurch zu erleichtern, dass die Notwendigkeit einer Tastenbedienung während des Fahrbetriebes entfällt und er damit weniger vom Verkehrsgeschehen abgelenkt wird.
  • Ein solches Sprachdialogsystem besteht im Wesentlichen aus folgenden Komponenten:
    • • einer Spracherkennungseinheit, welche eine Spracheingabe („Sprachkommando") mit in einer Sprachmuster-Datenbank abgelegten Sprachkommandos vergleicht und eine Entscheidung trifft, welches Kommando aller Wahrscheinlichkeit nach gesprochen wurde,
    • • einer Spracherzeugungseinheit, welche die zur Benutzerführung erforderlichen Sprachbefehle und Signalisierungstöne ausgibt und ggf. das erkannte Sprachkommando zurückmeldet,
    • • einer Dialog- und Ablaufsteuerung, welche den Benutzer durch den Dialog führt, insbesondere um zu prüfen, ob die Spracheingabe korrekt ist und um die einem erkannten Sprachkommando entsprechende Aktion bzw. Applikation zu veranlassen und
    • • den Applikationseinheiten, die unterschiedlichste Hard- und Softwaremodule darstellen, wie beispielsweise Audio-Geräte, Video, Klimaanlage, Sitzverstellung, Telefon, Navigationsgerät, Spiegelverstellung und Fahrzeugassistenzsysteme.
  • Es sind verschiedene Verfahren zur Spracherkennung bekannt. So können beispielsweise festgelegte Einzelworte als Befehle in einer Sprachmuster-Datenbank abgelegt werden, so dass durch Mustervergleich eine entsprechende Kraftfahrzeugfunktion zugeordnet werden kann.
  • Die Phonem-Erkennung geht von der Erkennung einzelner Laute aus, wobei hierzu sogenannte Phonem-Segmente in einer Sprachmuster-Datenbank abgelegt sind und mit aus dem Sprachsignal abgeleiteten Merkmalsfaktoren, die für die Spracherkennung wichtige Informationen des Sprachsignals beinhalten, verglichen werden.
  • Ein gattungsbildendes Verfahren ist aus der DE 100 08 226 C2 bekannt, bei dem die Sprachausgaben durch bildhafte Hinweise in nicht verbaler Art unterstützt werden. Diese bildhaften Hinweise sollen zu einer schnellen Erfassung der Information durch den Nutzer führen, wodurch auch die Akzeptanz des Nutzers für ein solches System wachsen soll. Diese bildhaften Hinweise werden in Abhängigkeit von Sprachausgaben ausgege ben, so dass beispielsweise, wenn das Sprachdialogsystem eine Eingabe erwartet, symbolhaft wartende Hände dargestellt werden, eine erfolgreiche Eingabe durch ein Gesicht mit entsprechender Mimik und klatschende Hände oder im Fall einer Warnung ebenfalls durch ein Gesicht mit entsprechender Mimik und erhobenen symbolhaften Händen symbolisiert werden.
  • Dieses bekannte Verfahren zur Sprachsteuerung, bei dem die Sprachausgaben von einer visuellen Ausgabe begleitet werden, hat den Nachteil, dass der Fahrer eines Kraftfahrzeuges durch diese visuelle Ausgabe vom Verkehrsgeschehen abgelenkt werden kann.
    •
  • Die Aufgabe der Erfindung besteht daher darin, das eingangs genannte Verfahren dahingehend weiterzubilden, dass der durch die Sprachausgabe dem Fahrer vermittelte Informationsgehalt dennoch gesteigert wird, ohne ihn jedoch dabei vom Verkehrsgeschehen abzulenken. Eine weitere Aufgabe besteht darin, ein Sprachdialogsystem zur Durchführung eines solchen Verfahrens anzugeben.
  • Die erstgenannte Aufgabe wird durch die kennzeichnenden Merkmale des Patentanspruches 1 gelöst, wonach in Abhängigkeit des Zustandes des Sprachdialogsystems das nicht-sprachliche Signal als auditives Signal ausgegeben wird. Damit wird neben den primären Informationselementen des Sprachdialoges, der Sprache selbst, zusätzliche Informationen über den Zustand des Sprachdialogsystems gegeben. Damit fällt es dem Nutzer anhand dieser sekundären Elemente des Sprachdialoges leichter zu erkennen, ob das System bereit zur Eingabe ist, gerade Arbeitsanweisungen verarbeitet oder eine Dialogausgabe abgeschlossen ist. Selbst Dialog-Beginn als auch Dialog-Ende lassen sich mit einem solchen nicht-sprachlichen Signal markieren. Auch die Unterscheidung der unterschiedlichen bedienba ren Kraftfahrzeugfunktionen können mit einem solchen nicht-sprachlichen Signal markiert werden, d. h. die vom Nutzer aufgerufene Funktion wird mit einem speziellen nicht-sprachlichen Signal unterlegt, so dass daran der Fahrer das entsprechende Thema erkennt. Darauf aufbauend können sogenannte proaktive Meldungen, d. h. vom System automatisch ausgegebene Initiativmeldungen generiert werden, so dass der Benutzer die Art der Information an der entsprechenden Markierung sofort erkennt.
  • Als Zustand des Sprachdialogsystems werden Phasen der Spracheingabe, der Sprachausgabe und Zeiten der Verarbeitung der sprachlichen Eingabe erkannt. Hierzu wird jeweils ein entsprechendes Zeitfenster erzeugt, währenddessen das nicht-sprachliche auditive Signal ausgegeben, also zeitsynchron mit den entsprechenden sprachdialogischen Zuständen über den auditiven Kanal wiedergegeben wird.
  • Bei einer besonders vorteilhaften Weiterbildung der Erfindung wird das markierende, nicht-sprachliche auditive Signal in Abhängigkeit der bedienbaren Kraftfahrzeugfunktionen, also in Abhängigkeit des vom Benutzer aufgerufenen Themas bzw. der vom Benutzer ausgewählten Funktion ausgegeben. Eine solche Strukturierung eines Sprachdialoges ermöglicht insbesondere die Verwendung von sogenannten pro-aktiven Meldungen, die vom Sprachdialogsystem automatisch als Initiativmeldungen, also auch bei nicht-aktivem Sprachdialog, generiert werden. In Verbindung mit der Markierung der speziellen Funktionen bzw. Themen ist es dem Nutzer möglich, anhand des unterlegten charakteristischen Signals die Art der Meldung zu erkennen.
  • Besonderes vorteilhaft ist es auch, die Stelle eines aktuellen Listenelementes innerhalb einer angezeigten Liste als auch deren absoluten Anzahl an Einträgen durch ein nicht- sprachliches, auditives Signal dem Nutzer anzuzeigen, indem beispielsweise diese Information durch entsprechende Tonhöhen und/oder Tonlagen vermittelt wird. So kann beispielsweise bei der Navigation innerhalb einer solchen Liste eine Kombination aus akustischer Entsprechung der Gesamtzahl und der Entsprechung der Stelle des aktuellen Elementes wiedergegeben werden.
  • Charakteristische, nicht-sprachliche auditive Ausgaben im Sinne der Erfindung können sowohl als diskrete Klangereignisse als auch als Variationen eines kontinuierlichen Grundmusters wiedergegeben werden. Als Variationen kommen dabei die Klangfarbe bzw. Instrumentierung, die Tonhöhe bzw. Tonlage, die Lautstärke bzw. Dynamik, die Geschwindigkeit bzw. die Rhythmik und/oder die Tonfolge bzw. die Melodie in Frage.
  • Die zweitgenannte Aufgabe wird durch die Merkmale des Patentanspruches 13 gelöst, wonach neben den für ein Sprachdialogsystem notwendigen Funktionsgruppen eine Klangmuster-Datenbank vorgesehen ist, in der unterschiedlichste nicht-sprachliche Signale abgespeichert werden, die von einer Sprachunterlegungseinheit in Abhängigkeit des Zustandes des Sprachdialogsystems ausgewählt, ausgegeben bzw. einem Sprachsignal beigemischt werden. Damit lässt sich dieses Verfahren ohne großen zusätzlichen hardwaremäßigen Aufwand in ein übliches Sprachdialogsystem integrieren. Vorteilhafte Ausführungen sind mit den Merkmalen der Ansprüche 14 und 15 gegeben.
    •
  • Im Folgenden soll die Erfindung anhand von einem Ausführungsbeispiel im Zusammenhang mit den Figuren dargestellt und erläutert werden. Dabei zeigen:
  • 1 ein Blockschaltbild eines erfindungsgemäßen Sprachdialogsystems,
  • 2 ein Blockschaltbild zur Erklärung des Ablaufs eines Sprachdialoges und
  • 3 ein Ablaufdiagramm zur Erläuterung des erfindungsgemäßen Verfahrens.
  • Einem Sprachdialogsystem 1 gemäß 1 wird über ein Mikrofon 2 eine Spracheingabe zugeführt, die von einer Spracherkennungseinheit 11 des Sprachdialogsystems 1 dadurch ausgewertet wird, dass das Sprachsignal durch Vergleich mit in einer Sprachmuster-Datenbank 15 abgelegten Sprachmustern verglichen und ein Sprachbefehl zugeordnet wird. Mittels einer Dialog- und Ablaufsteuereinheit 16 des Sprachdialogsystems 1 wird entsprechend dem erkannten Sprachbefehl der weitere Sprachdialog gesteuert oder die Durchführung der diesem Sprachbefehl entsprechenden Funktion über eine Schnittstelleneinheit 18 veranlasst.
  • Diese Schnittstelleneinheit 18 des Sprachdialogsystems 1 ist mit einem Zentraldisplay 4, mit Applikationseinheiten 5 und einer manuellen Befehlseingabeeinheit 6 verbunden. Die Applikationseinheiten 5 können Audio/Video-Geräte, eine Klimasteuerung, eine Sitzverstellung, ein Telefon, ein Navigationssystem, eine Spiegelverstellung oder ein Assistenzsystem, wie beispielsweise ein Abstandswarnsystem, ein Spurwechselassistent, ein automatisches Bremssystem, ein Einparkhilfesystem, ein Spurassistent oder ein Stop-and-Go-Assistent darstellen.
  • Entsprechend der aktivierten Applikation werden die zugehörigen Bedien- und Fahrzeugzustandsdaten bzw. Fahrzeugumgebungsdaten auf dem Zentraldisplay 4 dem Fahrer angezeigt.
  • Neben der schon erwähnten akustischen Bedienung mittels des Mikrofons 2 ist es dem Fahrer auch möglich, eine entsprechen de Applikation über die manuelle Befehlseingabeeinheit 6 auszuwählen und zu bedienen.
  • Erkennt dagegen die Dialog- und Ablaufsteuereinheit 16 keinen gültigen Sprachbefehl, wird der Dialog durch eine Sprachausgabe weitergeführt, indem ein sprechendes Sprachsignal über eine Spracherzeugungseinheit 12 des Sprachdialogsystems 1 über einen Lautsprecher 3 akustisch ausgegeben wird.
  • Ein Sprachdialog verläuft in einer in 2 dargestellten Weise ab, wobei der gesamte Sprachdialog aus einzelnen, auch ständig wiederkehrenden Phasen besteht. Der Sprachdialog beginnt einer Dialog-Initiation, die entweder manuell, beispielweise mittels eines Schalters, oder automatisch ausgelöst werden kann. Daneben ist es auch möglich, den Sprachdialog mit einer Sprachausgabe seitens des Sprachdialogsystems 1 beginnen zu lassen, wobei das entsprechende Sprachsignal synthetisch oder mittels einer Aufzeichnung erzeugt werden kann. Nach dieser Phase der Sprachausgabe schließt sich eine Phase der Spracheingabe an, deren Sprachsignal in einer anschließenden Verarbeitungsphase bearbeitet wird. Danach wird entweder der Sprachdialog mit einer Sprachausgabe seitens des Sprachdialogsystems weitergeführt oder das Dialogende erreicht, das entweder wieder manuell oder automatisch bewirkt wird, indem beispielsweise eine bestimmte Applikation aufgerufen wird. Für die genannten Phasen eines Sprachdialoges, wie die Phase der Sprachausgabe, der Spracheingabe und der Verarbeitung, werden Zeitfenster bestimmter Länge zur Verfügung gestellt, während durch den Dialogbeginn und das Dialogende nur ein Zeitpunkt markiert wird. Wie in 2 dargestellt, können sich die Phasen von Sprachausgabe, Spracheingabe und Verarbeitung beliebig oft wiederholen.
  • Ein solches Sprachdialogsystem weist jedoch als Schnittstelle zur Kommunikation von Mensch und Maschine gegenüber einer üblichen zwischenmenschlichen Kommunikation gewisse Nachteile auf, da zusätzliche Informationen über den Zustand des „Gesprächspartners" neben den primären Informationselementen des Sprachdialoges fehlen und bei einer rein menschlichen Kommunikation visuell vermittelt werden. Bei einem Sprachdialogsystem betreffen diese zusätzlichen Informationen den Zustand des Systems, also ob beispielsweise das Sprachdialogsystem bereit zur Eingabe ist, ob es sich also gerade im Zustand der „Spracheingabe" sich befindet, oder ob es gerade Arbeitsanweisungen verarbeitet, d. h. es befindet sich im Zustand der „Verarbeitung" oder wann eine längere Sprachausgabe abgeschlossen ist, das also den Zustand „Sprachausgabe" betrifft. Zur Kennzeichnung bzw. Markierung dieser unterschiedlichen Zustände des Sprachdialogsystems werden nicht-sprachliche akustische Ausgaben zeitsynchron mit diesen sprachdialogischen Zuständen über den auditiven Kanal, also mittels des Lautsprechers 3, an den Nutzer ausgegeben.
  • Diese nicht-sprachliche Unterlegung der sprachdialogischen Zustände des Sprachdialogsystems 1 ist in 3 dargestellt, bei der die erste Zeile die bereits anhand der 2 beschriebenen Zustände eines Sprachdialoges in ihrem zeitlichen Ablauf zeigt. Der dabei dargestellte Sprachdialog beginnt zum Zeitpunkt t = 0 und endet zum Zeitpunkt t5 und besteht aus den die Sprachbedienzustände kennzeichnenden Phasen des Sprachdialoges, nämlich dem durch die Phase „Sprachausgabe" bestimmten Zustand A, der bis zum Zeitpunkt t1 dauert, dem sich daran anschließenden durch die Phase „Spracheingabe" gekennzeichneten Zustand E, der zum Zeitpunkt t2 abgeschlossen ist, dem sich daran anschließenden durch die Phase „Verarbeitung" gekennzeichneten Zustand V, der zum Zeitpunkt t3 abgeschlossen ist, und die sich daran wiederholend anschlie ßenden Zustände A und E, die jeweils zum Zeitpunkt t4 bzw. t5 abgeschlossen sind. Hieraus ergeben sich entsprechende Zeitdauern T1 bis T5 für den jeweiligen Zustand.
  • Zur Kennzeichnung des Zustandes A wird während der zugehörigen Zeitdauer T1 bzw. T4 die Sprachausgabe akustisch mit einem nicht-sprachlichen Signal unterlegt und zwar mit einem Klangelement 1. Dagegen wird dem Zustand E, währenddessen sprachliche Eingaben vom Benutzer möglich sind – das Mikrofon also „offen" ist –, ein Klangelement 2 während des Zeitraumes T2 bzw. T5 mittels des Lautsprechers 3 ausgegeben. Damit wird für den Benutzer die Ausgabe von der Eingabe differenziert, was insbesondere bei Ausgaben über mehrere Sätze von Vorteil ist, bei denen manche Nutzer dazu neigen, die kurzen Pausen nach einem ausgegebenen Satz bereits mit der nächsten Eingabe füllen zu wollen.
  • Schließlich wird mit einem Klangelement 3 der Zustand V, bei dem das Sprachdialogsystem sich in der Verarbeitungsphase befindet, für den Benutzer markiert, so dass er darüber informiert wird, wann das System die Spracheingaben des Nutzers verarbeitet und er weder mit einer Sprachausgabe rechnen kann noch selbst eine Spracheingabe eingeben darf. Bei sehr kurzen Verarbeitungszeiträumen, beispielsweise im μs-Bereich, kann die Markierung des Zustandes V entfallen, jedoch bei längeren Zeitdauern ist es notwendig, da ansonsten die Gefahr besteht, dass der Benutzer irrtümlich annimmt, dass der Dialog beendet sei. Gemäß der dritten Reihe der 3 erfolgt eine diskrete Zuordnung der Klangmusterelemente 1, 2 und 3 zu den jeweiligen Zuständen.
  • Jedoch kann der Sprachdialog vom Zeitpunkt t = 0 bis zum Abschluss des Dialoges zum Zeitpunkt t5 mit einem kontinuierlichen Klangelement in der Art eines Grundmusters unterlegt werden, wobei jedoch zur Kennzeichnung bzw. Markierung von einzelnen Zuständen dieses Grundelement variiert, so dass beispielsweise dem Zustand E eine Variation 1, dem Zustand V eine sich davon unterscheidende Variation 2 zugeordnet wird, wie dies in den Zeilen 4 und 5 der 3 dargestellt ist.
  • Gemäß 1 wird die Markierung bzw. Kennzeichnung der beschriebenen unterschiedlichen Zustände des Sprachdialogsystems mittels einer, von der Dialog- und Ablaufsteuerungseinheit 16 angesteuerten Sprachunterlegungseinheit 13 realisiert, indem dieser entsprechend von der Dialog- und Ablaufsteuerungseinheit 16 festgestellten Zustandes das entsprechende Klangelement bzw. Grundelement mit ggf. einer bestimmten Variation aus einer Klangmuster-Datenbank 17 auswählt und einem Mischer 14 zuführt. Neben diesem nicht-sprachlichen Signal wird diesem Mischer 14 auch das von der Spracherzeugungseinheit 12 erzeugte Sprachsignal zugeführt, gemischt und das mit dem nicht-sprachlichen Signal unterlegte Sprachsignal mittels des Lautsprechers 3 ausgegeben.
  • Als nicht-sprachliche akustische Signale können unterschiedlichste Klangmuster in diesem Speicher 17 abgelegt werden, wobei bei einem kontinuierlichen Grundelement als mögliche Variationen die Klangfarbe bzw. Instrumentierung, die Tonhöhe bzw. die Tonlage, die Lautstärke bzw. Dynamik, die Geschwindigkeit bzw. die Rhythmik oder die Tonfolge bzw. die Melodie denkbar sind.
  • Ferner kann der Dialog-Beginn und das Dialog-Ende mittels eines nicht-sprachlichen akustischen Signals markiert werden, wobei hierzu die entsprechende Ansteuerung der Sprachunterlegungseinheit 13 ebenfalls durch die Dialog- und Ablaufsteuereinheit 16 durchgeführt wird, so dass zu den entsprechenden Zeitpunkten nur eine kurzzeitige auditive Ausgabe erfolgt.
  • Schließlich weist das Sprachdialogsystem 1 eine Transkriptionseinheit 19 auf, die einerseits mit der Dialog- und Ablaufsteuereinheit 16 und andererseits mit der Schnittstelleneinheit 18 und den Applikationseinheiten 5 verbunden ist. Diese Transkriptionseinheit 19 dient dazu, entsprechend der aktivierten Applikation, beispielsweise des Navigationssystems, dieser ein bestimmtes nicht-sprachliches Signal zuzuordnen, weshalb die Klangmuster-Datenbank 17 mit dieser Transkriptionseinheit 19 verbunden ist, um dieses ausgewählte Klangmuster dem Mischer 14 zuzuführen, um dadurch die entsprechende zugehörige Sprachausgabe mit diesem Klangmuster zu unterlegen. Damit wird jeder Applikation ein bestimmtes Klangmuster zugeordnet, so dass bei deren Aktivierung entweder durch Aufruf des Bedieners oder durch automatische Aktivierung das entsprechende Klangmuster erzeugt wird. Der Benutzer erkennt hierdurch an dieser nicht-sprachlichen Ausgabe sofort das Thema, d. h. die Applikation. Insbesondere bei der Ausgabe pro-aktiver Meldungen, d. h. solchen Meldungen, die durch das System auch bei nicht-aktivem Sprachdialog generiert werden (Initiativmeldungen), erkennt der Benutzer sofort anhand dieser charakteristischen Klangmuster die Art der Meldung.
  • Die Transkriptionseinheit 19 dient auch ferner dazu, die Stellung eines aktuellen Listenelementes sowie der absoluten Anzahl von Einträgen in einer ausgegebenen Liste zu kennzeichnen bzw. zu markieren, da dynamisch erzeugte Listen in der Anzahl ihrer Einträge variieren und damit dem Nutzer eine Abschätzung der Gesamtanzahl sowie der Stellung des ausgewählten Elementes innerhalb der Liste ermöglicht wird. Diese Information hinsichtlich der Länge einer Liste bzw. der Stellung eines Listenelementes innerhalb dieser Liste kann durch entsprechende Tonhöhen und/oder Tonlagen markiert werden. Bei einer Navigation innerhalb der Liste wird eine Kombination aus akustischer Entsprechung der Gesamtzahl und der Entsprechung der Stellung des aktuellen Elementes innerhalb der Liste wiedergegeben.

Claims (15)

  1. Unterstützungsverfahren für Sprachdialoge zur Bedienung von Kraftfahrzeugfunktionen mittels eines Sprachdialogsystems für Kraftfahrzeuge, bei dem zusätzlich zur Sprachausgabe ein nicht-sprachliches Signal ausgegeben wird, dadurch gekennzeichnet, dass das nicht-sprachliche Signal in Abhängigkeit des Zustandes des Sprachdialogsystems als auditives Signal ausgegeben wird.
  2. Unterstützungsverfahren nach Anspruch 1, dadurch gekennzeichnet, dass als Zustand vom Sprachdialogsystem Phasen des Sprachdialoges, insbesondere Phasen der Spracheingabe und der Sprachausgabe, erkannt werden und jeder dieser Phasen ein spezielles nicht-sprachliches auditives Signal zugeordnet wird.
  3. Unterstützungsverfahren nach Anspruch 2, dadurch gekennzeichnet, dass ein Erkennungszeitfenster als Zeitraum, währenddessen sprachliche Eingaben möglich sind, erzeugt wird, und das nicht-sprachliche auditive Signal während dieses Erkennungszeitfensters ausgegeben wird.
  4. Unterstützungsverfahren nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass ein Wiedergabezeitfenster als Zeitraum, währenddessen sprachliche Ausgaben ausgegeben werden, erzeugt wird, und das nicht-sprachliche auditive Signal während dieses Wiedergabezeitfensters der sprachlichen Ausgabe überlagert ausgegeben wird.
  5. Unterstützungsverfahren nach einem der Ansprüche 2 bis 4, dadurch gekennzeichnet, dass während der Verarbeitungszeit der sprachlichen Eingaben durch das Sprachverarbeitungssystem das nicht-sprachliche, auditive Signal ausgegeben wird.
  6. Unterstützungsverfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass zur Markierung eines Sprachdialoges bei Dialogbeginn und bei Dialogende das nicht-sprachliche, auditive Signal ausgegeben wird.
  7. Unterstützungsverfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass in Abhängigkeit der durch einen Sprachbefehl spezifizierten Bedienfunktion ein diese Bedienfunktion kennzeichnendes nicht-sprachliches auditives Signal ausgegeben wird.
  8. Unterstützungsverfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass vom Sprachdialogsystem eine einer Bedienfunktion zuordenbare Initiativmeldung erzeugt wird, die in Abhängig keit des Fahrzeugzustandes und/oder der Fahrzeugumgebung automatisch zusammen mit dem die zugeordnete Bedienfunktion kennzeichnenden nicht-sprachlichen, auditiven Signale ausgegeben wird.
  9. Unterstützungsverfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass bei der Auswahl einer Option aus einer aufgrund eines Sprachbefehls ausgegebenen Liste die einzelnen Listenpunkte in Abhängigkeit der Anzahl der Listenpunkte und/oder in Abhängigkeit der Listenstelle des jeweiligen Listenpunktes ein nicht-sprachliches auditives Signal ausgegeben wird.
  10. Unterstützungsverfahren nach Anspruch 9, dadurch gekennzeichnet, dass das nicht-sprachliche auditive Signal als Klangsignal mit entsprechend der Anzahl der Listenpunkte und/oder der Stelle des jeweiligen Listenpunktes die Tonhöhe und/oder die Tonlage variiert wird.
  11. Unterstützungsverfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass als nicht-sprachliches auditives Signal für jeden Sprachbediensystemzustand ein diskretes Klangssignal erzeugt und ausgegeben wird.
  12. Unterstützungsverfahren nach einem der Anspruch 1 bis 10, dadurch gekennzeichnet, dass als nicht-sprachliches auditives Signal für jeden Sprachbediensystemzustand ein aus einem kontinuierlichen Grundmuster abgeleitetes Klangssignal erzeugt wird.
  13. Sprachdialogsystem (1) für Kraftfahrzeuge zur Bedienung von Kraftfahrzeugfunktionen, bei dem zur Unterstützung von Sprachdialogen zusätzlich zur Sprachausgabe ein nicht-sprachliches Signal ausgegeben wird, dadurch gekennzeichnet, dass a) ein Spracheingabemittel (2) mit einer Spracherkennungseinheit (11) verbunden ist, wobei die Spracherkennungseinheit (11) mittels einer Sprachmuster-Datenbank (15) die Spracheingabe auswertet, b) eine Dialog- und Ablaufsteuereinheit (16) vorgesehen ist, die in Abhängigkeit der Auswertung der Spracheingabe eine zur Steuerung von Kraftfahrzeugfunktionen vorgesehene Applikationseinheit (5) und/oder eine Spracherzeugungseinheit (12) ansteuert, c) eine Sprachunterlegungseinheit (13) vorgesehen ist, die in Abhängigkeit des Sprachdialogsystemzustandes ein diesen Zustand kennzeichnendes, nicht-sprachliches auditives Signal ausgibt, wobei dieses Signal von einer Klangmuster-Datenbank (17) bereitgestellt wird, und d) einem Mischer (14) das Signal der Spracherzeugungseinheit (12) als auch das Signal der Sprachunterlegungseinheit (13) zugeführt wird, wobei dieser Mischer (14) eine Sprachausgabeeinheit (3) ansteuert.
  14. Sprachdialogsystem nach Anspruch 13, dadurch gekennzeichnet, dass eine Transkriptionseinheit (19) vorgesehen ist, die zur Zuordnung eines nicht-sprachlichen auditiven Signals zu einer aktivierten Kraftfahrzeugfunktion mit der Dialog- und Ablaufsteuereinheit (16), der Klangmuster-Datenbank (17) und der Applikationseinheit (5) verbunden ist.
  15. Sprachdialogsystem nach Anspruch 13 oder 14, dadurch gekennzeichnet, dass die Applikationseinheit (5) über eine Schnittstelleneinheit (18) mit der Dialog- und Ablaufsteuereinheit (16) verbunden ist, wobei neben der Applikationseinheit (5) auch weitere Applikationseinheiten (5), ein Zentraldisplay und eine manuelle Befehlseingabeeinheit (6) mit der Schnittstelleneinheit (18) verbunden sind.
DE10338512A 2003-08-22 2003-08-22 Unterstützungsverfahren für Sprachdialoge zur Bedienung von Kraftfahrzeugfunktionen Withdrawn DE10338512A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE10338512A DE10338512A1 (de) 2003-08-22 2003-08-22 Unterstützungsverfahren für Sprachdialoge zur Bedienung von Kraftfahrzeugfunktionen
US10/569,057 US20070073543A1 (en) 2003-08-22 2004-08-10 Supported method for speech dialogue used to operate vehicle functions
JP2006523570A JP2007503599A (ja) 2003-08-22 2004-08-10 自動車の機能を指定するための音声ダイアログのサポート方法
PCT/EP2004/008923 WO2005022511A1 (de) 2003-08-22 2004-08-10 Unterstützungsverfahren für sprachdialoge zur bedienung von kraftfahrzeugfunktionen

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE10338512A DE10338512A1 (de) 2003-08-22 2003-08-22 Unterstützungsverfahren für Sprachdialoge zur Bedienung von Kraftfahrzeugfunktionen

Publications (1)

Publication Number Publication Date
DE10338512A1 true DE10338512A1 (de) 2005-03-17

Family

ID=34201808

Family Applications (1)

Application Number Title Priority Date Filing Date
DE10338512A Withdrawn DE10338512A1 (de) 2003-08-22 2003-08-22 Unterstützungsverfahren für Sprachdialoge zur Bedienung von Kraftfahrzeugfunktionen

Country Status (4)

Country Link
US (1) US20070073543A1 (de)
JP (1) JP2007503599A (de)
DE (1) DE10338512A1 (de)
WO (1) WO2005022511A1 (de)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005025090A1 (de) * 2005-06-01 2006-12-14 Bayerische Motoren Werke Ag Vorrichtung zur zustandsabhängigen Ausgabe von Klangfolgen in einem Kraftfahrzeug
DE102007050127A1 (de) * 2007-10-19 2009-04-30 Daimler Ag Verfahren und Vorrichtung zur Prüfung eines Objektes
DE102011121110A1 (de) 2011-12-14 2013-06-20 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Sprachdialogsystems in einem Fahrzeug und dazugehöriges Sprachdialogsystem
DE102013014887A1 (de) 2013-09-06 2015-03-12 Audi Ag Kraftfahrzeug-Bedienvorrichtung mit ablenkungsarmem Eingabemodus
WO2016192825A1 (de) * 2015-06-05 2016-12-08 Audi Ag Zustandsindikator für ein datenverarbeitungssystem
WO2018134196A1 (en) * 2017-01-17 2018-07-26 Jaguar Land Rover Limited Communication control apparatus and method
DE102011011270B4 (de) 2010-02-24 2019-01-03 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Multimodales Eingabesystem für ein sprachbasiertes Menü und Content-Navigationsdienst
EP3796279A1 (de) * 2019-09-23 2021-03-24 MBDA Deutschland GmbH Verfahren zur überwachung von funktionen eines systems und sonifikationsmodul

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005062294A1 (ja) * 2003-12-05 2005-07-07 Kabushikikaisha Kenwood 機器制御装置、音声認識装置、エージェント装置､データ構造及び機器制御方法
CN100590710C (zh) * 2003-12-05 2010-02-17 株式会社建伍 设备控制装置及设备控制方法
US8175110B2 (en) 2005-04-18 2012-05-08 Mitsubishi Electric Corporation Sending station, receiving station, and radio communication method
JP4684739B2 (ja) * 2005-05-13 2011-05-18 クラリオン株式会社 音声処理装置
WO2009031208A1 (ja) * 2007-09-05 2009-03-12 Pioneer Corporation 情報処理装置、情報処理方法、情報処理プログラム及び記録媒体
ATE491201T1 (de) * 2007-10-17 2010-12-15 Harman Becker Automotive Sys Sprachdialogsystem mit an den benutzer angepasster sprachausgabe
US10496753B2 (en) * 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US9530409B2 (en) * 2013-01-23 2016-12-27 Blackberry Limited Event-triggered hands-free multitasking for media playback
JP2014191212A (ja) * 2013-03-27 2014-10-06 Seiko Epson Corp 音声処理装置、集積回路装置、音声処理システム及び音声処理装置の制御方法
US9875583B2 (en) * 2015-10-19 2018-01-23 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicle operational data acquisition responsive to vehicle occupant voice inputs
US9697824B1 (en) * 2015-12-30 2017-07-04 Thunder Power New Energy Vehicle Development Company Limited Voice control system with dialect recognition
US9437191B1 (en) * 2015-12-30 2016-09-06 Thunder Power Hong Kong Ltd. Voice control system with dialect recognition
US9928833B2 (en) 2016-03-17 2018-03-27 Toyota Motor Engineering & Manufacturing North America, Inc. Voice interface for a vehicle
CN108717853B (zh) * 2018-05-09 2020-11-20 深圳艾比仿生机器人科技有限公司 一种人机语音交互方法、装置及存储介质
KR20200004054A (ko) 2018-07-03 2020-01-13 현대자동차주식회사 대화 시스템 및 대화 처리 방법
KR20200042127A (ko) 2018-10-15 2020-04-23 현대자동차주식회사 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법
US11133004B1 (en) * 2019-03-27 2021-09-28 Amazon Technologies, Inc. Accessory for an audio output device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4436175A1 (de) * 1993-10-12 1995-04-13 Intel Corp Verfahren und System zum Zugreifen auf einen Computer über einen Telefonhandapparat
DE19533541C1 (de) * 1995-09-11 1997-03-27 Daimler Benz Aerospace Ag Verfahren zur automatischen Steuerung eines oder mehrerer Geräte durch Sprachkommandos oder per Sprachdialog im Echtzeitbetrieb und Vorrichtung zum Ausführen des Verfahrens
DE10046845A1 (de) * 2000-09-20 2002-04-18 Fresenius Medical Care De Gmbh Verfahren und Vorrichtung zur Funktionsprüfung einer Anzeigeeinrichtung eines medizinisch-technischen Gerätes
DE10008226C2 (de) * 2000-02-22 2002-06-13 Bosch Gmbh Robert Vorrichtung zur Sprachsteuerung und Verfahren zur Sprachsteuerung
DE69625439T2 (de) * 1995-10-16 2003-10-02 Sony Corp Vorrichtung und Verfahren zur Spracherkennung, zur Darstellung von Strassenkarten und zur Navigation

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3674990B2 (ja) * 1995-08-21 2005-07-27 セイコーエプソン株式会社 音声認識対話装置および音声認識対話処理方法
US6928614B1 (en) * 1998-10-13 2005-08-09 Visteon Global Technologies, Inc. Mobile office with speech recognition
US7082397B2 (en) * 1998-12-01 2006-07-25 Nuance Communications, Inc. System for and method of creating and browsing a voice web
JP2002221980A (ja) * 2001-01-25 2002-08-09 Oki Electric Ind Co Ltd テキスト音声変換装置
US7587317B2 (en) * 2002-02-15 2009-09-08 Microsoft Corporation Word training interface

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4436175A1 (de) * 1993-10-12 1995-04-13 Intel Corp Verfahren und System zum Zugreifen auf einen Computer über einen Telefonhandapparat
DE19533541C1 (de) * 1995-09-11 1997-03-27 Daimler Benz Aerospace Ag Verfahren zur automatischen Steuerung eines oder mehrerer Geräte durch Sprachkommandos oder per Sprachdialog im Echtzeitbetrieb und Vorrichtung zum Ausführen des Verfahrens
DE69625439T2 (de) * 1995-10-16 2003-10-02 Sony Corp Vorrichtung und Verfahren zur Spracherkennung, zur Darstellung von Strassenkarten und zur Navigation
DE10008226C2 (de) * 2000-02-22 2002-06-13 Bosch Gmbh Robert Vorrichtung zur Sprachsteuerung und Verfahren zur Sprachsteuerung
DE10046845A1 (de) * 2000-09-20 2002-04-18 Fresenius Medical Care De Gmbh Verfahren und Vorrichtung zur Funktionsprüfung einer Anzeigeeinrichtung eines medizinisch-technischen Gerätes

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005025090A1 (de) * 2005-06-01 2006-12-14 Bayerische Motoren Werke Ag Vorrichtung zur zustandsabhängigen Ausgabe von Klangfolgen in einem Kraftfahrzeug
US8174376B2 (en) 2005-06-01 2012-05-08 Bayerische Motoren Werke Aktiengesellschaft Device for state dependent output of tone sequences in a motor vehicle
DE102007050127A1 (de) * 2007-10-19 2009-04-30 Daimler Ag Verfahren und Vorrichtung zur Prüfung eines Objektes
DE102011011270B4 (de) 2010-02-24 2019-01-03 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Multimodales Eingabesystem für ein sprachbasiertes Menü und Content-Navigationsdienst
DE102011121110A1 (de) 2011-12-14 2013-06-20 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Sprachdialogsystems in einem Fahrzeug und dazugehöriges Sprachdialogsystem
DE102013014887A1 (de) 2013-09-06 2015-03-12 Audi Ag Kraftfahrzeug-Bedienvorrichtung mit ablenkungsarmem Eingabemodus
DE102013014887B4 (de) 2013-09-06 2023-09-07 Audi Ag Kraftfahrzeug-Bedienvorrichtung mit ablenkungsarmem Eingabemodus
WO2016192825A1 (de) * 2015-06-05 2016-12-08 Audi Ag Zustandsindikator für ein datenverarbeitungssystem
WO2018134196A1 (en) * 2017-01-17 2018-07-26 Jaguar Land Rover Limited Communication control apparatus and method
EP3796279A1 (de) * 2019-09-23 2021-03-24 MBDA Deutschland GmbH Verfahren zur überwachung von funktionen eines systems und sonifikationsmodul

Also Published As

Publication number Publication date
US20070073543A1 (en) 2007-03-29
JP2007503599A (ja) 2007-02-22
WO2005022511A1 (de) 2005-03-10

Similar Documents

Publication Publication Date Title
DE10338512A1 (de) Unterstützungsverfahren für Sprachdialoge zur Bedienung von Kraftfahrzeugfunktionen
EP0852051B1 (de) Verfahren zur automatischen steuerung eines oder mehrerer geräte durch sprachkommandos oder per sprachdialog im echtzeitbetrieb und vorrichtung zum ausführen des verfahrens
EP1256936B1 (de) Verfahren zum Training oder zur Adaption eines Spracherkenners
DE60215272T2 (de) Verfahren und Vorrichtung zur sprachlichen Dateneingabe bei ungünstigen Bedingungen
DE3238855C2 (de) Spracherkennungseinrichtung
DE60207742T2 (de) Korrektur eines von einer spracherkennung erkannten textes mittels vergleich der phonemfolgen des erkannten textes mit einer phonetischen transkription eines manuell eingegebenen korrekturwortes
DE112014006409T5 (de) Fahrzeugsteuervorrichtung und Fahrzeugsteuerverfahren
EP3430615B1 (de) Fortbewegungsmittel, system und verfahren zur anpassung einer länge einer erlaubten sprechpause im rahmen einer spracheingabe
DE102015106280B4 (de) Systeme und Verfahren zum Kompensieren von Sprachartefakten in Spracherkennungssystemen
EP1041362A2 (de) Eingabeverfahren in ein Fahrerinformationssystem
WO2018069027A1 (de) Multimodaler dialog in einem kraftfahrzeug
EP1456837B1 (de) Verfahren und vorrichtung zur spracherkennung
EP1121684B1 (de) Verfahren und vorrichtung zur ausgabe von informationen und/oder meldungen per sprache
WO2008009429A1 (de) Verfahren, sprachdialogsystem und telekommunikationsendgerät zur multilingualen sprachausgabe
DE10348408A1 (de) Nutzeradaptive Dialogunterstützung für Sprachdialogsysteme
WO2005106847A2 (de) Verfahren und vorrichtung für einen akustischen zugang zu einem anwendungsrechner
DE102013013695B4 (de) Kraftfahrzeug mit Spracherkennung
EP3115886A1 (de) Verfahren zum betreiben eines sprachsteuerungssystems und sprachsteuerungssystem
EP1083479B1 (de) Verfahren zum Betrieb einer sprachgesteuerten Befehlseingabeeinheit in einem Kraftfahrzeug
DE102020001658B3 (de) Verfahren zur Absicherung der Übernahme der Kontrolle über ein Fahrzeug
DE19839466A1 (de) Verfahren und Steuereinrichtung zur Bedienung technischer Einrichtungen eines Fahrzeugs
DE102018200088B3 (de) Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zum Verarbeiten einer Spracheingabe, Kraftfahrzeug und Nutzerendgerät mit einer Sprachverarbeitung
DE102008025532B4 (de) Kommunikationssystem und Verfahren zum Durchführen einer Kommunikation zwischen einem Nutzer und einer Kommunikationseinrichtung
DE60316136T2 (de) Akustisch und haptisch betätigte Vorrichtung und zugehöriges Verfahren
DE102017213260A1 (de) Verfahren, Vorrichtung, mobiles Anwendergerät, Computerprogramm zur Steuerung eines Audiosystems eines Fahrzeugs

Legal Events

Date Code Title Description
OM8 Search report available as to paragraph 43 lit. 1 sentence 1 patent law
8127 New person/name/address of the applicant

Owner name: DAIMLERCHRYSLER AG, 70327 STUTTGART, DE

8127 New person/name/address of the applicant

Owner name: DAIMLER AG, 70327 STUTTGART, DE

8139 Disposal/non-payment of the annual fee