DE102016218270B4 - Verfahren zum Betreiben einer Kraftfahrzeug-Bedienvorrichtung mit Spracherkenner, Bedienvorrichtung und Kraftfahrzeug - Google Patents

Verfahren zum Betreiben einer Kraftfahrzeug-Bedienvorrichtung mit Spracherkenner, Bedienvorrichtung und Kraftfahrzeug Download PDF

Info

Publication number
DE102016218270B4
DE102016218270B4 DE102016218270.6A DE102016218270A DE102016218270B4 DE 102016218270 B4 DE102016218270 B4 DE 102016218270B4 DE 102016218270 A DE102016218270 A DE 102016218270A DE 102016218270 B4 DE102016218270 B4 DE 102016218270B4
Authority
DE
Germany
Prior art keywords
operating
operating device
motor vehicle
driving situation
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102016218270.6A
Other languages
English (en)
Other versions
DE102016218270A1 (de
Inventor
Doreen Engelhardt
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Original Assignee
Audi AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG filed Critical Audi AG
Priority to DE102016218270.6A priority Critical patent/DE102016218270B4/de
Publication of DE102016218270A1 publication Critical patent/DE102016218270A1/de
Application granted granted Critical
Publication of DE102016218270B4 publication Critical patent/DE102016218270B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373Voice control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Navigation (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben einer Bedienvorrichtung (14) eines Kraftfahrzeugs (10), wobei durch die Bedienvorrichtung (14) mittels einer Mikrofoneinrichtung (15) ein Sprachsignal (21), das einen von einem Benutzer ausgesprochenen Sprachbefehl (16') zum Steuern zumindest einer Fahrzeugkomponente (12, 13) enthält, erfasst wird und durch eine Spracherkennungseinrichtung (22) der Bedienvorrichtung (14) in Abhängigkeit von dem Sprachsignal (21) mehrere Erkennungsergebnisse (23) erzeugt werden. Die Erfindung sieht vor, dass durch die Bedienvorrichtung (14) mittels einer Erfassungseinrichtung (18) eine aktuelle Fahrsituation (30) erkannt wird, und anhand eines Verhaltensmodells (32), welches ein von dem Benutzer in der aktuellen Fahrsituation (31) zu erwartendes Bedienbedürfnis beschreibt, zumindest ein Befehlswort (33) prädiziert wird und in Abhängigkeit von dem zumindest einen prädizierten Befehlswort (33) a) eines der Erkennungsergebnissen (23) der Spracherkennungseinrichtung (22) ausgewählt wird oder b) die Erkennungsergebnisse (23) in Bezug auf eine durch die Spracherkennungseinrichtung (22) festgelegte Konfidenzreihenfolge in eine andere Konfidenzreihenfolge umsortiert werden.

Description

  • Die Erfindung betrifft ein Verfahren zum Betreiben einer Bedienvorrichtung eines Kraftfahrzeugs. Eine Steuereinrichtung erfasst mittels einer Mikrofoneinrichtung ein Sprachsignal, und eine Spracherkennungseinrichtung führt eine Spracherkennung auf der Grundlage des Sprachsignals durch. Hierdurch werden zu einem in dem Sprachsignal enthaltenen Sprachbefehl mehrere Erkennungsergebnisse ermittelt. Zu der Erfindung gehören auch die Bedienvorrichtung für das Kraftfahrzeug zur Sprachbedienung zumindest einer Fahrzeugkomponente des Kraftfahrzeugs sowie ein Kraftfahrzeug mit der Bedienvorrichtung.
  • In einem Kraftfahrzeug muss bei einer Sprachbedienung allgemein davon ausgegangen werden, dass jeder Sprachbefehl, den ein Benutzer benutzen könnte, mit gleicher Wahrscheinlichkeit auftritt. Dies macht eine robuste Spracherkennung schwierig, da es bei einer mehrdeutigen Erkennung keine Orientierung gibt, welches Erkennungsergebnis zu bevorzugen ist. Ein Spracherkenner erzeugt daher zu einem Sprachsignal in der Regel nicht nur ein einzelnes Erkennungsergebnis, sondern er kann eine Trefferliste der N wahrscheinlichsten Erkennungsergebnisse (N-best-Liste) erzeugen. Dies ist beispielsweise aus der DE 10 2010 049 869 A1 bekannt.
  • In speziellen Situationen kann es aber sein, dass davon auszugehen ist, dass der Benutzer nur bestimmte Sprachbefehle benutzen wird. Dies kann dazu genutzt werden, die Spracherkennung robuster gegen störende Umgebungsgeräusche zu machen, indem die durch Störeinflüsse hervorgerufenen Mehrdeutigkeiten aufgelöst werden. Die Trefferliste der wahrscheinlichen Erkennungsergebnisse kann dadurch reduziert werden und der Benutzer erhält weniger systemseitige Nachfragen.
  • So ist aus der DE 10 2004 012 148 A1 bekannt, bei einer Spracherkennung das Vokabular, das der Spracherkenner erkennen kann, auf solche Ortsnamen zu beschränken, die sich innerhalb einer vorbestimmten Entfernung des Kraftfahrzeugs befinden. Hierdurch bleibt die Liste der erkennbaren Worte gering. Alternativ dazu kann vorgesehen sein, alle Ortsnamen zu erkennen und eine Liste der Erkennungsergebnisse entsprechend der Entfernung der erkannten Ortsnamen um zu sortieren.
  • Aus der WO 2014/060054 A1 ist bekannt, einen Spracherkenner in seinem Vokabular einzuschränken, falls ein Telefonanruf im Kraftfahrzeug eintrifft, weil als nächster Sprachbefehl eine Telefonbedienung zu erwarten ist. Genauso kann überprüft werden, ob dem Fahrer gerade ein bestimmter Hinweis im Kraftfahrzeug angezeigt worden ist. Befindet sich der Fahrer gerade auf dem Weg von der Arbeit nach Hause, so wird dies bei der Spracheingabe berücksichtigt, in dem als Kontext Vokabeln aus dem Freizeitbereich bevorzugt werden.
  • Die beschriebenen Ansätze schalten also in der Regel das Erkennungsvokabular in Abhängigkeit von bestimmten technischen Signalen (Fahrzeugposition, eintreffender Telefonanruf, angezeigte Hinweise, voraussichtliches Fahrziel einer Fahrt) auf ein dafür vorgesehenes Erkennungsvokabular um. Wie wahrscheinlich es ist, dass der Fahrer tatsächlich einen entsprechenden Bedienwunsch haben könnte, kann hierbei nicht berücksichtigt werden, weil die körperliche und geistige Verfassung des Fahrer unberücksichtigt bleibt. Die in der aktuellen Fahrsituation tatsächlich vorliegenden Bedienbedürfnisse des Fahrers oder allgemein eines Benutzers der Bedienvorrichtung sind nicht ausschlaggebend. Das Umschalten des Erkennungsvokabulars bei Vorliegen eines bestimmten Signals kann somit auch kontraproduktiv sein, wenn nämlich der Spracherkenner aufgrund seines limitierten Erkennungsvokabulars einige Sprachbefehle überhaupt nicht mehr erkennt, nur weil das Signal vorliegt.
  • Aus der gattungsbildenden DE 10 2013 222 757 A1 ist ein Adaptionsverfahren für ein Spracherkennungssystem bekannt, bei welchem ein Muster des Kontextes der Spracherkennung ermittelt und das Spracherkennungssystem an den Kontext angepasst wird, indem das Sprachmodell des Spracherkennungssystems aktualisiert wird.
  • Aus der DE 10 2015 213 722 A1 ist ein Verfahren zum Betreiben eines Spracherkennungssystems in einem Fahrzeug bekannt, wobei gemäß dem Verfahren ein Kontext der Spracheingabe ermittelt und daraufhin ein Sprachmodell aus einer Vielzahl von Sprachmodellen ausgewählt wird. Das Sprachmodell kann beispielsweise ein Wörterbuch umfassen.
  • Aus der DE 10 2010 026 708 A1 ist ein Verfahren zum Betreiben eines Sprachdialogsystems bekannt, welches auf Grundlage einer automatischen Spracherkennung eine Liste von Erkennungsergebnissen erzeugt, die als Treffermenge oder N-BEST-Liste bezeichnet wird. Die Spracherkennung erfolgt zu einer konkreten Spracheingabe auf der Grundlage eines eingeschränkten Erkennungsvokabulars.
  • Der Erfindung liegt die Aufgabe zugrunde, bei einer Bedienvorrichtung eines Kraftfahrzeugs, mittels welcher per Sprachbedienung zumindest eine Fahrzeugkomponente steuerbar oder bedient ist, eine robuste Spracherkennung bereitzustellen.
  • Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterbildungen der Erfindung sind durch die abhängigen Patentansprüche, die folgende Beschreibung sowie die Figur beschrieben.
  • Durch die Erfindung ist ein Verfahren zum Betreiben einer Bedienvorrichtung eines Kraftfahrzeugs bereitgestellt. Die Bedienvorrichtung kann beispielsweise als ein Bestandteil eines Infotainmentsystems (Information-Unterhaltungssystem) des Kraftfahrzeugs ausgestaltet sein. Die Bedienvorrichtung kann auch als verteilte Vorrichtung ausgestaltet sein, die teilweise im Kraftfahrzeug und teilweise in einer zentralen Servervorrichtung des Internets, also einem Computer oder einem Computerverbund des Internets, angeordnet sein kann. Bei dem Verfahren kann ein Fahrer oder allgemein ein Benutzer einen Sprachbefehl im Kraftfahrzeug aussprechen. Durch die Bedienvorrichtung wird mittels einer Mikrofoneinrichtung ein Sprachsignal, das den von dem Benutzer ausgesprochenen Sprachbefehl zum Steuern der zumindest einen Fahrzeugkomponente des Kraftfahrzeugs enthält, erfasst. Mit anderen Worten empfängt die Steuereinrichtung aus der Mikrofoneinrichtung das Sprachsignal.
  • Eine Spracherkennungseinrichtung (ASR - Automatic Speech Recognition) der Bedienvorrichtung erzeugt in Abhängigkeit von dem Sprachsignal mehrere Erkennungsergebnisse. Dies kann beispielsweise in Form einer Liste erfolgen, die auch als N-Best-Liste, bekannt ist und in bekannter Weise anhand von Konfidenzwerten der einzelnen Erkennungsergebnisse sortiert oder geordnet ist. Die Spracherkennungseinrichtung kann zum Beispiel ein Programmmodul der Bedienvorrichtung sein.
  • Die Erkennungsergebnisse, also mehrere mögliche Varianten des Sprachbefehls, wie sie durch die Spracherkennungseinrichtung erkannt worden sein können, werden durch die Spracherkennungseinrichtung ohne Berücksichtigung der aktuellen Fahrsituation ermittelt. Um nun zu erkennen, welcher der mehreren erkannten Sprachbefehle (jeweils einer ist durch eines der Erkennungsergebnisse beschrieben) in der aktuellen Fahrsituation besonders wahrscheinlich ist, wird durch die Bedienvorrichtung mittels einer Erfassungseinrichtung eine aktuelle Fahrsituation erfasst oder erkannt.
  • Anhand der aktuellen Fahrsituation wird aber nun nicht einfach irgend ein vorbereitetes Erkennungsvokabular bei der Spracherkennungseinrichtung eingestellt. Stattdessen ist erfindungsgemäß vorgesehen, dass anhand eines Verhaltensmodells, welches ein von den Benutzer in der aktuellen Fahrsituation zu erwartendes Bedienbedürfnis beschreibt, zumindest ein Befehlswort prädiziert wird. Als Bedienbedürfnis kann z.B. eine notwendige Bedienhandlung erkannt werden, die einen bestimmungsgemäßen Betriebszustand, wie er für die aktuelle Fahrsituation gemäß dem Verhaltensmodel vorgesehen sein kann, herstellt. Fährt das Kraftfahrzeug beispielsweise bei Regen und der Scheibenwischer ist ausgestellt, so ist eine notwendige Bedienhandlung das Aktivieren des Scheibenwischers. Ein prädiziertes Befehlswort kann dann z.B. „Scheibenwischer“ sein. Es wird also anhand des Verhaltensmodells berücksichtigt, in welchem Verhältnis der Benutzer zu der aktuellen Fahrsituation steht (z.B. „Fahrt bei Regen ohne Scheibenwischer“). Anhand des Verhaltensmodells kann in anderen Worten zumindest eine in der aktuellen Fahrsituation an der zumindest einen Fahrzeugkomponente notwendige Bedienhandlung ermittelt werden. Das Erkennungsvokabular der Spracherkennungseinrichtung kann hierbei unverändert bleiben. Denn in Abhängigkeit von dem zumindest einen prädizierten Befehlswort wird nämlich entweder eines der Erkennungsergebnisse aus zum Beispiel aus der N-Best-Liste der Spracherkennungseinrichtung ausgewählt oder man behält alle Erkennungsergebnisse bei und die Erkennungsergebnisse werden umsortiert. Die ursprüngliche Sortierung oder Reihenfolge oder Ordnung der Erkennungsergebnisse entspricht in der besagten Weise der festgelegten Konfidenzreihenfolge, wie sie sich allein aufgrund der Spracherkennungseinrichtung ergibt. Anhand des zumindest einen prädizierten Befehlsworts (z.B. „Scheibenwischer“) ist aber nun bekannt, dass ein gemäß der Konfidenzreihenfolge unwahrscheinlicher, aber gemäß dem zumindest einen prädizierten Befehlswort wahrscheinlicheres Erkennungsergebnis in der Konfidenzreihenfolge umsortiert werden muss. Entsprechend ergibt sich eine andere Konfidenzreihenfolge. Das Verhaltensmodell kann eine Zuordnung von vorbestimmten Fahrsituationen zu jeweils einem oder mehreren jeweiligen Befehlsworten vorsehen, z.B. in Form einer Tabelle.
  • Durch die Erfindung ergibt sich der Vorteil, dass durch Abgleichen der aktuellen Fahrsituation mit einem Verhaltensmodell des Benutzers erkannt wird, was dem Benutzer an der aktuellen Fahrsituation zum Beispiel unbequem sein könnte oder nicht gefallen könnte oder welche Dinge er noch regeln muss. Dies entspricht den zu erwartenden Bedienbedürfnis. Um das Bedienbedürfnis zu befriedigen, ist zumindest ein Befehlswort nötig, dass sich somit prädizieren lässt. Anhand des zumindest einen prädizierten Befehlswort kann dann aus den gleichwertigen Erkennungsergebnissen eines ausgewählt oder die Erkennungsergebnisse können gemäß ihres Grads der Übereinstimmung mit dem zumindest einen prädizierten Befehlswort umsortiert werden. Im zweiten Fall kann danach eine Auswahl eines Erkennungsergebnisses anhand eines anderen Kriteriums, z.B. einer Benutzerbefragung, erfolgen.
  • Wie bereits ausgeführt, ist bei der Erfindung nicht notwendig, dass die Spracherkennungseinrichtung für eine robuste Spracherkennung ihr Erkennungsvokabular verringert oder einschränkt oder verändert. Entsprechend ist vorgesehen, dass die Spracherkennungseinrichtung unabhängig von der Fahrsituation durchgehend mit einem vorbestimmten Gesamtvokabular betrieben wird. Anhand des zumindest einen prädizierten Befehlsworts wird dann im Nachhinein anhand der Liste der mehreren Erkennungsergebnisse ein geeignetes Erkennungsergebnis ausgewählt oder die Liste wird in der beschriebenen Weise zumindest umsortiert.
  • Zu der Erfindung gehören auch optionale Weiterbildungen, durch deren Merkmale sich zusätzliche Vorteile ergeben.
  • Mittels des Verhaltensmodells kann zum Beispiel anhand von Termindaten, welche durch die Erfassungseinrichtung aus einem digitalen Kalender des Benutzers ermittelt werden können, zumindest eine möglicherweise in der aktuellen Fahrsituation kontaktierte Person und/oder ein in der aktuellen Fahrsituation möglicherweise angesteuertes Fahrziel ermittelt werden. Die aktuelle Fahrsituation kann zum Beispiel darin bestehen, dass die aktuelle Fahrt zu einer Zeitpunkt oder in einem Zeitraum stattfindet, der einem in dem digitalen Kalender durch die Termindaten beschriebenen Termin entsprich oder diesem Termin innerhalb eines vorbestimmten Zeitraums vorgelagert ist. Der jeweilige Name der zumindest einen Person und/oder des zumindest einen Fahrziels wird dann als prädiziertes Befehlswort bereitgestellt. Hat der Benutzer zum Beispiel einen Terminkalendereintrag mit dem Namen „Peter Mueller“, so kann der Name „Peter Mueller“ für eine Erkennung zum Beispiel beim Diktieren einer Textnachricht bevorzugt erkannt werden. Somit kann als Fahrzeugkomponente zum Beispiel ein E-Mail-Programm oder ein SMS-Programm (SMS - Short Message Service) bedient werden.
  • Eine andere notwendige Bedienhandlung betrifft als Fahrzeugkomponente, die durch die Bedienvorrichtung gesteuert wird, eine Navigationskarte in einem ersten Darstellungsmodus, wie sie durch ein Infotainmentsystem oder eine Navigationseinrichtung angezeigt werden kann. Insbesondere kann es sich bei den Darstellungsmodus um einen Tagfahrmodus handeln. Als aktuelle Fahrsituation kann eine Fahrt bei Dunkelheit erkannt werden, beispielsweise durch einen Tunnel oder nachts. Anhand des Verhaltensmodells wird erkannt, dass der Benutzer den Nachtfahrmodus der Navigationskarte benötigt, um diese besser in der Dunkelheit erkennen zu können. Anhand des Verhaltensmodells wird also ein Umschalten in einen zweiten Darstellungsmodus, insbesondere einen Nachtfahrmodus, ermittelt.
  • Anhand des Verhaltensmodells kann zumindest eine von einer vorbestimmten Gruppe von mehreren Personen in der aktuellen Fahrsituation gepflegte Gewohnheit angegeben werden. Stellt die aktuelle Fahrsituation z.B. eine Fahrt zur Mittagszeit dar, so kann es für Personen in dem Land, in dem das Kraftfahrzeug gerade fährt, beispielsweise üblich sein, zu Mittag zu essen. Die besagte Gruppe ist dann die Bevölkerung dieses Landes. Entsprechend kann das Verhaltensmodell vorhersagen, dass der Benutzer ebenfalls geplant, zu Mittag zu essen. Zu jeder ermittelten Gewohnheit wird also zumindest ein jeweiliges Befehlswort ermittelt oder bereitgestellt, welches dazu eingerichtet ist, mittels der zumindest einen Fahrzeugkomponente der Gewohnheit nachzugehen. So kann beispielsweise ein Befehlswort für eine Navigationseinrichtung als Fahrzeugkomponente vorgesehen sein, um das Kraftfahrzeug zu einem Restaurant zu navigieren oder eine Restaurantsuche durchzuführen.
  • Zu der Erfindung gehört auch die Bedienvorrichtung für ein Kraftfahrzeug, mittels welcher das erfindungsgemäße Verfahren durchgeführt werden kann. Mittels der Bedienvorrichtung kann zumindest eine Fahrzeugkomponente bedient oder gesteuert werden, so zum Beispiel eine Navigationseinrichtung und/oder ein Radio und/oder ein Telefon und/oder einen Internetbrowser. Die Bedienvorrichtung ist zum Koppeln mit einer Mikrofoneinrichtung und zum Koppeln mit einer Erfassungseinrichtung des Kraftfahrzeugs eingerichtet, um die beschriebenen Signale, nimmt das Sprachsignal und das Signal der Erfassungseinrichtung (z.B. die besagten Termindaten, der Zeitpunkt der Fahrt, Sensordaten) zu empfangen. Die Bedienvorrichtung weist des Weiteren eine Prozessoreinrichtung auf, die dazu eingerichtet ist, eine Ausführungsform erfindungsgemäßen Verfahrens durchzuführen. Die Prozessoreinrichtung kann hierzu zumindest einen Mikrocontroller und/oder zumindest einen Mikroprozessor aufweisen. Des Weiteren kann die Prozessoreinrichtung einen Programmcode aufweisen, der dazu eingerichtet ist, bei Ausführen durch die Prozessoreinrichtung die Ausführungsform erfindungsgemäßen Verfahrens durchzuführen. Der Programmcode kann in einem Datenspeicher der Prozessoreinrichtung gespeichert sein.
  • Durch Bereitstellen der Bedienvorrichtung in einem Kraftfahrzeug ergibt sich das erfindungsgemäße Kraftfahrzeug. Das erfindungsgemäße Kraftfahrzeug ist bevorzugt als Kraftwagen, insbesondere als Personenkraftwagen oder Lastkraftwagen, ausgestaltet.
  • Im Folgenden ist ein Ausführungsbeispiel der Erfindung beschrieben. Hierzu zeigt die einzige Figur (Fig.) Eine schematische Darstellung einer Ausführungsform des erfindungsgemäßen Kraftfahrzeugs.
  • Bei dem im Folgenden erläuterten Ausführungsbeispiel handelt es sich um eine bevorzugte Ausführungsform der Erfindung. Bei dem Ausführungsbeispiel stellen die beschriebenen Komponenten der Ausführungsform jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren ist die beschriebene Ausführungsform auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
  • Die Figur zeigt ein Kraftfahrzeug 10, bei dem es sich zum Beispiel um einen Kraftwagen, insbesondere einen Personenkraftwagen, handeln kann. Dargestellt sind eine Anzeigeeinrichtung 11, weitere Fahrzeugkomponente 12,13, eine Bedienvorrichtung 14 für die Fahrzeugkomponenten 12, 13, eine Mikrofoneinrichtung 15 zum Erfassen eines Sprachschalls 16 aus einem Fahrzeuginnenraum oder Fahrgastraum 17 des Kraftfahrzeugs 10 und eine Erfassungseinrichtung 18. Beispielhaft kann angenommen werden, dass die Anzeigeeinrichtung 11, die Fahrzeugkomponente 12 und die Bedienvorrichtung 14 als Bestandteil eines Infotainmentsystems 19 bereitgestellt sein können.
  • Bei der Fahrzeugkomponente 12 kann es sich beispielsweise um eine Navigationseinrichtung handeln, welche beispielhaft auf der Anzeigeeinrichtung 11 eine digitale Straßenkarte 20 darstellen kann. Die Fahrzeugkomponente 13 kann beispielsweise eine Klimaanlage des Kraftfahrzeugs 10 sein.
  • Für die Bedienung der Fahrzeugkomponenten 12,13 mittels der Bedienvorrichtung 14 kann ein Benutzer (nicht dargestellt) einen Sprachbefehl 16'aussprechen, der als der Sprachschall 16 auf die Mikrofoneinrichtung 15 treffen kann. Die Mikrofonanordnung 15 kann des Weiteren eine Signalverarbeitung umfassen und beispielsweise eine Digitalisierung und/oder Merkmalsextraktion zu Erzeugung beispielsweise cepstraler Koeffizienten, umfassen. Durch die Mikrofoneinrichtung 15 kann aus dem Sprachschall 16 insgesamt ein Sprachsignal 21 erzeugt werden, welches von der Bedienvorrichtung 14 empfangen werden kann und aus welchem durch eine Spracherkennungseinrichtung 22 (ASR) mehrere Erkennungsergebnisse 23 beispielsweise in Form einer N-best-Liste erzeugt werden können.
  • Durch eine Steuereinrichtung 24 der Bedienvorrichtung 14 kann in Abhängigkeit von einem final ausgewählten Erkennungsergebnis 25 ein Steuersignal 26 für die durch den Sprachbefehl 16'identifizierte Fahrzeugkomponente 12, 13 ein Steuersignal 26 zum Umsetzen oder Verwirklichen des Sprachbefehls 16' erzeugt werden.
  • Die Steuereinrichtung 24 benötigt aber in der beschriebenen Weise ein eindeutiges Erkennungsergebnis 25, während die Spracherkennungseinrichtung 22 unter Umständen mehrere Erkennungsergebnisse 23 liefert. Daher kann bei der Bedienvorrichtung 14 eine Auswahlkomponente 27 bereitgestellt sein, welche aus den Erkennungsergebnissen 23 dasjenige Erkennungsergebnis 25 heraussucht, welches mit der höchsten Wahrscheinlichkeit vom Benutzer mit dem Sprachbefehl 16'ausgedrückt oder ausgesprochen worden ist. Die Auswahleinrichtung 27 kann zum Beispiel im Rahmen einer Sprachdialogsteuerung durch einen Dialogmanager realisiert sein.
  • Die bisher beschriebenen Komponenten 22, 24, 27 und die im folgenden beschriebenen Komponenten der Bedienvorrichtung 14 können beispielsweise jeweils als Programmodul der Bedienvorrichtung 14 realisiert sein, welche durch eine Prozessoreinrichtung 28 der Bedienvorrichtung 14 ausgeführt werden können.
  • Die Spracherkennungseinrichtung 22 kann eine weitere, fahrzeugexterne Komponente 22' aufweisen, die beispielsweise im Internet I bereitgestellt und in an sich bekannter Weise über eine Funkverbindung und eine Internetverbindung mit der Spracherkennungseinrichtung 22 im Kraftfahrzeug 10 gekoppelt sein kann.
  • Die Bedienvorrichtung 14 kann aus der Erfassungseinrichtung 18 Erfassungsdaten 29 empfangen, anhand welcher eine Situationserkennung 30 eine aktuelle Fahrsituation des Kraftfahrzeugs 10 und des Benutzers erkennen kann. So kann durch die Erfassungsdaten 29 beispielsweise Termindaten eines digitalen Kalenders des Benutzers, Sensordaten z.B. eine Helligkeitssensors und/oder Regensensors und/oder die Uhrzeit beschrieben sein. Die Erfassungsdaten 29 können somit zum Beispiel Sensordaten enthalten, die angeben, ob das Kraftfahrzeug 10 beispielsweise im Dunkeln fährt oder bei Regen.
  • Durch die Situationserkennung 30 wird die erkannte aktuelle Fahrsituation 31 einem Verhaltensmodell 32 der Bedienvorrichtung 14 signalisiert. Das Verhaltensmodell 32 kann beschreiben, welche Bedienbedürfnisse der Benutzer in der signalisierten Fahrsituation 31 haben könnte oder haben müsste. So kann beispielsweise bei einer Fahrt im Dunkeln durch das Verhaltensmodells 32 ermittelt werden, dass die digitale Straßenkarte 20 in einem Nachtmodus dargestellt werden sollte. Durch das Verhaltensmodells 32 wird ein Befehlswort oder es werden mehrere Befehlsworte 33 ermittelt, die nötig wären, um mit diesen als Sprachbefehl 16' den entsprechenden Steuerbefehl 26 zum Umstellen der Anzeigeeinrichtung 11 in den besagten Nachtmodus zu bewirken oder erzeugen.
  • Die Auswahleinrichtung 27 kann das Befehlswort oder die Befehlsworte 33 empfangen und in der Liste der Erkennungsergebnisse 23 überprüfen, ob eines der Erkennungsergebnisse 23 das Befehlswort oder eines der Befehlsworte 33 enthält. Ist dies der Fall, so kann dieses Erkennungsergebnis als das finale Erkennungsergebnis 25 ausgewählt und der Steuereinrichtung 24 bereitgestellt werden.
  • Die Spracherkennungseinrichtung 22 kann somit weiterhin den vollen Erkennungssuchraum (d.h. das Gesamtvokabular) für alle vordefinierten Sprachkommandos online im Internet I oder offline im Kraftfahrzeug 10 aktiviert halten oder betreiben oder nutzen. Zunächst sind bei der Erkennung durch die Spracherkennungsrichtung 22 auch alle Sprachkommandos auf gleicher Ebene wahrscheinlich und die Erkennung folglich unscharf, da der gesamte Erkennungssuchraum durchsucht wird. Hieraus können sich die mehreren Erkennungsergebnisse 23 ergeben.
  • Für eine bessere Suchraumhypothese wird die Spracherkennung ASR angereichert mit zusätzlichem Kontext gemäß den Erfassungsdaten 29, um diesen Kontext als wahrscheinliche Sprachkommandos in Form der Befehlsworte 33 höher zu priorisieren, als unabhängig von der Reihenfolge der Ergebnisse 23 nur gemäß dem N-best-Auswahlkriterium ein Erkennungsergebnis 25 vorzuziehen.
  • Die Erkennung wird robust und beschleunigt, da sich die Wahrscheinlichkeit auf weniger Sprachkommandos verteilt. Bei Aktivierung der Spracherkennung wird bereits der zusätzliche Kontext, wir durch die Erfassungseinrichtung 18 als Erfassungsdaten 29 ermittelt wird, herangezogen und für eine Auswertung genutzt.
  • Im Folgenden sind konkrete Ausführungsbeispiele angegeben, wie mittels der Bedienvorrichtung 14 das beschriebene Verfahren umgesetzt werden kann.
    • 1. Aktuelle Anzeige der grafischen Anzeige, bevor die Spracherkennung aktiviert wurde:
      • Es werden alle Texte die angezeigt werden hinsichtlich Text und semantischer Bedeutung als Kontext herangezogen. Beispiel 1: Anzeige mit einem Sonderziel namens „Taj Mahal“ wird angezeigt. Der Benutzer aktiviert die Sprachbedienung und diktiert eine SMS an einen Kontakt: „Hallo Peter, wir treffen uns um 8 Uhr vor dem Taj Mahal.“ Beispiel 2: Ein Tankhinweis wird angezeigt. Nutzer aktiviert die Sprachbedienung und sagt: „Suche mir eine Tankstelle im Umkreis.“
    • 2. Aktuelle Bedienabfolge der grafischen Bedieneinheit (Touchscreen - Berührungsbildschirm), bevor die Spracherkennung aktiviert wurde:
      • Es wird die haptische Bedienabfolge hinsichtlich semantischer Bedeutung als Kontext herangezogen. Beispiel: Der Benutzer hat haptisch ein Ziel in der Navigationseinrichtung eingegeben. Der Benutzer aktiviert nun die Spracherkennung und fragt: „Habe ich Stau auf meiner Route?“.
    • 3. Nutzerdaten werden für eine Erkennung hinsichtlich Text und semantischer Bedeutung als Kontext herangezogen.
      • Beispiel: Der Benutzer hat einen Terminkalendereintrag mit „Peter Mueller“. „Peter Mueller“ kann für eine Erkennung bevorzugt erkannt werden.
    • 4. Situative Faktoren werden für die Erkennung semantisch aufbereitet und als Kontext herangezogen.
      • Beispiel: Der Benutzer fährt auf Landstraße nachts mit der Karte 20 im Tagmodus. Der Benutzer aktiviert Sprachbedienung und sagt „Nachtkarte aktivieren“, wobei Nachtkarte ein prädiziertes Befehlswort 33 ist.
    • 5. Aktuelle GPS Position wird für die Erkennung herangezogen, um die Adressen und Sonderziele im Umkreis von 500 km für die Erkennung höher zu priorisieren. Städte werden nach Größe und Umkreis im Suchraum absteigend sortiert. Beispiel: Das Kraftfahrzeug 10 befindet sich in der Nähe von Berlin. „Berlin“ als prädiziertes Befehlswort 33 wird anstatt „Bellin“ wesentlich höher priorisiert und erkannt.
    • 6. Kulturell allgemeingültige Informationen werden für die Erkennung semantisch aufbereitet und als Kontext herangezogen.
      • Beispiel: Allgemeingültig wird in Deutschland um 12 Uhr das Mittagessen eingenommen. Aufgrund Punkt 3 ist im System bekannt, dass der Benutzer noch kein Sonderziel mit Typ Restaurant oder Tankstelle angefahren hat bzw. seit Fahrtbeginn keine Pause gemacht hat. Aufgrund Punkt 2 oder 3 ist bekannt, dass der Benutzer noch eine Fahrtzeit von 2 Stunden vor sich hat. Der Benutzer aktiviert Sprachbedienung und sagt: „Suche ein Restaurant entlang der Route“, wobei hier ein prädiziertes Befehlswort 33 z.B. „Restaurant“ sein kann.
    • 7. Gelerntes Verhalten vom Nutzer wird im Nutzerprofil gespeichert und für die Erkennung semantisch aufbereitet und als Kontext herangezogen.
      • Beispiel: Der Benutzer fährt überwiegend von Montag bis Freitag von 18 Uhr zu einer Freizeitveranstaltung, deren Name als prädiziertes Befehlswort 33 ermittelt wird.
  • Insgesamt zeigt das Beispiel, wie durch die Erfindung eine Spracherkennung mit einem aktuellen Kontext angereichert werden kann.

Claims (8)

  1. Verfahren zum Betreiben einer Bedienvorrichtung (14) eines Kraftfahrzeugs (10), wobei durch die Bedienvorrichtung (14) mittels einer Mikrofoneinrichtung (15) ein Sprachsignal (21), das einen von einem Benutzer ausgesprochenen Sprachbefehl (16') zum Steuern zumindest einer Fahrzeugkomponente (12, 13) enthält, erfasst wird und durch eine Spracherkennungseinrichtung (22) der Bedienvorrichtung (14) in Abhängigkeit von dem Sprachsignal (21) mehrere Erkennungsergebnisse (23) erzeugt werden, wobei durch die Bedienvorrichtung (14) mittels einer Erfassungseinrichtung (18) eine aktuelle Fahrsituation (30) erkannt wird und anhand eines Verhaltensmodells (32), welches ein von dem Benutzer in der aktuellen Fahrsituation (31) zu erwartendes Bedienbedürfnis beschreibt, zumindest ein Befehlswort (33) prädiziert wird, dadurch gekennzeichnet, dass durch eine Auswahleinrichtung (27) das zumindest eine Befehlswort (33) empfangen wird und in der Liste der Erkennungsergebnisse (23) überprüft wird, ob eines der Erkennungsergebnisse (23) das zumindest eine Befehlswort (33) enthält, und in Abhängigkeit von dem zumindest einen prädizierten Befehlswort (33) a) eines der Erkennungsergebnisse (23) der Spracherkennungseinrichtung (22) ausgewählt wird oder b) die Erkennungsergebnisse (23) in Bezug auf eine durch die Spracherkennungseinrichtung (22) festgelegte Konfidenzreihenfolge in eine andere Konfidenzreihenfolge umsortiert werden, wobei die Spracherkennungseinrichtung (22) unabhängig von der Fahrsituation (31) durchgehend mit einem vorbestimmten Gesamtvokabular betrieben wird.
  2. Verfahren nach Anspruch 1, wobei mittels des Verhaltensmodells (32) anhand von Termindaten aus einem digitalen Kalender des Benutzer zumindest eine möglicherweise in der aktuellen Fahrsituation (31) kontaktierte Person und/oder ein in der aktuellen Fahrsituation (31) möglicherweise angesteuertes Fahrziel ermittelt wird und der jeweilige Name der zumindest einen Person und/oder des zumindest einen Fahrziels als prädiziertes Befehlswort (33) bereitgestellt wird.
  3. Verfahren nach einem der vorhergehenden Ansprüche, wobei anhand des Verhaltensmodells (32) zumindest eine in der aktuellen Fahrsituation (31) an der zumindest einen Fahrzeugkomponente (12, 13) notwendige Bedienhandlung ermittelt wird und zumindest ein zu der zumindest einen Bedienhandlung vorgesehener Sprachbefehl (16') als prädiziertes Befehlswort (33) bereitgestellt wird.
  4. Verfahren nach Anspruch 3, wobei durch eine Fahrzeugkomponente (12) eine Navigationskarte (20) in einem ersten Darstellungsmodus, insbesondere in einem Tagfahrmodus, angezeigt wird und als aktuelle Fahrsituation (31) eine Fahrt bei Dunkelheit erkannt wird und anhand des Verhaltensmodells (32) ein Bedürfnis zum Umschalten in einen zweiten Darstellungsmodus, insbesondere einen Nachtfahrmodus, ermittelt wird.
  5. Verfahren nach einem der vorhergehenden Ansprüche, wobei anhand des Verhaltensmodells (32) zumindest eine von einer vorbestimmten Gruppe von mehreren Personen in der aktuellen Fahrsituation (31) gepflegte Gewohnheit angegeben wird und zu jeder ermittelten Gewohnheit zumindest ein jeweiliges Befehlswort, das dazu eingerichtet ist, mittels der zumindest einen Fahrzeugkomponente (12, 13) der Gewohnheit nachzugehen, bereitgestellt wird.
  6. Verfahren nach Anspruch 5, wobei anhand der Uhrzeit eine Essensgewohnheit erkannt wird und zumindest ein jeweiliges Befehlswort (33) zum Einstellen einer Navigationseinrichtung für eine Restaurantsuche prädiziert wird.
  7. Bedienvorrichtung (14) für ein Kraftfahrzeug (10), wobei die Bedienvorrichtung (14) zum Koppeln mit einer Mikrofoneinrichtung (15) und zum Koppeln mit einer Erfassungseinrichtung (18) des Kraftfahrzeugs (10) eingerichtet ist, dadurch gekennzeichnet, dass die Bedienvorrichtung (14) eine Prozessoreinrichtung (28) aufweist, die dazu eingerichtet ist, ein Verfahren nach einem der vorhergehenden Ansprüche durchzuführen.
  8. Kraftfahrzeug (10) mit eine Bedienvorrichtung (14) nach Anspruch 7.
DE102016218270.6A 2016-09-22 2016-09-22 Verfahren zum Betreiben einer Kraftfahrzeug-Bedienvorrichtung mit Spracherkenner, Bedienvorrichtung und Kraftfahrzeug Active DE102016218270B4 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102016218270.6A DE102016218270B4 (de) 2016-09-22 2016-09-22 Verfahren zum Betreiben einer Kraftfahrzeug-Bedienvorrichtung mit Spracherkenner, Bedienvorrichtung und Kraftfahrzeug

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102016218270.6A DE102016218270B4 (de) 2016-09-22 2016-09-22 Verfahren zum Betreiben einer Kraftfahrzeug-Bedienvorrichtung mit Spracherkenner, Bedienvorrichtung und Kraftfahrzeug

Publications (2)

Publication Number Publication Date
DE102016218270A1 DE102016218270A1 (de) 2018-03-22
DE102016218270B4 true DE102016218270B4 (de) 2018-04-26

Family

ID=61302500

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102016218270.6A Active DE102016218270B4 (de) 2016-09-22 2016-09-22 Verfahren zum Betreiben einer Kraftfahrzeug-Bedienvorrichtung mit Spracherkenner, Bedienvorrichtung und Kraftfahrzeug

Country Status (1)

Country Link
DE (1) DE102016218270B4 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022000387A1 (de) 2022-02-01 2023-08-03 Mercedes-Benz Group AG Verfahren zur Verarbeitung von Spracheingaben und Bedieneinrichtung zur Steuerung von Fahrzeugfunktionen

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004012148A1 (de) 2004-03-12 2005-10-06 Siemens Ag Spracherkennung unter Berücksichtigung einer geografischen Position
EP1793371A2 (de) * 2005-11-30 2007-06-06 Volkswagen Aktiengesellschaft Verfahren zur Spracherkennung
DE102010026708A1 (de) 2010-07-10 2012-01-12 Volkswagen Ag Verfahren zum Betreiben eines Sprachdialogsystems und Sprachdialogsystem
DE102010049869A1 (de) 2010-10-28 2012-05-03 Volkswagen Ag Verfahren zum Bereitstellen einer Sprachschnittstelle in einem Fahrzeug und Vorrichtung dazu
WO2014060054A1 (de) 2012-10-16 2014-04-24 Audi Ag Spracherkennung in einem kraftfahrzeug
DE102013222757A1 (de) 2012-11-13 2014-05-15 Gm Global Technology Operations, Llc Adaptionsverfahren und -systeme für Sprachsysteme
US20150006167A1 (en) * 2012-06-25 2015-01-01 Mitsubishi Electric Corporation Onboard information device
DE102015213722A1 (de) 2015-07-21 2017-01-26 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Spracherkennungssystems in einem Fahrzeug und Spracherkennungssystem

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004012148A1 (de) 2004-03-12 2005-10-06 Siemens Ag Spracherkennung unter Berücksichtigung einer geografischen Position
EP1793371A2 (de) * 2005-11-30 2007-06-06 Volkswagen Aktiengesellschaft Verfahren zur Spracherkennung
DE102010026708A1 (de) 2010-07-10 2012-01-12 Volkswagen Ag Verfahren zum Betreiben eines Sprachdialogsystems und Sprachdialogsystem
DE102010049869A1 (de) 2010-10-28 2012-05-03 Volkswagen Ag Verfahren zum Bereitstellen einer Sprachschnittstelle in einem Fahrzeug und Vorrichtung dazu
US20150006167A1 (en) * 2012-06-25 2015-01-01 Mitsubishi Electric Corporation Onboard information device
WO2014060054A1 (de) 2012-10-16 2014-04-24 Audi Ag Spracherkennung in einem kraftfahrzeug
DE102013222757A1 (de) 2012-11-13 2014-05-15 Gm Global Technology Operations, Llc Adaptionsverfahren und -systeme für Sprachsysteme
DE102015213722A1 (de) 2015-07-21 2017-01-26 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Spracherkennungssystems in einem Fahrzeug und Spracherkennungssystem

Also Published As

Publication number Publication date
DE102016218270A1 (de) 2018-03-22

Similar Documents

Publication Publication Date Title
DE102015213722B4 (de) Verfahren zum Betreiben eines Spracherkennungssystems in einem Fahrzeug und Spracherkennungssystem
DE102012013503A1 (de) Verfahren und Steuerungssystem zum Betreiben eines Kraftwagens
EP1793371A2 (de) Verfahren zur Spracherkennung
WO2006087280A1 (de) Verfahren und vorrichtung zur sprachsteuerung eines gerätes oder eines systems in einem kraftfahrzeug
EP2880651B1 (de) Verfahren und vorrichtung zum betreiben eines sprachgesteuerten informationssystems für ein fahrzeug
WO2014060054A1 (de) Spracherkennung in einem kraftfahrzeug
DE102019105251A1 (de) Dialekt- und sprachenerkennung zur spracherkennung in fahrzeugen
DE102017219616B4 (de) Sprachsteuerung für ein Fahrzeug
DE102013222507A1 (de) Adaptionsverfahren und -systeme für Sprachsysteme
DE102014013960A1 (de) Verfahren zum Betreiben wenigstens einer Fahrerassistenzeinrichtung eines Kraftwagens und System mit einer Fahrerassistenzeinrichtung
DE102013222757A1 (de) Adaptionsverfahren und -systeme für Sprachsysteme
EP2727773A1 (de) Verfahren zum Aktivieren einer Sprachinteraktion mit einem Insassen eines Fahrzeugs und Sprachinteraktionssystem für ein Fahrzeug
EP2516965A1 (de) Navigationssystem, insbesondere für ein kraftfahrzeug
DE102014211834A1 (de) Verfahren und Vorrichtung zum Korrigieren eines Regelparameters für eine automatische Geschwindigkeitsregeleinrichtung eines Fahrzeugs
DE102016218270B4 (de) Verfahren zum Betreiben einer Kraftfahrzeug-Bedienvorrichtung mit Spracherkenner, Bedienvorrichtung und Kraftfahrzeug
DE102021212744A1 (de) Dialogsystem, fahrzeug mit demselben und verfahren zum steuern eines dialogsystems
EP1121684B1 (de) Verfahren und vorrichtung zur ausgabe von informationen und/oder meldungen per sprache
DE102013016196B4 (de) Kraftfahrzeugbedienung mittels kombinierter Eingabemodalitäten
DE102018133442A1 (de) Verfahren zum Ausgeben von Informationen in einem Fahrzeug und Vorrichtung zum Steuern einer Ausgabe von Informationen in einem Fahrzeug
DE102008033441B4 (de) Verfahren zum Betrieb eines Bediensystems für ein Fahrzeug und Bediensystem für ein Fahrzeug
WO2014117932A1 (de) Systeminitiierte hilfefunktion pro fahrt und/oder pro nutzer für die bedienung von einer, einem fahrzeug zugeordneten vorrichtung
WO2015043652A1 (de) Anwenderschnittstelle und verfahren zur unterstützung eines anwenders bei bedienung einer bedieneinheit
DE102017210884A1 (de) Verfahren zum Betrieb eines Kraftfahrzeugs
WO2020200557A1 (de) Verfahren und vorrichtung zur interaktion mit einem umgebungsobjekt im umfeld eines fahrzeugs
DE102015226408A1 (de) Verfahren und Vorrichtung zum Durchführen einer Spracherkennung zum Steuern zumindest einer Funktion eines Fahrzeugs

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final