DE3238855C2 - Spracherkennungseinrichtung - Google Patents

Spracherkennungseinrichtung

Info

Publication number
DE3238855C2
DE3238855C2 DE3238855A DE3238855A DE3238855C2 DE 3238855 C2 DE3238855 C2 DE 3238855C2 DE 3238855 A DE3238855 A DE 3238855A DE 3238855 A DE3238855 A DE 3238855A DE 3238855 C2 DE3238855 C2 DE 3238855C2
Authority
DE
Germany
Prior art keywords
memory
speech recognition
reset switch
actuation
terms
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired
Application number
DE3238855A
Other languages
English (en)
Other versions
DE3238855A1 (de
Inventor
Norimasa Yokohama Kanagawa Kishi
Kazunori Yokosuka Kanagawa Noso
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Publication of DE3238855A1 publication Critical patent/DE3238855A1/de
Application granted granted Critical
Publication of DE3238855C2 publication Critical patent/DE3238855C2/de
Expired legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373Voice control
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals
    • G10L25/87Detection of discrete points within a voice signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Rear-View Mirror Devices That Are Mounted On The Exterior Of The Vehicle (AREA)

Abstract

Die Spracherkennungseinrichtung (Fig. 2) für ein Kraftfahrzeug erlaubt die Positionierung von zumindest einer mehrfach verstellbaren Vorrichtung durch mündliche Abgabe mehrerer Betätigungsbegriffe in ein Mikrofon (2) und ohne jedesmal den zugeordneten Vorrichtungsbegriff wiederholen zu müssen. Zur Verstellung eines Außenspiegels braucht der Fahrer nur eine Taste (3) für die Spracherkennung zu drücken und nach dem Vorrichtungsbefehl "Spiegel" die Betätigungsbefehle "rechts horizontal" und "rechts vertikal", wobei die dadurch ausgelöste Spiegelbewegung jeweils durch Betätigung eines Rücksetzschalters (103) beendet wird, in das Mikrofon zu sprechen. Der Schlußbefehl lautet "Halt". Die Spracherkennungseinrichtung (100) umfaßt ferner zumindest einen ersten Speicher (11-1) für zumindest einen Vorrichtungsbegriff, einen zweiten Speicher (11-2) mit mehreren Einheiten zur Aufnahme von Betätigungsbegriffen und eine Musterspeicherwählstufe (105) zur Herstellung einer gewünschten Zuordnung von Vorrichtungs- und Betätigungsbefehlen.

Description

2. Einrichtung nach Anspruch 1, dadurch gekennzeichnet, daß die Analyslereinrichtung (101), der Speicher (10). die Verglelchseinrlchtung (102), die Muster-Spelcherelnrlchtung (11), die Musterspelcherwählelnheit (105) und die Steuerschaltung (5) durch einen Mikrocomputer (200) gebildet sind.
3. Einrichtung nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß In dem ersten Speicher (11-1) der Musterspeichereinrichtung (11) Vorrichtungsbegriffe gespeichert sind für die
x) Betätigungsvorrichtung von Außenspiegeln
und/oder
y) Betätigungsvorrichtung von Fahrzeugsitzen und/oder
z) Betätigungsvorrichtung von Fahrzeugfenstern.
und in den Speichereinheiten (11-2a, 11-26, 11-2t) des zweiten Speichers (11-2) Betätigungsbegriffe gespeichert sind für
Xi) Horizontal- und Vertikal-Verstellbewegungen des linken und rechten Außenspiegels bzw.
yi) Vorwärts- und Rückwärts-Verstellbewegungen des betreffenden Sitzes und Schwenkbewegungen der Sitzlehne des Sitzes bzw.
ζ,) Öffnungs- und Schließbewegungen des betreffenden vorderen oder hinteren Fensters auf der linken oder rechten Fahrzeugseite.
4. Einrichtung nach Anspruch 2, dadurch gekennzeichnet, daß der Mikrocomputer (200) folgende Schritte ausführt:
a) Ermittlung dss E'nschaltzustands des Erker.-nungsschalters (3),
b) Annahme mindestens eines Vorrichtungsbegriffs bei geschlossenem Erkennungsschalter,
c) Identifizieren des eingegebenen Vorrichtungsbegriffs auf der Grundlage mindestens eines in dem ersten Spelcl.er (11-1) der Musterspeichereinrichtung (11) vorgespeicherten Bezugs-Vorrichtungsbegrlffs,
d) Umschaltung des ersten Speichers auf eine die Betätigungsbegriffe enthaltenden Speichereinheit (11 -2a, 11-26. 11 -2c) des zweiten Speichers (11-2),
e) Ermittlung des Einschaltzustands des Rücksetzschalters (103),
Programmrücksprung zu Schritt (a), wenn der Rücksetzschalter geschlossen Ist,
g) Annahme eines folgenden Betätigungsbegriffs bei offenem Rücksetzschalfjr,
h) Identifizieren des eingegebenen Betätigungsbegriffs auf der Grundlage eines In einer der betreffenden Speichereinheit (ll-2o, 11-26, ll-2c) des zweiten Speichers (11-2) vorgespeicherten Bezugs-Betätlgungsbegriffs.
I) Aktivleren des zugeordneten Stellgliedes (14) entsprechend dem Identifizierten Betätigungsbegriff.
j) Überprüfen des Schaltzustands des Rücksetzschalters,
k) Anhalten des Stellglieds, wenn der Rücksetzschalter schließt. und Rücksprung zu Programmschritt (4), und
1) Aufforderung zur Eingabe eines gesprochenen Schlußbefehls, mit dem alle Stellglieder angehalten werden und das Programm zum Anfangsschritt (a) zurückkehrt.
Die Erfindung betrifft eine Spracherkennungselnrichtung gemäß dem Oberbegriff von Patentanspruch 1.
In Kraftfahrzeugen wird eine bekannte Spracherkennungselnrichtung zur Betätigung von diversen Antrieben, Stellgliedern u. dgl. mittels gesprochener Befehle verwendet, zum Beispiel zum Ein- und Ausschalten der Scheinwerfer durch den Ruf: »Scheinwerfer ein« oder »Scheinwerfer aus«.
Die Spracherkennungselnrichtung kann gewöhnlich verschiedene gesprochene Befehle unterscheiden und danach die richtigen Betätigungselemente, Stellglieder od. dgl. ansteuern, jedoch ist ihr Einsatz in Kraftfahrzeugen mit gewissen Problemen behaftet. Die über die Spracherkennungselnrichtung steuerbaren Aggregate oder Vorrichtungen eines Kraftfahrzeugs wie Scheinwerfer. Scheibenwischer. Rundfunkempfänger, Au3enspiegel, Türspiegel u. dgl. können von ihrer BetStigungsart her in zwei Gruppen unterteilt werden: Die als »Ein/Ausschaltgruppe« zu bezeichnende erste Gruppe umfaßt Vorrichtungen wie die Scheinwerfer, Scheibenwischer. Scheibenwaschanlage, das Autoradio u. dgl., die einfach ein- oder auszuschalten sind. Die als »Justiergruppe« zu bezeichnende zweite Gruppe umfaßt Außenspiegel, Türfenster u. dgl., die wie beispielsweise die Augenspiegel rechts und links einzeln oder beide durch den Fahrer genau zu justieren sind und dabei jeweils in horizontaler und/oder vertikaler Richtung entsprechend eingestellt werden müssen. Die Türfenster rechts und ilnks sollen einzeln oder beide geöffrip;» oder geschlossen werden, und für den Fahrersitz und den Beifahrersitz gibt es schließlich die Möglichkeiten der Sitzverstellung nach vorn und hinten sowie der Verstellung der Sitzlehnen nach vorn und hinten.
Bei über die Spracherkennungseinrichtung zu betätigenden Vorrichtungen mit mehreren Betätigungsmöglichkellen muß der Fahrer oder Bediener gewöhnlich eine Betätlgungsfolge einhalten, also z. B. erst den rechten Außenspiegel horizontal und danach vertikal, dann den linken Spiegel horizontal und danach vertikal verstellen, oder erst den Sitz vor und dann die Lehne nach hinten bewegen, oder beispielsweise erst das rechte Türfenster und danach das linke Türfenster öffnen. In dem Fall der Außensplegelverstellung 1st es daher erforderlich, vier gesprochene Befehle »Rechter Spiegel horizontal«. »Rechter Spiegel vertikal«, »Linker Spiegel horizontal« und »Linker Spiegel vertikal« einmal aufzuzel.hnen, damit sie durch die Spracherkennungseinrichtung Im Betriebsfall durch Vergleich mit den in gleicher Reihenfolge In das Mikrofon gesprochenen Befehlen erkannt und ausgeführt werden können.
Mit dem Ziel einer Verminderung der erforderlichen Aufzeichnungs-Spelcherkapazltäi Ist eine bekannte Einrichtung ddt eingangs genannten A;» so ausgelegt worden, daß gesprochene Betätigungsbefehle in einen »Vorrichtungsansprechteil« wie z. B. »Spiegel« und einen »Anweisungstell« wie z. B. »rechts horizontal« oder »rechts vertikal« unter.ällt und so separat aufgezeichnet und Identifiziert werden, well der Begriff »Spiegel« in dieser Befehlsgruppe Immer enthalten Ist. Die hier angewandte Methode erfordert mehr Zelt bei der Vor-Aufzeichnung, erfordert aber weniger Speicherkapazität und erleichtert sowie beschleunigt die Befehls-Idenltflzlerung Dafür hat diese bekannte Methode aber auch Nachtelle, well sämtliche vorkommenden Befehle wie »Spiegel rechts horizontal«, »Spiegel rechts vertikal«. «Spiegel Ilnks horizontal« und »Spiegel Ilnks vertikal« der Reihe nach recht mühsam einzeln und deutlich In das Mikrofon gesprochen werden müssen. Außerdem besteht bei dieser Vielzahl ähnlicher Befehle die Gefahr der Verwechselung Im Betriebsfall durch das System.
Der Erfindung liegt die Aufgabe zugrunde, eine Spracherkennungselnrichtung der eingangs genannten Art so auszubilden und zu verbessern, daß bei der Speicherung von Befehlen für Vorrichtungen mit mehreren Betätigungsmöglichkelten der Vorrichtungsansprechteil (z. B. »Spiegel«) nicht jedesmal wiederholt werden muß.
Die Erfindung ist durch die Merkmale von Patentanspruch 1 gegeben.
Vorteilhafte Weiterbildungen des Erfindungsgedankens sind in Unteransprüchen gekennzeichnet.
Der Grundgedanke der Erfindung geht dahin. In der Spracherkennungseinrichtung einen Bezugsmuslerspelcher, welcher einen Speicher zum Speichern von Begriffen zu mindestens einer zu verstellenden Vorrichtung und einen zweiten Speicher mit mehreren Einheiten zum Speichern von verschiedenen Betätigungsbegriffen für jede vorgesehene Vorrichtung umfaßt, mit einem Rücksetzschalter zum Löschen eines durch die Einrichtung erkannten Betätigungsbefehlsbegriffs und mit einer Musterspeicherwähleinheit zum Auswählen und Kombinieren von Vorrichtungs- und Betätigungsbegriffsspeichern in Abhängigkeit von einem Rücksetzslgnal aus dem Rücksetzschalter zu kombinieren.
Damit ist dum Benutzer die Möglichkeit gegeben, beispielsweise beide Außenspiegel einet: i-ahrzeugs zu verstellen, indem er zuerst unter Betäti£,jng einer Spracherkennungstaste »Spiegel« in ein Mikrofon spricht und dann nacheinander die BetätlgungsbefeMe »rechts horizontal«, »rechts vertikal«, »links horizontal« und »links vertikal« ausspricht, wobei die Einzelbewegungen jeweils durch zwischenzeitliche Betätigung des Rücksetzschalters zu beenden sind. Der Schlußbefehl lautet »Halt«.
Die Erfindung und vorteilhafte Einzelheiten werden nachstehend unter Bezug auf eine Zeichnung in lielspielsweiser Ausführungsform näher erläutert. Es zeigt
Flg. 1 ein schematlsches Blockschaltbild einer insbesondere für den Stand der Technik typischen Spracherkennungseinrichtung für ein Kraftfahrzeug,
Flg. 2 und 3 je ein schematlsches Blockschaltbild zu einem ersten und zweiten Ausführungsbeispiel einer erfindungsgemäßen Kfz.-Spracherkennungselnrlchtung, und
Flg. Λ ein Flußdiagramm zum Ablauf der wiederholten Betätigung einer justierbaren Fahrzeug-Vorrichtung durch entsprechende gesprochene Befehle in Verbindung mit einem Programm, das In einem Mikrocomputer des Ausführungsbeispiels von Flg 3 gespeichert ist.
Vor Verwendung der In Flg. 1 schematisch dargestellten und für den Stand der Technik typischen Spracherkennungselnrichtung 100 !st es erforderlich, daß der Benutzer zuerst eine Aufzeichnungstaste 1 drückt und in einer besonderen Betriebsart »Voraufzeichnung« mehrere gebrochene Befehle aufzeichnet. Das von der betätigten Aufzeichnungstaste 1 über eine Schalterschnittstelleneinheit 4 und Leitung 4a an eine Steuerschaltung 5 abgegebene Signal wird in der Steuerschaltung 5 In ein Aufzeichnungssignal zur Aktivierung aller an der Voraufzeichnung beteiligten Schaltungen bzw. Einheiten umgesetzt. Ein vom Benutzer gesprochener Befehl, wie beispielsweise »Radio Ein« wird von einem Mikrofon 2 in ein entsprechendes elektrisches Signal verwandelt, welches durch eine hauptsächlich einen das Spektrum normalisierenden Verstärker enthaltende Sprachelngangsschnlttstellenelnheit 6 verstärkt sind. Das Signal wird dann In einer aus einem Gleichrichter mit Sieb- bzw. Glättungsglled bestehenden Effektivwert-Glättungss^iialtung 15 auf den quadratischen Mittelwert geglättet und danach an einen Stimmdetektor 7 abgegeben. Der Stimmdetektor 7 deutet, wenn die Stärke eines Sprachbefehlssignals einen vorgegebenen Pegel für die Dauer eines festgelegten Zelt-
raums (150 bis 250 ms) überschreitet, diesen Befund als den Beginn des Sprachbefehlsslgnals. Wenn d|e Stärke dieses Signals für die Dauer eines festgelegten Zeltraums (etwa 300 ms) einen vorgegebenen Pegel unterschreitet, bedeutet dies das Ende des Sprachbefehlssignals. Bei Feststellung des Signalbeginns gibt der Stimmdetektor 7 ein neues Aufzeichnungssignal an die Steuerschaltung 5 ab, damit jene durch Aktivierung einer Gruppe von Bandpaßflltern 8 die Aufspaltung des vom Mikrofon 2 kommenden Sprachbefehlssignals In eine Anzahl festgelegter Frequenzbänder veranlaßt. Eine ParameterAufbereltungsschaltung 9 übernimmt die In Frequenzbänder zerlegten Sprachbefehisslgnale, gewinnt daraus durch Quadrieren oder Gleichrichtung eine spektrale Lautstärkeverteilung über die Frequenzbänder und setzt das Ergebnis in entsprechende digitale zeltserielle matrixphonetische Musterdaten um, welche in cinci nachgcSchäUeten Speicncrcinhc't 10 gespeichert werden. Well die Spracherkennungselnrlchtung 100 durch Betätigung der Aufzeichnungstaste 1 auf die Betriebsart »Voraufzeichnung« von Sprachbefehlsslgnalen geschaltet worden Ist, werden die so gewonnenen zeitseriellen matrixphonetischen Musterdaten In einen Musterspclchcr Ii übertragen und darin als Bezugsdaten für die Identifizierung gesprochener Befehle ge- speichert.
Nach erfolgter Aufzeichnung der als Bezugsmuster für gesprochene Befehle dienenden Bezugsdaten kann der Benutzer, während er eine Erkennungstaste 3 betätigt. Befehle wie beispielsweise »Radio Ein« In das Mikrofon sprechen. Durch Betätigung der Erkennungstaste 3 wird bei der Schnlttstellenelnhelt 4 ein Signal ausgelöst und über eine Leitung 46 an die Steuerschaltung 5 abgegeben, damit jene die gesamte Spracherkennungselnrlchtung auf die Betriebsart »Identifizierung« umsteü!. Sobald !n dieser Betriebsart der Benutzer einen Befehl In das Mikrofon 2 spricht und dieser Befehl einem zuvor aufgezeichneten gesprochenen Befehl ähnlich 1st, und wenn der Stimmdetektor 7 ein Signal abgibt, dann wird das vom Mikrofon 2 kommende Sprachbcfehlsslgnal von der Sprachverarbeitungsschaltung 6 verstärkt, von den Bandpaßflltern 8 gefiltert und in Frequenzbänder mit entsprechendem Lautstärkespektrum aufgeteilt, von der Aufbereitungsschaltung 9 durch Quadrieren oder Gleichrichten In entsprechende digitale zeltserlelle matrixphonetische Musterdaten umgewandelt und (wie bei der Betriebsart »Voraufzeichnung«) im Speicher 10 gespeichert.
Danach werden die im Speicher 10 in der Betriebsart »Identifizierung« gespeicherten zeltseriellen matrixphonetischen Musterdaten mit den in dem Musterspeicher 11 In der Betriebsart »Voraufzeichnung« gespeicherten zeitserlellen matrixphonetischen Musterdaten mittels eines Ähnlichkeits-Komparators 12 verglichen. Der Komparator 12 ermittelt nach Durchführung eines Zeit- und Pegelausglehhs zwecks Ausgleichs unterschiedlicher Sprechweise (da dieselbe Person einmal laut und schnell, zu anderer Zeit dagegen langsam und leise sprechen kann) zwischen dem gesprochenen Befehl und dem gespeicherten Bezugsbefehl einen Korrelatlonsfaktor. welcher (wie weller unten erläutert wird) gewöhnlich mittels Berechnung des Tchebycheff-Abstands zwischen den bei der Betriebsart Identifizierung und den bei der Betriebsart Voraufzeichnung gewonnenen zeitserlellen matrixphonetischen Musterdaten gewonnen wird. Wenn eine nachgeschaltete Prüfschaltung 13 feststellt, daß die errechneten Werte in einem festgelegten Bereich liegen und folglich Ähnlichkeit zwischen dem voraufgezeichneten und dem soeben gesprochenen Befehl besteht, dann veranlaßt sie durch Abgabe eines entsprechenden Befehlssignals an das betreffende Stellglied 14 beispielsweise das öffnen der Fahrzeugtüren. Alle diese Vorgänge werden durch entsprechende Steuersignale aus der Steuerschaltung 5 kontrolliert.
Die vorstehend In Verbindung mit Flg. 1 beschriebene Spracherkennungseinrlchtung 100 besteht aus diskreten Bauelementen oder Einheiten; sie könnte statt dessen auch durch einen Mikrocomputer mit Zentraleinheit, ROM, RAM, Taktgenerator usw. enthalten, der die Funktionen der beschriebenen Einheiten 7. 9, 10, 11, 12 und 13 ersetzt und gleiche und/oder ähnliche Rechenvorgänge, Operation u. dgl. ausführt.
Für den Fall, daß vier Bandpaßfilter vorhanden sind und jeder davon mit zweiunddreißig aufeinanderfolgenden Zeitschritten arbeitet, können die digitalen zeltserleüen niatrlxphone'ischpn Miisterriaten der Betriebsart Voraufzeichnung wie folgt ausgedrückt werden:
/2.1)./2,2),/2,3)...,/2.32)
F(A) =ßi. j) = /3.1)./3,2)./3.3). . ../3.32)
/4.1). /4.2). /4.3)... ,/4.32)
Darin sind mit A ein erster voraufgezeichneter (Bezugs-)Sprachbefehl (z. B. »Autoradio Ein«), mit; der Filterindex und mit/ der Zeitschrittindex bezeichnet.
Wenn mi' 5 ein erster. In der Betriebsart Identifizierung gesprochener Sprachbefehl (in diesem Fall »Autoradio Ein«) bezeichnet Ist, dann kann der Tchebycheff-Abstand durch folgenden Ausdruck errechnet werden:
4 32
/ = I F[A) - HB) I = Σ Σ I f\ij) - f(iJ) I
Das in Flg. 2 schematisch dargestellte erste Ausführungsbelsplel einer erfindungsgemäßen Spracherkennungselnrichtung 100 enthält eine Analyslereinrichtung (Analyslerabschnitt) 101, welcher auch die in Flg. 1 vorhandene Sprachslgnalverarbeltungsschaltung 6, Glättungsschaltung 15, den Stimmdetektor 7. die Bandpaßfilter 8 sowie die Pararneter-AufbereUungsschaltung 9 umfaßt, eine aus dem Ähnllchkeits-Komparator 12 und der Prüfschaltung 13 von Flg. 1 bestehende Vergleichseinrichtung {Vergleichsabschnitt) 102, einen mit dem Eingang der Schnittstelleneinheit 4 verbundenen Rücksetzschalter 103, durch dessen Betätigung ein gerade ausgesprochener Befehl unterdrückt und die Einrichtung 100 in die vorhergehende Betriebsart Spracherkennung zurückgesetzt wird, und eine Anzeigeeinheit 104 zur visuellen Darstellung von Erkennungsergebnissen oder z. B. einer Anweisung, einen von der Elnrlchtun£ 100 nicht verstandenen Befehl noch einmal zu wiederholen. Ferner ist ein Bezugsmusterspeicher 11 mit einem ersten Speicher 11-1 für Vorrichtungsbegriffe wie »Spiegel«, »Sitz«, »Fenster« u. dgl. und einem zweiten Speicher il-2 für Betätigungsbegriffe vorhanden. Der zweite Speicher 11-2 enthält z. B. drei Speichereinheiten wie eine Splegel(spe!cher)einhelt ll-2o. In der beispielsweise die vier Betätigungsbegriffe »rechts horizontal«, »rechts vertikal«, »links horizontal« und »links vertikal« gespeichert sind, eine Sltz(spelcher)elnhelt ll-2ft zur Speicherung von Sitzbetätigungsbegriffen wie »vorwärts bewegen«, »rückwärts bewegen«, »nach vorn neigen« und »nach hinten neigen« und eine Fensterfspe!cher)elnhe!t 11 -Ic zur Speicherung von Fensterbetätlgungsbegriffen wie »rechts öffnen«, »rechts schließen«, »links öffnen« und »links schließen«. Mittels einer Musterspelcherwählelnheit 105 können in Abhängigkeit von einem entsprechenden Steuersignal
der Steuerschaltung 5 Verbindungen zwischen dem Vergleichsabschnitt 102 und dem ersten Speicher 11-1 und dem zweiten Speicher 11-2 hergestellt werden.
Wenn Im Betrieb dieses Ausführungsbelsplels In Flg. 2 die Taste 3 für die Betriebsart »Spracherkennung« gedrückt wird, erhält die Steuerschaltung 5 über eine Leiiyrig Ab ein entsprechendes Signal aus der Schalterelngangs-Schnittstellenelnhelt 4 und versetzt ihrerseits die gesamte Einrichtung 100 In diese Betrlebsrt. Zuerst wird der erste Speicher 11-1 für Vorrlchlungsbegrlffe über die Musterspelcherwählelnhelt 105 mit dem Vergleichsabschnitt 102 verbunden, und dazu erscheint auf der Anzeigeeinheit 104 die Anweisung »Sprich einen Vorrichtungsbegriff«. Wenn daraufhin der Fahrer den Begriff »Spiegel« in das Mikrofon 2 spricht, wird dieser Befehlstell durch den Analyslerabschnitt 101 analysiert und durch den Verglelchsabsrhniti 102 mit den Im ersten Speicher 11-1 vorgespeicherten Vorrichtungsbegriffen verglichen. Falls der Fahrer nicht laut oder deutlich genug gesprochen hat und/oder der Störgeräuschpegel Im Fahrzeug zu hoch war. wird der Fahrer z. B. durch die visuelle Anweisung »Bitte wiederholen« auf der Anzeigeeinheit 104 aufgefordert, diesen Teil des Befehls noch einmal In das Mikrofon zu sprechen.
Nach Erkennung des Vorrichtungsbegriffs durch den Verglelchsabschnlu 102 veranlaßt die Steuerschaltung 5 durch Abgabe entsprechender Signale die Darstellung der Anweisung »Spiegel - Sprich den Betätigungsbegriff« auf der Anzeigeeinheit 104 und durch ein Signal an die Wählstufe 105 die Herstellung einer Verbindung zwischen dem Verglelchsabschnitt 102 und der Spiegel(speicher)einhelt ll-2o Im zweiten Speicher 11-2.
Falls der Fahrer einen falschen Befehl In die Einrichtung 100 gesprochen hat, kann er die Einrichtung 100 durch Betätigung des Rücksetzschalters 103 über die Schnlttstellenelnhelt 4 und Leitung 4c sowie die Steuerschaltung 5 veranlassen, durch Abgabe entsprechender Signale an andere Schaltungsberelche den gerade ausgesprochenen Befehl zu unterdrücken.
Falls die Einrichtung 100 sich verhören und einen korrekt gesprochenen Befehlsbegriff (z. B. »Spiegel«) als »Sitz« erkennen sollte, dann kann auch dieser falsche Vorrichtungsbegriff auf die angegebene Welse gelöscht werden.
Sobald der Fahrer den fälligen Betätigungsbegriff »rechts horizontal« In das Mikrofon 2 spricht, wird der Begriff durch den Analyslerabschnitt 101 analysiert und durch den Vergleichsabschnitt 102 mit den in der SpIegeKspeichertelnheit ll-2a gespeicherten Betätlgungsbegriffen verglichen. Nach erfolgter Erkennung des Begriffs veranlaßt die Steuerschaltung 5 die Verstellung des rechten Außenspiegels über das entsprechende Stellglied 14 in Horizontalrichtung. Sobald der rechte Außenspiegel eine gewünschte Horizontalwinkelposition erreicht hat. bringt der Fahrer durch Betätigung des Rücksetzschalters 103 den Außenspiegel zum Stillstand in dieser Position, und die Spracherkennungseinrichtung 100 kehrt in einen Bereitschaftszustand zur Annahme weiterer Betätigungsbegriffe, nicht jedoch eines neuen Vorrichtungsbegriffs, zurück.
Wenn danach der Fahrer »rechts vertikal« in das Mikrofon 2 spricht, wird auf die gleiche Weise wie zuvor erläutert der rechte Außenspiegel über das Stellglied 14 in Verbindung mit der Steuerschaltung 5 so lange vertikal verdreht, bis er die gewünschte Vertikal-Wlnkelposition erreicht hat; dort wird er durch Betätigung des Rücksetzschalters 103 fixiert. Die Einrichtung 100 Ist dann bereit zur Annahme des nächsten Betätigungsbegriffs. Der Fahrer justiert daraufhin den linken Außenspiegel, indem er zuerst »links horizontal« In das Mikrofon 2 spricht und, sobald die Horizontalposltlon stimmt, »links vertikal« In das Mikrofon ruft. Sobald auch die Vertikalposition des linken Außenspiegels stimmt, beendet der Fahrer den Spiegelverstellvorgang durch den Ruf »Halt« In das Mikrofon 2.
Bei dem In Flg. 3 dargestellten zweiten Ausführungsbeispiel der Erfindung sind die wesentlichen Elemente der erfindungsgemäßen Spracherkennungselnrlchtung 100 wie die Musterspelcherwählelnhelt 105 und der Bezugsmusterspeicher 11 mit den beiden Speichern 11-1 und 11-2 für die Vorrichtungs- und Betätigungsbegriffe usw. durch einen Mikrocomputer 200 ersetzt, der, falls erwünscht, auch noch die Funktionen der hler separat vorhandenen Elngangs-Schnlttstellenelnheit 6 und Bandpaßfilter 8 übernehmen könnte. Durch In Ihm gespeicherte Programme 1st der Mlkrocomuter 200 In die Lage versetzt, die gleichen Funktionen wie diskrete Elemente oder Schaltungen auszuführen.
Das Flußdiagramm 4 enthält Programmschritte zur Aktivierung der Stellglieder 14 In der vorgegebenen Betätigungsfolge. Der Mikrocomputer bleibt In Bereitschaft, bis In einem ersten Schritt 1 die Betätigung der Taste »Spracherkennung« 3 erkannt worden 1st. Danach geht das Programm zu Schritt 2 über, um einen Vorrichtungsbegriff akustisch entgegenzunehmen. Wenn der ankommende gesprochene Befehl Im nächsten Schritt 3 nach Vergleich mit in der Speichereinheit gespeicherten Musterbefehlen bzw. Musterbegriffen Identifiziert worden Ist, erfolgt Im nächsten Schritt 4 die Umschaltung des Vergleichsabschnitts 102 auf die den Speicher für Betätigungsbegriffe (Betätlgungsbegrlff-Spelcherelnhelt) 11-2 mit Darstellung der Anweisung »Sprich den Betätigungsbegriff« auf der Anzeigeeinheit 104. Falls jetzt der Mikrocomputer 200 durch eine Betätigung des Rücksetzschalters 103 rückgesetzt wird, springt das Programm vom Schritt 5 auf den Programmanfang zurück; andernfalls wird ein In Schritt 6 eingesprochener Betätigungsbegriff, der zu dem Im Schritt 3 eingesprochenen Vorrichtungsbegriff paßt, nach Vergleich mit in der Betätigungsbegriff-Speichereinheit 11-2 gespeicherten Musterbegriffen in Schritt 7 identifiziert und die angesprochene Vorrichtung In Schritt 8 durch Ansteuerung des betreffenden Stellgliedes 14 verstellt. Wenn danach in Schritt 9 die Betätigung des Rücksetzschalters 103 erkannt Ist, wird In Schritt 10 das Stellglied augenblicklich angehalten, und das Programm kehrt zu Schritt 5 zurück, um den nächsten Betätigungsbegriff entgegenzunehmen. Unter Wiederholung der Schritte 5 bis 10 werden alle vorgesehenen Betätigungen der angesprochenen Vorrichtungen durchgeführt, bis diese ihre vorgesehene Position eingenommen hat. Nach Zugang des Schlußbefehls »Halt« von dem Fahrer in Schritt 11. Schritt 12 wird das Stellglied mit Schritt 13 angehalten, und das Programm springt zu seinem Anfangsschritt 1 zurück.
Über die erfindungsgemäße Spracherkennun;;c"Mnrichtung kann der Fahrer eine gewünschte justierbare Vorrichtung wie z. B. die Außenspiegel wahlweise einstellen, indem er unter Betätigung der Taste »Spracherkennung« zuerst den Vorrichtungsbegriff »Spiegel« und dann nacheinander die erforderlichen Betätigungsbegriffe »rechts horizontal«, »rechts vertikal« u.s.w. mit jeweils dazwischenliegender Betätigung der Rücksetztaste zur Bewegungsunterbrechung in das
Mikrofon spricht. Wenn die Spiegel richtig eingestellt sind, wird der Vorgang durch den Schlußbefehl »Halt« beendet.
Die erfindungsgemäße Spracherkennungseinrichtung bietet dem Fahrer bzw. Benutzer die vorteilhafte 5 Möglichkeit, eine gewünschte zu justierende Vorrichtung des Fahrzeugs durch mehrere nacheinander eingesprochene Betätigungsbegriffe genau zu positionleren. Nach jeder Einzelbetätigung wird durch Betätigung eines die Bewegung beendenden Rücksetzschalters die 10 Bereitschaft für die nächste Betätigungsart hergestellt. Daher Ist es nicht erforderlich, zwischendurch den Vorrichtungsbegriff zu wiederholen. Dadurch wird die Zuverlässigkeit und Erfolgsquote der Erkennung gesprochener Befehle wesentlich erhöht. 15
Hierzu 4 Blatt Zeichnungen
20
25
30
35
40
45
50
55
60
65

Claims (1)

Patentansprüche:
1. Spracherkennungselnrichtung für Kraftfahrzeuge zum Betätigen einer oder mehrerer Vorrlchtungen des Fahrzeugs in aufeinanderfolgenden Betätigungsstufen abhängig von mehreren In ein Mikrofon (2) gesprochenen Befehlen, mit
einer Spracherkennungstaste (3), die In betätigtem Zustand ein Erkennungssignal abgibt,
einer Analyslereinrichtung (101), die gesprochene Befehlssignale analysiert, wenn die Spracherkennungstaste geschlossen ist,
einem Speicher (10), der die von der Analysiereinrichtung analysierten gesprochenen Befehlssignale speichert,
- einer Verglelchseinrlchtung (102) zum Vergleichen der im Speicher gespeicherten Befehlssignale mit zuvor abgespeicherten Bezugsbefehis-Signalen, und zum Ausgeben eines Signals Im Erkennungsfall, um eine entsprechende Vorrichtung zu betätigen, und
- einer Steuerschaltung (5) zum Steuern der Signale zwischen der Spracherkennungstaste, der Analyslereinrichtung, dem Speicher und der Vergleichseinrichtung,
gekennzeichnet durch
einen Rücksetzschalter (103) zum Löschen des von der V<.rglelchse!nrichtung ausgegebenen Bezugsbefehlssignals,
eine Muster-Speichereinrichtung (11) mit
- einem ersten Speicher (11-1) '.um Speichern von Vorrichtungsbegriffen für zumindest eine verstellbare Vorrichtung, und
- einem zweiten Speicher (11-2) mit mehreren Einheiten zum Speichern von verschiedenen Betätigungsbegriffen für jede Vorrichtung, und
eine Musterspelcherwählelnheit (105) zum selektlven Verbinden der Vergleichseinrichtung (102) mit den beiden Speichern (11-1, 11-2) der Muster-Spelcherelnrlchtung (11), um einen Vorrichtungsbegriff zu erkennen und nach erfolgtem Erkennen der Reihe nach und unter zwischenzeitlichem Betätigen des Rücksctzschalters Betätigungsbegriffe zu erkennen, wodurch nach einmaligem Erkennen eines Vorrichtungsbegriffes die Vorrichtung durch erkannte Betätigungsbegriffe mit jeweils Zwischengeschäften! Betätigen des Rücksetzschalters einsteilbar ist.
DE3238855A 1981-10-22 1982-10-20 Spracherkennungseinrichtung Expired DE3238855C2 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP56167949A JPS5870287A (ja) 1981-10-22 1981-10-22 音声認識装置

Publications (2)

Publication Number Publication Date
DE3238855A1 DE3238855A1 (de) 1983-05-11
DE3238855C2 true DE3238855C2 (de) 1985-04-11

Family

ID=15859030

Family Applications (1)

Application Number Title Priority Date Filing Date
DE3238855A Expired DE3238855C2 (de) 1981-10-22 1982-10-20 Spracherkennungseinrichtung

Country Status (3)

Country Link
US (1) US4593403A (de)
JP (1) JPS5870287A (de)
DE (1) DE3238855C2 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4315210A1 (de) * 1993-05-07 1994-11-10 Dewert Antriebs Systemtech Verfahren zur Steuerung der Verstelleinrichtung eines Möbels

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4712243A (en) * 1983-05-09 1987-12-08 Casio Computer Co., Ltd. Speech recognition apparatus
NL8401862A (nl) * 1984-06-13 1986-01-02 Philips Nv Werkwijze voor het herkennen van een besturingskommando in een systeem, en een interaktief systeem voor het uitvoeren van de werkwijze.
US5025324A (en) * 1984-09-07 1991-06-18 Hashimoto Corporation Method of and apparatus for recording information on both a main recording medium and an endless recording medium for repeated event monitoring
JPH0792673B2 (ja) * 1984-10-02 1995-10-09 株式会社東芝 認識用辞書学習方法
US4912388A (en) * 1985-08-02 1990-03-27 Canon Kabushiki Kaisha Drive control device operating a drive mechanism
DD240596A1 (de) * 1985-08-30 1986-11-05 Zeiss Jena Veb Carl Optisches entzerrungsgeraet
US4725956A (en) * 1985-10-15 1988-02-16 Lockheed Corporation Voice command air vehicle control system
US4797924A (en) * 1985-10-25 1989-01-10 Nartron Corporation Vehicle voice recognition method and apparatus
US4757542A (en) * 1985-12-04 1988-07-12 Nartron Corporation Speech synthesizer method and apparatus
US4856072A (en) * 1986-12-31 1989-08-08 Dana Corporation Voice actuated vehicle security system
US4959850A (en) * 1987-05-29 1990-09-25 Kabushiki Kaisha Toshiba Radio telephone apparatus
DE3879028T2 (de) * 1987-07-16 1993-06-24 Fujitsu Ltd Spracherkennungseinrichtung.
US4945570A (en) * 1987-10-02 1990-07-31 Motorola, Inc. Method for terminating a telephone call by voice command
US4870686A (en) * 1987-10-19 1989-09-26 Motorola, Inc. Method for entering digit sequences by voice command
US4862363A (en) * 1987-12-16 1989-08-29 Dana Corporation Voice actuated two speed axle
US5267323A (en) * 1989-12-29 1993-11-30 Pioneer Electronic Corporation Voice-operated remote control system
JP2964518B2 (ja) * 1990-01-30 1999-10-18 日本電気株式会社 音声制御方式
US5249262A (en) * 1991-05-03 1993-09-28 Intelligent Query Engines Component intersection data base filter
DE4222321A1 (de) * 1992-07-08 1994-01-13 Duerrwaechter E Dr Doduco Verfahren und Schaltungsanordnung zum Versorgen von Lautsprechern und anderen elektrischen Verbrauchern in Fahrzeugtüren mit Signalen
US5945985A (en) * 1992-10-27 1999-08-31 Technology International, Inc. Information system for interactive access to geographic information
US5519809A (en) * 1992-10-27 1996-05-21 Technology International Incorporated System and method for displaying geographical information
JPH0781498A (ja) * 1993-09-20 1995-03-28 Mitsubishi Electric Corp 車両用走行制御装置
US5704008A (en) 1993-12-13 1997-12-30 Lojack Corporation Method of and apparatus for motor vehicle security assurance employing voice recognition control of vehicle operation
JP2500761Y2 (ja) * 1994-03-30 1996-06-12 株式会社アルファ 音声認識装置
DE19533541C1 (de) * 1995-09-11 1997-03-27 Daimler Benz Aerospace Ag Verfahren zur automatischen Steuerung eines oder mehrerer Geräte durch Sprachkommandos oder per Sprachdialog im Echtzeitbetrieb und Vorrichtung zum Ausführen des Verfahrens
FR2740085B1 (fr) * 1995-10-24 1997-12-19 Faure Bertrand Equipements Sa Procede et systeme de reglage par commande vocale d'un dispositif reglable d'un vehicule automobile
US5801616A (en) * 1996-01-04 1998-09-01 George Seelman Voice actuated vehicle security system with starting system interlock and automatic arming feature
FR2744277B1 (fr) * 1996-01-26 1998-03-06 Sextant Avionique Procede de reconnaissance vocale en ambiance bruitee, et dispositif de mise en oeuvre
US5832440A (en) * 1996-06-10 1998-11-03 Dace Technology Trolling motor with remote-control system having both voice--command and manual modes
DE19718007A1 (de) * 1997-04-29 1998-11-05 Deutsche Telekom Ag Verfahren und Anordnung zur besseren Auslastung der Leistungsfähigkeit des Spracherkenners eines sprachgesteuerten Kommunikationsendgerätes
US6496107B1 (en) 1999-07-23 2002-12-17 Richard B. Himmelstein Voice-controlled vehicle control system
US6952155B2 (en) * 1999-07-23 2005-10-04 Himmelstein Richard B Voice-controlled security system with proximity detector
US8648692B2 (en) 1999-07-23 2014-02-11 Seong Sang Investments Llc Accessing an automobile with a transponder
DE19942871B4 (de) 1999-09-08 2013-11-21 Volkswagen Ag Verfahren zum Betrieb einer sprachgesteuerten Befehlseingabeeinheit in einem Kraftfahrzeug
US6587824B1 (en) * 2000-05-04 2003-07-01 Visteon Global Technologies, Inc. Selective speaker adaptation for an in-vehicle speech recognition system
US6757656B1 (en) * 2000-06-15 2004-06-29 International Business Machines Corporation System and method for concurrent presentation of multiple audio information sources
DE10040466C2 (de) 2000-08-18 2003-04-10 Bosch Gmbh Robert Verfahren zur Steuerung einer Spracheingabe und -ausgabe
KR100406307B1 (ko) * 2001-08-09 2003-11-19 삼성전자주식회사 음성등록방법 및 음성등록시스템과 이에 기초한음성인식방법 및 음성인식시스템
US6816920B2 (en) * 2002-03-20 2004-11-09 Hewlett-Packard Development Company, L.P. Method and system for managing information for a computer system
US20190362725A1 (en) 2005-08-17 2019-11-28 Tamiras Per Pte. Ltd., Llc Providing access with a portable device and voice commands
US8255123B2 (en) * 2007-06-27 2012-08-28 GM Global Technology Operations LLC Apparatus and method for positioning a movable component of a motor actuated device
EP2045140B1 (de) * 2007-10-01 2010-01-27 Harman/Becker Automotive Systems GmbH Sprachgesteuerte Einstellung von Fahrzeugteilen
US8103671B2 (en) * 2007-10-11 2012-01-24 Honda Motor Co., Ltd. Text categorization with knowledge transfer from heterogeneous datasets
JP2011503638A (ja) * 2007-10-26 2011-01-27 本田技研工業株式会社 カーナビゲーションシステムのための自由会話命令分類の改良
US9875583B2 (en) * 2015-10-19 2018-01-23 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicle operational data acquisition responsive to vehicle occupant voice inputs
US9928833B2 (en) 2016-03-17 2018-03-27 Toyota Motor Engineering & Manufacturing North America, Inc. Voice interface for a vehicle
DE102017119365B4 (de) * 2017-08-24 2022-03-03 Sino Europe Gmbh & Co. Kg Verfahren zur sprachgesteuerten Betätigung eines motorisch verstellbaren Sitz- und/oder Liegemöbels
CN109619800B (zh) * 2018-12-14 2022-06-28 深圳市丰利源节能科技有限公司 一种语音智能化妆镜

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5521035A (en) * 1978-07-31 1980-02-14 Tokyo Shibaura Electric Co Control system using voice
US4181821A (en) * 1978-10-31 1980-01-01 Bell Telephone Laboratories, Incorporated Multiple template speech recognition system
JPS5650396A (en) * 1979-10-01 1981-05-07 Tokyo Shibaura Electric Co Sound input device
US4479197A (en) * 1980-11-25 1984-10-23 Hewlett-Packard Company Method and apparatus for selecting and setting the mode of operation for a mechanism

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
NICHTS-ERMITTELT

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4315210A1 (de) * 1993-05-07 1994-11-10 Dewert Antriebs Systemtech Verfahren zur Steuerung der Verstelleinrichtung eines Möbels

Also Published As

Publication number Publication date
DE3238855A1 (de) 1983-05-11
US4593403A (en) 1986-06-03
JPS6335999B2 (de) 1988-07-18
JPS5870287A (ja) 1983-04-26

Similar Documents

Publication Publication Date Title
DE3238855C2 (de) Spracherkennungseinrichtung
DE3236724C2 (de) Durch Sprache steuerbare Betätigungseinrichtung für Kraftfahrzeuge oder dergleichen
DE69117014T2 (de) Methode und Einrichtung zur Spracherkennung
EP1031456B1 (de) Verfahren und Vorrichtung zur Unterstützung eines Benutzers eines Kraftfahrzeugs bei der Bedienung von Fahrzeugkomponenten
EP1256936A2 (de) Verfahren zum Training oder zur Adaption eines Spracherkenners
EP2333768A2 (de) Vorrichtung, System und Verfahren zur Sprachdialogaktivierung und/oder -führung
WO2005022511A1 (de) Unterstützungsverfahren für sprachdialoge zur bedienung von kraftfahrzeugfunktionen
DE3235279C2 (de) Spracherkennungseinrichtung
DE102011109932B4 (de) Verfahren zum Ansteuern funktioneller Einrichtungen in einem Fahrzeug bei Sprachbefehl-Bedienung
EP0994461A2 (de) Verfahren zur automatischen Erkennung einer buchstabierten sprachlichen Äusserung
EP0747880B1 (de) Spracherkennungssystem
DE3238853A1 (de) Sprachsteuerbare betaetigungseinrichtung fuer kraftfahrzeuge
DE4009900A1 (de) Kraftfahrzeugkommunikationszentrale
EP1041362B1 (de) Eingabeverfahren in ein Fahrerinformationssystem
DE19903434A1 (de) Verfahren zur Steuerung individueller Einstellungen in einem Kraftfahrzeug
WO2018069027A1 (de) Multimodaler dialog in einem kraftfahrzeug
EP0686525B1 (de) Multifunktionseinrichtung zur Betätigung unterschiedlicher Stellglieder in einem Kraftfahrzeug und Kraftfahrzeug mit einer derartigen Multifunktionseinrichtung
DE102018009487A1 (de) Verfahren und Vorrichtung zur Einstellung einer Fahrzeugkomponente
DE102017206876A1 (de) Verfahren und Vorrichtung zur Ausgabe einer Statusmeldung in einem Kraftfahrzeug mit Sprachsteuerungssystem
DE102018215293A1 (de) Multimodale Kommunikation mit einem Fahrzeug
EP1557320B1 (de) Verfahren und Steuereinrichtung zur Bedienung technischer Einrichtungen eines Fahrzeugs
EP1610302A1 (de) Verfahren zur sprecherabhängigen Spracherkennung in einem Kraftfahrzeug
DE19962218A1 (de) Verfahren und System zum Autorisieren von Sprachbefehlen
EP1186460B1 (de) Multimediaeinheit und Verfahren zum Betrieb einer Multimediaeinheit
DE60022269T2 (de) Sprachbasiertes Manipulationsverfahren und -gerät

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
D2 Grant after examination
8364 No opposition during term of opposition
8339 Ceased/non-payment of the annual fee