DE102015213715A1 - Spracherkennungsvorrichtung und Spracherkennungsverfahren - Google Patents

Spracherkennungsvorrichtung und Spracherkennungsverfahren Download PDF

Info

Publication number
DE102015213715A1
DE102015213715A1 DE102015213715.5A DE102015213715A DE102015213715A1 DE 102015213715 A1 DE102015213715 A1 DE 102015213715A1 DE 102015213715 A DE102015213715 A DE 102015213715A DE 102015213715 A1 DE102015213715 A1 DE 102015213715A1
Authority
DE
Germany
Prior art keywords
speaker
acoustic model
speech
data
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102015213715.5A
Other languages
English (en)
Inventor
KyuSeop Bang
Chang-heon Lee
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Original Assignee
Hyundai Motor Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co filed Critical Hyundai Motor Co
Publication of DE102015213715A1 publication Critical patent/DE102015213715A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/06Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/065Adaptation
    • G10L15/07Adaptation to the speaker
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/183Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G10L15/187Phonemic context, e.g. pronunciation rules, phonotactical constraints or phoneme n-grams
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/32Multiple recognisers used in sequence or in parallel; Score combination systems therefor, e.g. voting systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/06Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063Training
    • G10L2015/0631Creating reference templates; Clustering
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Telephonic Communication Services (AREA)
  • Computer Vision & Pattern Recognition (AREA)

Abstract

Eine Spracherkennungsvorrichtung enthält Folgendes: eine Sammeleinrichtung, die Sprachdaten eines ersten Sprechers von einer sprachbasierten Vorrichtung sammelt; einen ersten Speicher, der die Sprachdaten des ersten Sprechers akkumuliert; eine Lerneinrichtung, die die in dem ersten Speicher akkumulierten Sprachdaten des ersten Sprechers lernt und ein individuelles akustisches Modell des ersten Sprechers basierend auf den gelernten Sprachdaten generiert; einen zweiten Speicher, der das individuelle akustische Modell des ersten Sprechers und ein generisches akustisches Modell speichert; eine Merkmalsvektor-Extraktionseinrichtung, die einen Merkmalsvektor aus den Sprachdaten des ersten Sprechers extrahiert, wenn eine Spracherkennungsanforderung von dem ersten Sprecher empfangen wird; und eine Spracherkennungseinrichtung, die ein Modell des individuellen akustischen Modells des ersten Sprechers und des generischen akustischen Modells basierend auf einer akkumulierten Menge der Sprachdaten des ersten Sprechers auswählt und einen Sprachbefehl unter Verwendung des extrahierten Merkmalsvektors und des ausgewählten akustischen Modells erkennt.

Description

  • QUERVERWEIS AUF VERWANDTE ANMELDUNG
  • Diese Anmeldung beansprucht die Priorität und den Nutzen der am 17. Oktober 2014 im Korean Intellectual Property Office (koreanisches Amt für geistiges Eigentum) eingereichten koreanischen Patentanmeldung Nr. 10-2014-0141167 , deren gesamter Inhalt durch Verweis hierin aufgenommen ist.
  • HINTERGRUND DER OFFENBARUNG
  • (a) Technisches Gebiet
  • Die vorliegende Offenbarung betrifft eine Spracherkennungsvorrichtung und ein Spracherkennungsverfahren.
  • (b) Beschreibung der verwandten Technik
  • Nach herkömmlichen Spracherkennungsverfahren wird eine Spracherkennung unter Verwendung eines akustischen Modells durchgeführt, das zuvor in einer Spracherkennungsvorrichtung gespeichert wurde. Das akustische Modell wird verwendet, um Spracheigenschaften eines Sprechers zu repräsentieren. Beispielsweise werden ein Phonem, ein Diphon, ein Triphon, ein Quinphon, eine Silbe und ein Wort als Grundeinheiten für das akustische Modell verwendet. Da die Anzahl an akustischen Modellen abnimmt, wenn das Phonem als das Grundmodell des akustischen Modells verwendet wird, wird ein kontextabhängiges akustisches Modell, wie beispielsweise das Diphon, Triphon oder Quinphon, vielfach verwendet, um ein Koartikulationsereignis zu reflektieren, das durch Änderungen zwischen benachbarten Phonemen verursacht wird. Eine große Datenmenge wird erfordert, um das kontextabhängige akustische Modell zu lernen.
  • Herkömmlich werden Stimmen verschiedener Sprecher, die in einem schalltoten Raum aufgezeichnet oder durch Server gesammelt werden, als Sprachdaten gespeichert und das akustische Modell wird durch Lernen der Sprachdaten generiert. Bei solch einem Verfahren ist es jedoch schwierig, eine große Menge an Sprachdaten zu sammeln und eine Spracherkennungsleistung sicherzustellen, da sich ein Ton bzw. Klang eines Sprechers, der eine Spracherkennungsfunktion tatsächlich verwendet, oft von Tönen bzw. Klängen unterscheidet, die den gesammelten Sprachdaten entsprechen. Da das akustische Modell üblicherweise durch Lernen von Sprachdaten von erwachsenen Männern generiert wird, ist es folglich schwierig, Sprachbefehle von erwachsenen Frauen, Senioren oder Kindern zu erkennen, die Tonfälle aufweisen, die sich unterscheiden.
  • Die obigen Informationen, die in diesem Hintergrund-Abschnitt offenbart sind, dienen nur zur Verbesserung des Verständnisses des Hintergrunds der Offenbarung und können daher Informationen enthalten, die nicht die verwandte Technik bilden, die jemandem mit gewöhnlichen technischen Fähigkeiten hierzulande bereits bekannt ist.
  • ZUSAMMENFASSUNG DER OFFENBARUNG
  • Die vorliegende Offenbarung erfolgte in einem Bestreben, eine Spracherkennungsvorrichtung und ein Spracherkennungsverfahren zu liefern, die Vorteile des Generierens eines individuellen akustischen Modells basierend auf Sprachdaten eines Sprechers und des Durchführens einer Spracherkennung unter Verwendung des individuellen akustischen Modells aufweisen. Ausführungsformen der vorliegenden Offenbarung können zum Erzielen anderer Aufgaben, die nicht detailliert beschrieben sind, zusätzlich zu den vorangehenden Aufgaben verwendet werden.
  • Eine Spracherkennungsvorrichtung nach Ausführungsformen der vorliegenden Offenbarung enthält Folgendes: eine Sammeleinrichtung, die Sprachdaten eines ersten Sprechers von einer sprachbasierten Vorrichtung sammelt; einen ersten Speicher, der die Sprachdaten des ersten Sprechers akkumuliert; eine Lerneinrichtung, die die in dem ersten Speicher akkumulierten Sprachdaten des ersten Sprechers lernt und ein individuelles akustisches Modell des ersten Sprechers basierend auf den gelernten Sprachdaten generiert; einen zweiten Speicher, der das individuelle akustische Modell des ersten Sprechers und ein generisches akustisches Modell speichert; eine Merkmalsvektor-Extraktionseinrichtung, die einen Merkmalsvektor aus den Sprachdaten des ersten Sprechers extrahiert, wenn eine Spracherkennungsanforderung von dem ersten Sprecher empfangen wird; und eine Spracherkennungseinrichtung, die ein Modell des individuellen akustischen Modells des ersten Sprechers und des generischen akustischen Modells basierend auf einer akkumulierten Menge der Sprachdaten des ersten Sprechers auswählt und einen Sprachbefehl unter Verwendung des extrahierten Merkmalsvektors und des ausgewählten akustischen Modells erkennt.
  • Die Spracherkennungsvorrichtung kann ferner einen Vorprozessor enthalten, der ein Rauschen in den Sprachdaten des ersten Sprechers erfasst und beseitigt.
  • Die Spracherkennungseinrichtung kann das individuelle akustische Modell des ersten Sprechers auswählen, wenn die akkumulierte Menge der Sprachdaten des ersten Sprechers größer als ein vorbestimmter Schwellenwert oder gleich demselben ist, und das generische akustische Modell auswählen, wenn die akkumulierte Menge der Sprachdaten des ersten Sprechers geringer als der vorbestimmte Schwellenwert ist.
  • Die Sammeleinrichtung kann Sprachdaten einer Vielzahl von Sprechern einschließlich des ersten Sprechers sammeln und der erste Speicher kann die Sprachdaten für jeden Sprecher der Vielzahl von Sprechern akkumulieren.
  • Die Lerneinrichtung kann die Sprachdaten der Vielzahl von Sprechern lernen und individuelle akustische Modelle für jeden Sprecher basierend auf den gelernten Sprachdaten der Vielzahl von Sprechern generieren.
  • Die Lerneinrichtung kann die Sprachdaten der Vielzahl von Sprechern lernen und das generische akustische Modell basierend auf den gelernten Sprachdaten der Vielzahl von Sprechern aktualisieren.
  • Die Spracherkennungsvorrichtung kann ferner einen Erkennungsergebnisprozessor enthalten, der eine Funktion ausführt, die dem erkannten Sprachbefehl entspricht.
  • Nach Ausführungsformen der vorliegenden Offenbarung enthält ein Spracherkennungsverfahren des Weiteren Folgendes: Sammeln von Sprachdaten eines ersten Sprechers von einer sprachbasierten Vorrichtung; Akkumulieren der Sprachdaten des ersten Sprechers in einem ersten Speicher; Lernen der akkumulierten Sprachdaten des ersten Sprechers; Generieren eines individuellen akustischen Modells des ersten Sprechers basierend auf den gelernten Sprachdaten; Speichern des individuellen akustischen Modells des ersten Sprechers und eines generischen akustischen Modells in einem zweiten Speicher; Extrahieren eines Merkmalsvektors aus den Sprachdaten des ersten Sprechers, wenn eine Spracherkennungsanforderung von dem ersten Sprecher empfangen wird; Auswählen eines Modells des individuellen akustischen Modells des ersten Sprechers und des generischen akustischen Modells basierend auf einer akkumulierten Menge der Sprachdaten des ersten Sprechers; und Erkennen eines Sprachbefehls unter Verwendung des extrahierten Merkmalsvektors und des ausgewählten akustischen Modells.
  • Das Spracherkennungsverfahren kann ferner das Erfassen und Beseitigen eines Rauschens in den Sprachdaten des ersten Sprechers enthalten.
  • Das Spracherkennungsverfahren kann ferner das Vergleichen einer akkumulierten Menge der Sprachdaten des ersten Sprechers mit einem vorbestimmten Schwellenwert; Auswählen des individuellen akustischen Modells des ersten Sprechers, wenn die akkumulierte Menge der Sprachdaten des ersten Sprechers größer als der vorbestimmte Schwellenwert oder gleich demselben ist; und Auswählen des generischen akustischen Modells, wenn die akkumulierte Menge der Sprachdaten des ersten Sprechers geringer als der vorbestimmte Schwellenwert ist, enthalten.
  • Das Spracherkennungsverfahren kann ferner das Sammeln von Sprachdaten einer Vielzahl von Sprechern einschließlich des ersten Sprechers und Akkumulieren der Sprachdaten für jeden Sprecher der Vielzahl von Sprechern in dem ersten Speicher enthalten.
  • Das Spracherkennungsverfahren kann ferner das Lernen der Sprachdaten der Vielzahl von Sprechern und Generieren von individuellen akustischen Modellen für jeden Sprecher basierend auf den gelernten Sprachdaten der Vielzahl von Sprechern enthalten.
  • Das Spracherkennungsverfahren kann ferner das Lernen der Sprachdaten der Vielzahl von Sprechern und Aktualisieren des generischen akustischen Modells basierend auf den gelernten Sprachdaten der Vielzahl von Sprechern enthalten.
  • Das Spracherkennungsverfahren kann ferner das Ausführen einer Funktion, die dem erkannten Sprachbefehl entspricht, enthalten.
  • Nach Ausführungsformen der vorliegenden Offenbarung enthält ein nicht-transitorisches computerlesbares Medium, das Programmbefehle zum Durchführen eines Spracherkennungsverfahrens enthält, des Weiteren Folgendes:
    Programmbefehle, die Sprachdaten eines ersten Sprechers von einer sprachbasierten Vorrichtung sammeln; Programmbefehle, die die Sprachdaten des ersten Sprechers in einem ersten Speicher akkumulieren; Programmbefehle, die die akkumulierten Sprachdaten des ersten Sprechers lernen; Programmbefehle, die ein individuelles akustisches Modell des ersten Sprechers basierend auf den gelernten Sprachdaten generieren; Programmbefehle, die das individuelle akustische Modell des ersten Sprechers und ein generisches akustisches Modell in einem zweiten Speicher speichern; Programmbefehle, die einen Merkmalsvektor aus den Sprachdaten des ersten Sprechers extrahieren, wenn eine Spracherkennungsanforderung von dem ersten Sprecher empfangen wird; Programmbefehle die ein Modell des individuellen akustischen Modells des ersten Sprechers und des generischen akustischen Modells basierend auf einer akkumulierten Menge der Sprachdaten des ersten Sprechers auswählen; und Programmbefehle, die einen Sprachbefehl unter Verwendung des extrahierten Merkmalsvektors und des ausgewählten akustischen Modells erkennen.
  • Folglich kann eine Spracherkennung unter Verwendung des individuellen akustischen Modells des Sprechers durchgeführt werden, wobei dadurch die Spracherkennungsleistung verbessert wird. Zudem können eine Zeit und Kosten zum Sammeln von Sprachdaten reduziert werden, die zum Generieren des individuellen akustischen Modells erfordert werden.
  • KURZE BESCHREIBUNG DER ZEICHNUNGEN
  • 1 ist ein Blockdiagramm einer Spracherkennungsvorrichtung nach Ausführungsformen der vorliegenden Offenbarung.
  • 2 ist ein Blockdiagramm einer Spracherkennungseinrichtung und eines zweiten Speichers nach Ausführungsformen der vorliegenden Offenbarung.
  • 3 ist ein Ablaufplan eines Spracherkennungsverfahrens nach Ausführungsformen der vorliegenden Offenbarung. <Beschreibung von Symbolen>
    110: Fahrzeug-Infotainmentsystem
    120: Telefon
    210: Sammeleinrichtung
    220: Vorprozessor
    230: Erster Speicher
    240: Lerneinrichtung
    250: Zweiter Speicher
    260: Merkmalsvektor-Extraktionseinrichtung
    270: Spracherkennungseinrichtung
    280: Erkennungsergebnisprozessor
  • DETAILLIERTE BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
  • Die vorliegende Offenbarung wird nachstehend in Bezug auf die beiliegenden Zeichnungen detailliert beschrieben werden. Wie wohl jemand mit technischen Fähigkeiten erkennt, können die beschriebenen Ausführungsformen auf viele verschiedene Weisen modifiziert werden, ganz ohne von dem Wesen oder Bereich der vorliegenden Offenbarung abzuweichen. Überall in der Beschreibung beziehen sich ferner ähnliche Bezugsnummern auf ähnliche Elemente.
  • Sofern nicht ausdrücklich gegenteilig beschrieben, werden überall in dieser Beschreibung das Wort „aufweisen“ und Variationen, wie beispielsweise „weist auf“ oder „aufweisend“, verstanden werden, den Einschluss der genannten Elemente, aber nicht den Ausschluss irgendwelcher anderer Elemente zu implizieren. Zudem bedeuten die Ausdrücke „Einheit“, „-einrichtung“ und „Modul“, die in der Beschreibung beschrieben sind, Einheiten zum Verarbeiten von zumindest einer Funktion und Operation und können durch Hardwarekomponenten oder Softwarekomponenten und Kombinationen derselben implementiert werden.
  • Überall in der Beschreibung bedeutet „Sprecher“ ein Benutzer einer sprachbasierten Vorrichtung, wie beispielsweise eine Fahrzeug-Infotainmentvorrichtung oder ein Telefon, und „Sprachdaten“ eine Stimme des Benutzers. Zudem ist klar, dass der Ausdruck „Fahrzeug“ oder „Fahrzeug-“ oder ein anderer ähnlicher Ausdruck, der hierin verwendet wird, Kraftfahrzeuge im Allgemeinen enthält, wie beispielsweise Personenkraftwagen, die Geländefahrzeuge (SUV), Busse, Lastwagen, verschiedene Geschäftswagen enthalten, Wasserfahrzeuge, die eine Vielzahl von Booten und Schiffen enthalten, Luftfahrzeuge und Ähnliches, und Hybridfahrzeuge, Elektrofahrzeuge, Plug-In-Hybridelektrofahrzeuge, Fahrzeuge mit Wasserstoffantrieb und andere Fahrzeuge mit alternativen Brennstoffen enthält (z.B. Brennstoffe, die aus anderen Rohstoffen als Erdöl gewonnen werden). Wie hierin bezeichnet, ist ein Hybridfahrzeug ein Fahrzeug, das zwei oder mehr Leistungsquellen aufweist, wie beispielsweise sowohl benzinbetriebene als auch elektrisch betriebene Fahrzeuge.
  • Zudem ist klar, dass ein oder mehrere der nachstehenden Verfahren oder Aspekte derselben durch zumindest einen Prozessor ausgeführt werden können. Der Ausdruck „Prozessor“ kann sich auf eine Hardwarevorrichtung beziehen, die in Verbindung mit einem Speicher wirkt. Der Speicher ist zum Speichern von Programmbefehlen konfiguriert und der Prozessor ist speziell zum Ausführen der Programmbefehle programmiert, um einen oder mehrere Prozesse durchzuführen, die weiter unten beschrieben sind. Zudem ist klar, dass die nachstehenden Verfahren durch ein Gerät ausgeführt werden können, das den Prozessor in Verbindung mit einer oder mehreren anderen Komponenten aufweist, wie wohl von jemandem mit gewöhnlichen Fähigkeiten in der Technik verstanden wird.
  • 1 ist ein Blockdiagramm einer Spracherkennungsvorrichtung nach Ausführungsformen der vorliegenden Offenbarung und 2 ist ein Blockdiagramm einer Spracherkennungseinrichtung und eines zweiten Speichers nach Ausführungsformen der vorliegenden Offenbarung.
  • Wie in 1 gezeigt, kann eine Spracherkennungsvorrichtung 200 mit einer sprachbasierten Vorrichtung 100 durch einen Draht oder drahtlos verbunden werden. Die sprachbasierte Vorrichtung 110 kann eine Fahrzeugs-Infotainmentvorrichtung 110, wie beispielsweise eine Audio-Video-Navigationsvorrichtung (AVN-Vorrichtung), und ein Telefon 120 enthalten. Die Spracherkennungsvorrichtung 200 kann eine Sammeleinrichtung 210, einen Vorprozessor 220, einen ersten Speicher 230, eine Lerneinrichtung 240, einen zweiten Speicher 250, eine Merkmalsvektor-Extraktionseinrichtung 260, eine Spracherkennungseinrichtung 270 und einen Erkennungsergebnisprozessor 280 enthalten.
  • Die Sammeleinrichtung 210 kann Sprachdaten eines ersten Sprechers (z.B. ein Fahrer eines Fahrzeugs) von der sprachbasierten Vorrichtung 100 sammeln. Wenn ein Account der sprachbasierten Vorrichtung 100 dem ersten Sprecher gehört, kann die Sammeleinrichtung 210 beispielsweise von der sprachbasierten Vorrichtung 100 empfangene Sprachdaten als die Sprachdaten des ersten Sprechers sammeln. Zudem kann die Sammeleinrichtung 210 Sprachdaten einer Vielzahl von Sprechern einschließlich des ersten Sprechers sammeln.
  • Der Vorprozessor 220 kann ein Rauschen in den durch die Sammeleinrichtung 210 gesammelten Sprachdaten des ersten Sprechers erfassen und beseitigen.
  • Die Sprachdaten des ersten Sprechers, bei denen das Rauschen beseitigt ist, werden in dem ersten Speicher 230 akkumuliert. Zudem kann der erste Speicher 230 die Sprachdaten der Vielzahl von Sprechern für jeden Sprecher akkumulieren.
  • Die Lerneinrichtung 240 kann die in dem ersten Speicher 230 akkumulierten Sprachdaten des ersten Sprechers lernen, um ein individuelles akustisches Modell 252 des ersten Sprechers zu generieren. Das generierte individuelle akustische Modell 252 wird in dem zweiten Speicher 250 gespeichert. Zudem kann die Lerneinrichtung 240 individuelle akustische Modelle für jeden Sprecher durch Lernen der Sprachdaten der Vielzahl von Sprechern generieren, die in dem ersten Speicher 230 akkumuliert sind.
  • Der zweite Speicher 250 speichert zuvor ein generisches akustisches Modell 254. Das generische akustische Modell 254 kann zuvor durch Lernen von Sprachdaten verschiedener Sprecher in einem schalltoten Raum generiert werden. Zudem kann die Lerneinrichtung 240 das generische akustische Modell 254 durch Lernen der Sprachdaten der Vielzahl von Sprechern aktualisieren, die in dem ersten Speicher 230 akkumuliert sind. Der zweite Speicher 250 kann ferner Kontextinformationen und ein Sprachmodell speichern, die zum Durchführen der Spracherkennung verwendet werden.
  • Wenn eine Spracherkennungsanforderung von dem ersten Sprecher empfangen wird, extrahiert die Merkmalsvektor-Extraktionseinrichtung 260 einen Merkmalsvektor aus den Sprachdaten des ersten Sprechers. Der extrahierte Merkmalsvektor wird zu der Spracherkennungseinrichtung 270 übertragen. Die Merkmalsvektor-Extraktionseinrichtung 260 kann den Merkmalsvektor unter Verwendung eines Mel-Frequency-Cepstral-Coefficient-Extraktionsverfahrens (MFCC-Extraktionsverfahren), eines Linear-Predictive-Coding-Extraktionsverfahrens (LPC-Extraktionsverfahren), eines Hochfrequenzbereich-Emphase-Extraktionsverfahrens oder eines Fensterfunktions-Extraktionsverfahrens extrahieren. Da die Verfahren zum Extrahieren des Merkmalsvektors für jemanden mit gewöhnlichen Fähigkeiten in der Technik offensichtlich sind, wird eine detaillierte Beschreibung derselben ausgelassen werden.
  • Die Spracherkennungseinrichtung 270 führt die Spracherkennung basierend auf dem Merkmalsvektor durch, der von der Merkmalsvektor-Extraktionseinrichtung 260 empfangen wird. Die Spracherkennungseinrichtung 270 kann ein Modell des individuellen akustischen Modells 252 des ersten Sprechers und des generischen akustischen Modells 254 basierend auf einer akkumulierten Menge der Sprachdaten des ersten Sprechers auswählen. Insbesondere kann die Spracherkennungseinrichtung 270 die akkumulierte Menge der Sprachdaten des ersten Sprechers mit einem vorbestimmten Schwellenwert vergleichen. Der vorbestimmte Schwellenwert kann auf einen Wert festgelegt werden, der durch eine Person mit gewöhnlichen Fähigkeiten in der Technik bestimmt wird, um zu bestimmen, ob ausreichende Sprachdaten des ersten Sprechers in dem ersten Speicher 230 akkumuliert sind.
  • Wenn die akkumulierte Menge der Sprachdaten des ersten Sprechers größer als der vorbestimmte Schwellenwert oder gleich demselben ist, wählt die Spracherkennungseinrichtung 270 das individuelle akustische Modell 252 des ersten Sprechers aus. Die Spracherkennungseinrichtung 270 erkennt einen Sprachbefehl unter Verwendung des Merkmalsvektors und des individuellen akustischen Modells 252 des ersten Sprechers. Wenn die akkumulierte Menge der Sprachdaten des ersten Sprechers geringer als der vorbestimmte Schwellenwert ist, wählt die Spracherkennungseinrichtung 270 hingegen das generische akustische Modell 254 aus. Die Spracherkennungseinrichtung 270 erkennt den Sprachbefehl unter Verwendung des Merkmalsvektors und des generischen akustischen Modells 254.
  • Der Erkennungsergebnisprozessor 280 empfängt ein Spracherkennungsergebnis (d.h. den Sprachbefehl) von der Spracherkennungseinrichtung 270. Der Erkennungsergebnisprozessor 280 kann die sprachbasierte Vorrichtung 100 basierend auf dem Spracherkennungsergebnis steuern. Beispielsweise kann der Spracherkennungsprozessor 280 eine Funktion (z.B. eine Anruffunktion oder eine Routenführungsfunktion) ausführen, die dem erkannten Sprachbefehl entspricht.
  • 3 ist ein Ablaufplan eines Spracherkennungsverfahrens nach Ausführungsformen der vorliegenden Offenbarung.
  • Die Sammeleinrichtung 210 sammelt die Sprachdaten des ersten Sprechers von der sprachbasierten Vorrichtung 100 im Schritt S11. Der Vorprozessor 220 kann das Rauschen der Sprachdaten des ersten Sprechers erfassen und beseitigen. Zudem kann die Sammeleinrichtung 210 Sprachdaten der Vielzahl von Sprechern einschließlich des ersten Sprechers sammeln.
  • Die Sprachdaten des ersten Sprechers werden in dem ersten Speicher 230 im Schritt S12 akkumuliert. Die Sprachdaten der Vielzahl von Sprechern können in dem ersten Speicher 230 für jeden Sprecher akkumuliert werden.
  • Die Lerneinrichtung 240 generiert im Schritt S13 das individuelle akustische Modell 252 des ersten Sprechers durch Lernen der in dem ersten Speicher 230 akkumulierten Sprachdaten des ersten Sprechers. Zudem kann die Lerneinrichtung 240 individuelle akustische Modelle für jeden Sprecher durch Lernen der Sprachdaten der Vielzahl von Sprechern generieren. Des Weiteren kann die Lerneinrichtung 240 das generische akustische Modell 254 durch Lernen der Sprachdaten der Vielzahl von Sprechern aktualisieren.
  • Wenn die Spracherkennungsanforderung von dem ersten Sprecher empfangen wird, extrahiert die Merkmalsvektor-Extraktionseinrichtung 260 den Merkmalsvektor aus den Sprachdaten des ersten Sprechers im Schritt S14.
  • Die Spracherkennungseinrichtung 270 vergleicht die akkumulierte Menge der Sprachdaten des ersten Sprechers mit dem vorbestimmten Schwellenwert im Schritt S15.
  • Wenn die akkumulierte Menge der Sprachdaten des ersten Sprechers größer als der vorbestimmte Schwellenwert oder gleich demselben im Schritt S15 ist, erkennt die Spracherkennungseinrichtung 270 den Sprachbefehl unter Verwendung des Merkmalsvektors und des individuellen akustischen Modells 252 des ersten Sprechers im Schritt S16.
  • Wenn die akkumulierte Menge der Sprachdaten des ersten Sprechers geringer als der vorbestimmte Schwellenwert im Schritt S15 ist, erkennt die Spracherkennungseinrichtung 270 den Sprachbefehl unter Verwendung des Merkmalsvektors und des generischen akustischen Modells 254 im Schritt S17. Danach kann der Erkennungsergebnisprozessor 280 eine Funktion ausführen, die dem Sprachbefehl entspricht.
  • Wie oben beschrieben wurde, kann nach Ausführungsformen der vorliegenden Offenbarung ein Modell des individuellen akustischen Modells und des generischen akustischen Modells basierend auf der akkumulierten Menge der Sprachdaten des Sprechers ausgewählt werden und die Spracherkennung unter Verwendung des ausgewählten akustischen Modells durchgeführt werden. Zudem kann ein kundenspezifisches akustisches Modell für den Sprecher basierend auf den akkumulierten Sprachdaten generiert werden, wobei dadurch die Spracherkennungsleistung verbessert wird.
  • Zwar wurde diese Offenbarung in Verbindung damit beschrieben, was derzeit als praktische Ausführungsformen gilt, aber es sollte klar sein, dass die Offenbarung nicht auf die offenbarten Ausführungsformen beschränkt ist, sondern im Gegenteil verschiedene Modifikationen und äquivalente Anordnungen decken soll, die innerhalb des Wesens und Bereiches der beiliegenden Ansprüche enthalten sind.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • KR 10-2014-0141167 [0001]

Claims (15)

  1. Spracherkennungsvorrichtung, aufweisend: eine Sammeleinrichtung, die Sprachdaten eines ersten Sprechers von einer sprachbasierten Vorrichtung sammelt; einen ersten Speicher, der die Sprachdaten des ersten Sprechers akkumuliert; eine Lerneinrichtung, die die in dem ersten Speicher akkumulierten Sprachdaten des ersten Sprechers lernt und ein individuelles akustisches Modell des ersten Sprechers basierend auf den gelernten Sprachdaten generiert; einen zweiten Speicher, der das individuelle akustische Modell des ersten Sprechers und ein generisches akustisches Modell speichert; eine Merkmalsvektor-Extraktionseinrichtung, die einen Merkmalsvektor aus den Sprachdaten des ersten Sprechers extrahiert, wenn eine Spracherkennungsanforderung von dem ersten Sprecher empfangen wird; und eine Spracherkennungseinrichtung, die ein Modell des individuellen akustischen Modells des ersten Sprechers und des generischen akustischen Modells basierend auf einer akkumulierten Menge der Sprachdaten des ersten Sprechers auswählt und einen Sprachbefehl unter Verwendung des extrahierten Merkmalsvektors und des ausgewählten akustischen Modells erkennt.
  2. Spracherkennungsvorrichtung nach Anspruch 1, ferner mit einem Vorprozessor, der ein Rauschen in den Sprachdaten des ersten Sprechers erfasst und beseitigt.
  3. Spracherkennungsvorrichtung nach Anspruch 1, wobei die Spracherkennungseinrichtung das individuelle akustische Modell des ersten Sprechers auswählt, wenn die akkumulierte Menge der Sprachdaten des ersten Sprechers größer als ein vorbestimmter Schwellenwert oder gleich demselben ist, und das generische akustische Modell auswählt, wenn die akkumulierte Menge der Sprachdaten des ersten Sprechers geringer als der vorbestimmte Schwellenwert ist.
  4. Spracherkennungsvorrichtung nach Anspruch 1, wobei die Sammeleinrichtung Sprachdaten einer Vielzahl von Sprechern einschließlich des ersten Sprechers sammelt und der erste Speicher die Sprachdaten für jeden Sprecher der Vielzahl von Sprechern akkumuliert.
  5. Spracherkennungsvorrichtung nach Anspruch 4, wobei die Lerneinrichtung die Sprachdaten der Vielzahl von Sprechern lernt und individuelle akustische Modelle für jeden Sprecher basierend auf den gelernten Sprachdaten der Vielzahl von Sprechern generiert.
  6. Spracherkennungsvorrichtung nach Anspruch 4, wobei die Lerneinrichtung die Sprachdaten der Vielzahl von Sprechern lernt und das generische akustische Modell basierend auf den gelernten Sprachdaten der Vielzahl von Sprechern aktualisiert.
  7. Spracherkennungsvorrichtung nach Anspruch 1, ferner mit einem Erkennungsergebnisprozessor, der eine Funktion ausführt, die dem erkannten Sprachbefehl entspricht.
  8. Spracherkennungsverfahren, aufweisend: Sammeln von Sprachdaten eines ersten Sprechers von einer sprachbasierten Vorrichtung; Akkumulieren der Sprachdaten des ersten Sprechers in einem ersten Speicher; Lernen der akkumulierten Sprachdaten des ersten Sprechers; Generieren eines individuellen akustischen Modells des ersten Sprechers basierend auf den gelernten Sprachdaten; Speichern des individuellen akustischen Modells des ersten Sprechers und eines generischen akustischen Modells in einem zweiten Speicher; Extrahieren eines Merkmalsvektors aus den Sprachdaten des ersten Sprechers, wenn eine Spracherkennungsanforderung von dem ersten Sprecher empfangen wird; Auswählen eines Modells des individuellen akustischen Modells des ersten Sprechers und des generischen akustischen Modells basierend auf einer akkumulierten Menge der Sprachdaten des ersten Sprechers; und Erkennen eines Sprachbefehls unter Verwendung des extrahierten Merkmalsvektors und des ausgewählten akustischen Modells.
  9. Spracherkennungsverfahren nach Anspruch 8, ferner mit dem Erfassen und Beseitigen eines Rauschens in den Sprachdaten des ersten Sprechers.
  10. Spracherkennungsverfahren nach Anspruch 8, ferner aufweisend: Vergleichen einer akkumulierten Menge der Sprachdaten des ersten Sprechers mit einem vorbestimmten Schwellenwert; Auswählen des individuellen akustischen Modells des ersten Sprechers, wenn die akkumulierte Menge der Sprachdaten des ersten Sprechers größer als der vorbestimmet Schwellenwert oder gleich demselben ist; und Auswählen des generischen akustischen Modells, wenn die akkumulierte Menge der Sprachdaten des ersten Sprechers geringer als der vorbestimmte Schwellenwert ist.
  11. Spracherkennungsverfahren nach Anspruch 8, ferner aufweisend: Sammeln von Sprachdaten einer Vielzahl von Sprechern einschließlich des ersten Sprechers; und Akkumulieren der Sprachdaten für jeden Sprecher der Vielzahl von Sprechern in dem ersten Speicher.
  12. Spracherkennungsverfahren nach Anspruch 11, ferner aufweisend: Lernen der Sprachdaten der Vielzahl von Sprechern; und Generieren individueller akustischer Modelle für jeden Sprecher basierend auf den gelernten Sprachdaten der Vielzahl von Sprechern.
  13. Spracherkennungsverfahren nach Anspruch 11, ferner aufweisend: Lernen der Sprachdaten der Vielzahl von Sprechern; und Aktualisieren des generischen akustischen Modells basierend auf den gelernten Sprachdaten der Vielzahl von Sprechern.
  14. Spracherkennungsverfahren nach Anspruch 8, ferner mit dem Ausführen einer Funktion, die dem erkannten Sprachbefehl entspricht.
  15. Nicht-transitorisches computerlesbares Medium mit Programmbefehlen zum Durchführen eines Spracherkennungsverfahrens, wobei das computerlesbare Medium Folgendes aufweist: Programmbefehle, die Sprachdaten eines ersten Sprechers von einer sprachbasierten Vorrichtung sammeln; Programmbefehle, die die Sprachdaten des ersten Sprechers in einem ersten Speicher akkumulieren; Programmbefehle, die die akkumulierten Sprachdaten des ersten Sprechers lernen; Programmbefehle, die ein individuelles akustisches Modell des ersten Sprechers basierend auf den gelernten Sprachdaten generieren; Programmbefehle, die das individuelle akustische Modell des ersten Sprechers und ein generisches akustisches Modell in einem zweiten Speicher speichern; Programmbefehle, die einen Merkmalsvektor aus den Sprachdaten des ersten Sprechers extrahieren, wenn eine Spracherkennungsanforderung von dem ersten Sprecher empfangen wird; Programmbefehle, die ein Modell des individuellen akustischen Modells des ersten Sprechers und des generischen akustischen Modells basierend auf einer akkumulierten Menge der Sprachdaten des ersten Sprechers auswählen; und Programmbefehle, die einen Sprachbefehl unter Verwendung des extrahierten Merkmalsvektors und des ausgewählten akustischen Modells erkennen.
DE102015213715.5A 2014-10-17 2015-07-21 Spracherkennungsvorrichtung und Spracherkennungsverfahren Pending DE102015213715A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2014-0141167 2014-10-17
KR1020140141167A KR101610151B1 (ko) 2014-10-17 2014-10-17 개인음향모델을 이용한 음성 인식장치 및 방법

Publications (1)

Publication Number Publication Date
DE102015213715A1 true DE102015213715A1 (de) 2016-04-21

Family

ID=55638192

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102015213715.5A Pending DE102015213715A1 (de) 2014-10-17 2015-07-21 Spracherkennungsvorrichtung und Spracherkennungsverfahren

Country Status (4)

Country Link
US (1) US20160111084A1 (de)
KR (1) KR101610151B1 (de)
CN (1) CN105529026B (de)
DE (1) DE102015213715A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018103188B4 (de) 2017-02-15 2022-01-05 GM Global Technology Operations LLC Verfahren zur spracherkennung in einem fahrzeug zur verbesserung der aufgabenerledigung

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6391895B2 (ja) * 2016-05-20 2018-09-19 三菱電機株式会社 音響モデル学習装置、音響モデル学習方法、音声認識装置、および音声認識方法
CN106710591A (zh) * 2016-12-13 2017-05-24 云南电网有限责任公司电力科学研究院 用于电力终端的语音客服系统
KR20180082033A (ko) 2017-01-09 2018-07-18 삼성전자주식회사 음성을 인식하는 전자 장치
CN108630193B (zh) * 2017-03-21 2020-10-02 北京嘀嘀无限科技发展有限公司 语音识别方法及装置
CN107170444A (zh) * 2017-06-15 2017-09-15 上海航空电器有限公司 航空座舱环境自适应语音特征模型训练方法
CN109102801A (zh) 2017-06-20 2018-12-28 京东方科技集团股份有限公司 语音识别方法和语音识别装置
JP6891736B2 (ja) * 2017-08-29 2021-06-18 富士通株式会社 音声処理プログラム、音声処理方法および音声処理装置
CN109559759B (zh) * 2017-09-27 2021-10-08 华硕电脑股份有限公司 具备增量注册单元的电子设备及其方法
US11182565B2 (en) 2018-02-23 2021-11-23 Samsung Electronics Co., Ltd. Method to learn personalized intents
CN108538293B (zh) * 2018-04-27 2021-05-28 海信视像科技股份有限公司 语音唤醒方法、装置及智能设备
CN108717854A (zh) * 2018-05-08 2018-10-30 哈尔滨理工大学 基于优化gfcc特征参数的说话人识别方法
KR102562227B1 (ko) * 2018-06-12 2023-08-02 현대자동차주식회사 대화 시스템, 그를 가지는 차량 및 차량의 제어 방법
US11314940B2 (en) 2018-05-22 2022-04-26 Samsung Electronics Co., Ltd. Cross domain personalized vocabulary learning in intelligent assistants
US11011162B2 (en) * 2018-06-01 2021-05-18 Soundhound, Inc. Custom acoustic models
KR102637339B1 (ko) * 2018-08-31 2024-02-16 삼성전자주식회사 음성 인식 모델을 개인화하는 방법 및 장치
CN111326141A (zh) * 2018-12-13 2020-06-23 南京硅基智能科技有限公司 一种处理获取人声数据的方法
KR102346026B1 (ko) 2019-02-11 2021-12-31 삼성전자주식회사 전자 장치 및 이의 제어 방법
CN113096646B (zh) * 2019-12-20 2022-06-07 北京世纪好未来教育科技有限公司 音频识别方法、装置、电子设备及存储介质
CN113555032B (zh) * 2020-12-22 2024-03-12 腾讯科技(深圳)有限公司 多说话人场景识别及网络训练方法、装置
KR102613698B1 (ko) * 2023-07-31 2023-12-14 주식회사 효돌 사용자 음성 데이터에 기초하여 사용자 유형화를 수행하는방법 및 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140141167A (ko) 2013-05-31 2014-12-10 국방과학연구소 함정 전투체계의 트래픽 모델링 방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1126438B1 (de) * 1998-09-09 2008-07-16 Asahi Kasei Kabushiki Kaisha Spracherkenner und spracherkennungsverfahren
US6754626B2 (en) * 2001-03-01 2004-06-22 International Business Machines Corporation Creating a hierarchical tree of language models for a dialog system based on prompt and dialog context
US6941264B2 (en) * 2001-08-16 2005-09-06 Sony Electronics Inc. Retraining and updating speech models for speech recognition
US20050004799A1 (en) * 2002-12-31 2005-01-06 Yevgenly Lyudovyk System and method for a spoken language interface to a large database of changing records
CN101281745B (zh) * 2008-05-23 2011-08-10 深圳市北科瑞声科技有限公司 一种车载语音交互系统
CN102237086A (zh) * 2010-04-28 2011-11-09 三星电子株式会社 用于语音识别设备的补偿装置和方法
CN102280106A (zh) * 2010-06-12 2011-12-14 三星电子株式会社 用于移动通信终端的语音网络搜索方法及其装置
AU2012232977A1 (en) * 2011-09-30 2013-04-18 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
CN103187053B (zh) * 2011-12-31 2016-03-30 联想(北京)有限公司 输入方法和电子设备
US9158760B2 (en) * 2012-12-21 2015-10-13 The Nielsen Company (Us), Llc Audio decoding with supplemental semantic audio recognition and report generation

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140141167A (ko) 2013-05-31 2014-12-10 국방과학연구소 함정 전투체계의 트래픽 모델링 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018103188B4 (de) 2017-02-15 2022-01-05 GM Global Technology Operations LLC Verfahren zur spracherkennung in einem fahrzeug zur verbesserung der aufgabenerledigung

Also Published As

Publication number Publication date
KR101610151B1 (ko) 2016-04-08
CN105529026A (zh) 2016-04-27
CN105529026B (zh) 2021-01-01
US20160111084A1 (en) 2016-04-21

Similar Documents

Publication Publication Date Title
DE102015213715A1 (de) Spracherkennungsvorrichtung und Spracherkennungsverfahren
DE102008024258A1 (de) Verfahren zur Klassifizierung und Entfernung unerwünschter Anteile aus einer Äußerung bei einer Spracherkennung
DE60302407T2 (de) Umgebungs- und sprecheradaptierte Spracherkennung
EP2333768A2 (de) Vorrichtung, System und Verfahren zur Sprachdialogaktivierung und/oder -führung
DE69930961T2 (de) Vorrichtung und verfahren zur sprachsegmentierung
DE102007033472A1 (de) Verfahren zur Spracherkennung
DE69819438T2 (de) Verfahren zur Spracherkennung
DE602004000716T2 (de) Rauschadaptierungssystem für ein Sprachmodell, Verfahren zur Rauschadaptierung und Programm zur Rauschadaptierung für Spracherkennung
DE102014118450A1 (de) Audiobasiertes System und Verfahren zur Klassifikation von fahrzeuginternem Kontext
DE102015214250A1 (de) Spracherkennungssystem und Spracherkennungsverfahren
EP3152753B1 (de) Assistenzsystem, das mittels spracheingaben steuerbar ist, mit einer funktionseinrichtung und mehreren spracherkennungsmodulen
WO2017157684A1 (de) Fortbewegungsmittel, system und verfahren zur anpassung einer länge einer erlaubten sprechpause im rahmen einer spracheingabe
EP1456837B1 (de) Verfahren und vorrichtung zur spracherkennung
DE112015007163B4 (de) Spracherkennungsvorrichtung, Sprachhervorhebungsvorrichtung, Spracherkennungsverfahren, Sprachhervorhebungsverfahren und Navigationssystem
WO2001086634A1 (de) Verfahren zum erzeugen einer sprachdatenbank für einen zielwortschatz zum trainieren eines spracherkennungssystems
WO2005088607A1 (de) Benutzer- und vokabularadaptive bestimmung von konfidenz- und rückweisungsschwellen
DE102005030965B4 (de) Erweiterung des dynamischen Vokabulars eines Spracherkennungssystems um weitere Voiceenrollments
DE102013222520B4 (de) Verfahren für ein sprachsystem eines fahrzeugs
EP1400951B1 (de) Verfahren zur rechnergestützten Spracherkennung, Spracherkennungssystem und Steuereinrichtung zum Steuern eines technischen Systems und Telekommunikationsgerät
DE102008024257A1 (de) Verfahren zur Sprecheridentifikation bei einer Spracherkennung
DE102008062923A1 (de) Verfahren und Vorrichtung zur Erzeugung einer Trefferliste bei einer automatischen Spracherkennung
DE10308611A1 (de) Ermittlung der Verwechslungsgefahr von Vokabulareinträgen bei der phonembasierten Spracherkennung
DE10302101A1 (de) Verfahren und Vorrichtung zum Trainieren eines Hidden Markov Modells, Computerprogramm-Element und Computerlesbares Speichermedium
DE102013216427B4 (de) Vorrichtung und Verfahren zur fortbewegungsmittelbasierten Sprachverarbeitung
DE112018006597T5 (de) Sprachverarbeitungsvorrichtung und Sprachverarbeitungsverfahren

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G10L0015220000

Ipc: G10L0015070000

R016 Response to examination communication