EP1649450A1 - Verfahren zur spracherkennung und kommunikationsger t - Google Patents

Verfahren zur spracherkennung und kommunikationsger t

Info

Publication number
EP1649450A1
EP1649450A1 EP04741506A EP04741506A EP1649450A1 EP 1649450 A1 EP1649450 A1 EP 1649450A1 EP 04741506 A EP04741506 A EP 04741506A EP 04741506 A EP04741506 A EP 04741506A EP 1649450 A1 EP1649450 A1 EP 1649450A1
Authority
EP
European Patent Office
Prior art keywords
speech
language
speaker
dependent
feature vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP04741506A
Other languages
English (en)
French (fr)
Inventor
Tim Fingscheidt
Sorel Stan
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of EP1649450A1 publication Critical patent/EP1649450A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/14—Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
    • G10L15/142—Hidden Markov Models [HMMs]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Definitions

  • the invention relates to a speech recognition method and to a communication device, in particular a mobile telephone or a portable computer with a speech recognition device.
  • Communication devices such as mobile phones or portable computers, have been undergoing progressive miniaturization in recent years to facilitate on-the-go use.
  • this progressive miniaturization in addition to better portability, entails considerable problems with regard to the convenience of operation. Due to the smaller compared to previous communication device housing surface, it is no longer possible to provide them with a number of keys corresponding to the functional range of the devices.
  • Some communication devices therefore offer voice-independent voice control.
  • the user inputs voice commands such as "dialing", “phonebook”, “emergency call”, “rejecting” or “accepting”, for example.
  • the telephone application associated with these command words can be used by a user immediately in the appropriate manner, without having himself previously trained the system with this vocabulary.
  • vocabulary vocabulary samples have been collected in a database by many different people, who form a representative cross section of the user circle of the speech recognition system. To ensure that a representative cross-section exists, care is taken to select people for different dialects, ages and gender. With the aid of a so-called "cluster method", for example an iterative algorithm, similar speech samples are combined in groups or in so-called clusters.
  • the groups or clusters are each assigned a phoneme, a phoneme cluster, or possibly a whole word. Thus, within each group or each cluster are several typical representatives of the phoneme, the phoneme cluster or a whole
  • Word in the form of corresponding model vectors. In this way, the speech of many different people is captured by a few representatives.
  • a speaker-dependent speech recognition system is optimized for the respective user, as it is trained on the voice of the first user uss. This is called “Einsagen” or “Say-in” or training. It is used to create a feature vector sequence from at least one feature vector.
  • Such a system in which speaker-dependent and speech-dependent speech recognition are used in combination, is in operation in FIG. in speech recognition.
  • a speech signal SS is temporally subdivided into frames F (framing) and preprocessing PP.
  • F fraing
  • preprocessing PP it undergoes a Fourier transformation.
  • LDA-L linear discriminant analysis
  • a dimensionally reduced feature vector F_S is ensteht. Since the dimension reduction LDA-L is carried out in a language-specific manner, the resulting dimension-reduced feature vector is also language-specific.
  • a speaker-independent speech recognition HMM-SI is performed on the basis of a monolinguistic speech resource HMM-L.
  • a speaker-dependent speech recognition SD is performed on the basis of the feature vector F_IS.
  • the distances D between the relevant dimension-reduced feature vector F_S and the model vectors present in the language resource HMM-L are calculated.
  • an assignment to a model vector or the determination takes place in operation an assignment of a feature vector sequence to a model vector sequence.
  • the in oration on the allowed model vector sequences is present in the speaker-independent vocabulary VOC-SI-L, which was created by the manufacturer or manufacturer.
  • Algorithm is the appropriate assignment or sequence of model vectors based on the distance calculation using the vocabulary VOC-SI-L determined.
  • the result R results in a command word assigned to the model vectors.
  • the additionally provided speaker-dependent speech recognition SD can, for example, be based on "Dynamic Time Warping" (dynamic time bending) DTW or neural networks, ie correlation-based or pattern matching methods, or other measures known to the person skilled in the art.
  • speaker-dependent and speaker-independent speech recognition can not be mixed, i. it must be known before the speech recognition, whether a speaker-dependent or speaker-independent speech recognition takes place.
  • speaker-dependent vocabulary is also created based on the language resource HMM-L1, namely by distance calculation D to the model vectors present therein, speaker-dependent vocabulary VOC-SD-Ll and speaker-independent vocabulary VOC-SI-Ll. Can be used in the system shown in FIG in the language L1, thereby eliminating the problem of mixing that occurs in the system of FIG.
  • a speech signal for example a word or a sentence, consists of at least one acoustic unit. Under acoustic unit, one or more syllables, phonemes, a group of phonemes, word segments, or in the case of a Sat
  • This Spachsignal is first broken down into periods.
  • the speech signal in each time segment can be described by a feature vector.
  • a feature vector sequence is first formed. In this case, only one feature vector can occur in the sequence. In general, the number of feature vectors in the feature vector sequence may be determined by the length, e.g. of the control command or else the time segments or time frames.
  • model vector sequence For speech recognition, for example, as described above, meaningful units of a language are modeled by means of model vectors.
  • a set of model vectors is contained in a language resource, that is, for example, the representation of a particular language for purposes of speech recognition with the model vectors.
  • a language resource can also represent the representation or the "operating mode" of a particular language in a defined environment, for example in a motor vehicle. For example, the environment sets the ambient volume.
  • the assignment or assignment information of a feature vector sequence which is generated for example by a say-in or training, is stored to a model vector sequence.
  • the storage is done for example in a so-called vocabulary.
  • speech recognition is performed using a speech resource.
  • a language resource
  • ce also at least includes transition probabilities between two model vectors.
  • the core of the invention is now also to store the feature vector sequence itself and not just the assignment of this feature vector sequence to a sequence of model vectors. This has the advantage that when switching the language resource, i. For example, when switching to another language, not the voice signal from which the feature vector sequence is formed, must be resumed. This is also possible if speaker-dependent and speaker-independent systems are used in parallel.
  • the feature vector sequence can be reduced in terms of its dimensions when assigned to a model vector sequence. This reduction can be carried out for example by means of a linear discriminant analysis. Making a reduction has the advantage that the model vectors can be stored even in the reduced dimension and thus less memory space is required for a language resource. It is important that the dimension reduction of the feature vector or of the feature vector sequence takes place only during the assignment, but a non-reduced representation of the feature vector or of the feature vector sequence is retained.
  • a model vector sequence in another language resource can be assigned directly.
  • the underlying speech resource may be constructed using a so-called Hidden Markov Model (HMM), in which for each acoustic unit, at
  • HMM has the advantage that it can be used well in speaker-independent speech recognition, so that in addition to speaker-dependent commands and a broad vocabulary, which does not have to be trained by the user, can be preset.
  • a suitable communication device has at least one microphone, with which the speech signal is detected, a processor unit with which the speech signal is processed, that is, for. For example, the decomposition into time frames or the extraction of the feature vector for a time frame. Furthermore, a memory unit is provided for storing the processed voice signal and at least one voice resource. For voice recognition itself, the microphone, memory unit and voice recognition device work together.
  • FIG. 1 shows the sequence of a combined speaker-dependent and speaker-independent speech recognition according to the prior art in which speaker-dependent and speaker-independent speech recognition can not be mixed;
  • VOC-SD-L1 shows the course of a training or "say-in” in a system with a language resource HMM-L1 according to the prior art
  • the vocabulary VOC-SD-L1 created is speaker and language-dependent and may be a combination of speaker-dependent and speaker-independent Speech recognition (not shown) can be used;
  • Figure 3 shows the system shown in Figure 2 in operation, i. in speech recognition, where a combination of speaker-dependent and speaker-independent speech recognition is realized, in which both techniques can be mixed but which is language-dependent;
  • FIG. 4 shows the course of a training or "say-in" in a system according to an embodiment of the invention
  • FIG. 5 shows the sequence of a transcoding undertaken without user interaction when the language resource of user-specific vocabulary created according to FIG. 4 is changed from a first language resource L1 to a second language resource L2 according to an embodiment of the invention
  • FIG. 6 shows the embodiment shown in FIGS. 4 and 5 in operation
  • FIG. 7 shows the sequence of individual steps in the context of the temporal subdivision and preprocessing of the speech signal
  • 8 shows a communication device for carrying out a speech recognition method.
  • Each language can be divided into phonemes specific to each language.
  • Phonemes are sound components or sounds that are still differentiating in meaning. For example, a vowel is such a phoneme.
  • a phoneme can also be composed of several letters and correspond to a single sound, for example
  • speech recognition filters information about the speaker's mood, his gender, his or her voice
  • Speech rate, the variations in pitch and background noise, etc. out. This is mainly to reduce the amount of data generated during speech recognition. This is necessary insofar as the amount of data required in speech recognition is so large that it can not normally be processed in real time, in particular not by a compact arithmetic unit as found in communication devices.
  • a Fourier transform is generated in which the speech signal is separated into frequencies.
  • window functions which has values not equal to zero only in a limited time window, an increase in contrast and / or a reduction of the noise component of the speech signal is achieved.
  • a sequence of feature vectors or transcriptors is obtained which represent the time course of the speech signal.
  • the individual feature vectors can be assigned to different classes of feature vectors.
  • the classes of feature vectors each include groups of similar feature vectors.
  • the speech signal is identified, ie it is present in a phonetic transcription.
  • the phonetic transcript may be assigned a meaning content if the classes of feature vectors are associated with information about which sound is represented by feature vectors of the respective class.
  • the classes of feature vectors on their own do not yet give clear information about which sound was being spoken.
  • voice recordings are necessary, from which the classes of feature vectors are assigned individual sounds or phonemes, phoneme clusters or whole words.
  • a phoneme cluster which can also be called a phoneme segment, simultaneously combines several individual phonemes into a single unit. As a result, the total amount of data to be processed in speech recognition can also be reduced.
  • a language resource ie a set of model vectors, by means of which a specific language can be represented, is created by the manufacturer or manufacturer. Furthermore, in the case of a language resource, transition probabilities between individual model vectors are defined so that, for example, words can be formed in a language.
  • a speech signal SS is first subjected to a feature extraction FE.
  • This feature extraction generally initially comprises a subdivision into time frame or frame F (fraying) with a downstream preprocessing PP of the speech signal SS subdivided into frames.
  • This generally includes a Fourier transformation.
  • Storgerauschunterdruckung or channel compensation instead. Under channel here is understood the way from the microphone to AD converter, noise is compensated.
  • the channel may vary due to different microphones, for example in the car kit or in the mobile radio terminal itself. Even with different rooms, the channel will have different properties, since the impulse response to a sound effect is different.
  • the steps in the feature extraction FE for determining a feature vector could proceed as shown in FIG. 7:
  • the pre-processing PP takes place. This may include the following steps: filtering FI of the signal with a finite impulse response filter (FIR), formation AA of so-called “Hamming windows” around antialiasing, ie avoiding the acquisition of frequencies not actually determined achieve. Subsequently, a fast or “fast” Fourier transform FFT is performed. The result is a power spectrum or "power spectrum”, in which the power over the frequency manually selected.
  • FIR finite impulse response filter
  • the result of this process is a language-independent feature vector F_IS.
  • Sequences from at least one language-independent feature vector F_IS are stored in a collection or database FV-SD (F_IS) of speaker-dependent, language-independent feature vectors F_IS.
  • the language-independent feature vector F_IS is processed into speaker and language-dependent vocabulary.
  • LDA-Ll which is specific for a language resource (Ll)
  • LDA-Ll specific for a language resource (Ll)
  • the language-dependent feature vector F_S contains less information content due to the non-lossless data reduction in the dimension reduction. It is therefore not possible to recreate the language-independent feature vector F_IS from the language-dependent feature vector F_S.
  • LDA matrix By multiplying with an LDA matrix, a diagonalization is primarily carried out, in which the dimension of the feature vector can be reduced by choosing a suitable eigensystem of basis vectors.
  • This LDA matrix is language-specific, as the eigenvectors are different due to the differences in different languages or speech modes or locales. It is already determined at the factory. Like this matrix, e.g. based on so-called sub-phonemes and other subgroups, e.g. "d-phones", determined by averaging and corresponding weighting is known in the art and will not be explained here.
  • a language resource is a set of model vectors by means of which a language can be represented.
  • the language resource may also represent a language in a particular environment. This is used, for example, in the case of the use of communication devices in a vehicle in which due to the hands-free, there is a different noise level than in normal calls.
  • these feature vectors are first assigned to existing groups of model vectors. This assignment is done via a stand-by computation D to model vectors, e.g. can approximate a determination of the most similar model vector, wherein the model vectors are present in a monolingual HMM language resource HMM-L.
  • the assignment information between feature vector and model vector or feature vector sequences and model vector sequences is stored in a so-called vocabulary.
  • the speaker-dependent vocabulary VOC-SD-Ll for the language resource L1 is compiled via distance calculation D to model vectors from the language resource HMM-L1 and conversion D2I of the distance to assignment or index information.
  • the language-independent feature vector or the sequence of feature vectors is thus also stored, by which a control command is described. This has the principal advantage that when the language resource is switched over, the say-in need not be repeated.
  • the language-dependent dimension reduction LDA-L2 can then be performed on the basis of this language-independent vector F_IS.
  • the user switches from the language Ll to a language L2 via a user interface, or when using the car kit for a communication device, is automatically switched from the silent environment Ll to a loud environment L2.
  • Ll or L2 thus designates a language or a locale.
  • transcoding TC which is the assignment of a language-dependent feature vector F_S
  • the transcoding TC takes place offline by means of the already factory-created language resource HMM-L2. without interaction with the user, based on the language-independent feature vectors F_IS stored in the database FV-SD (F_IS).
  • F_IS language-independent feature vectors
  • the result of the transcoding is a speaker-dependent vocabulary V0C-SD-L2, which was created on the basis of the language resource HMM-L2 using the language-independent, stored-stored feature vectors.
  • the speaker-dependent vocabulary contains associations between sequences of feature vectors and model vectors.
  • FIG. 6 the speech recognition system shown in Fig. 4 during training and in Fig. 5 during transcoding is shown in operation. The same terms are again provided with the same reference numbers.
  • the language or locale L2 in which the transcoding in FIG. 5 took place is selected.
  • the distance calculation D is performed using the language resource HMM-L2 for the language or locale L2.
  • the search S now takes place on the basis of the speaker-independent vocabulary V0C-SI-L2, which corresponds to the speaker-independent vocabulary VOCSI-LI from FIG. 3 for the language environment L2, and of the speaker-dependent vocabulary VOC-SD-L2.
  • the vocabulary VOC-SI-L2 created at the same time can be written simultaneously, i. without choosing between speaker-dependent and speaker-independent speech recognition, with the speaker-dependent vocabulary VOC-SD-L2.
  • this has the advantage that speaker-dependent and speaker-independent vocabularies co-exist in such a way that it is not necessary for a speech recognition to know whether a speaker-dependent or speaker-independent command occurs, which allows the flexibility of e.g. composite command significantly increased. For example, knowing if a speaker-dependent or speaker-independent command occurs would be required if the speaker-dependent speech recognition proceeds using feature vectors and the speaker-independent based on map information.
  • a communication device which is suitable for carrying out the speech recognition described.
  • the communication device CD has at least one microphone M, with which the speech signal is detected, a processor unit CPU with which the speech signal is processed, so z. For example, the decomposition into time frames or the extraction of the feature vector for a time frame.
  • a memory unit SU is provided for storing the processed speech signal and at least one speech resource

Landscapes

  • Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Machine Translation (AREA)

Abstract

Verfahren zur sprecherabhängigen Spracherkennung mit folgenden Schritten: Erfassen eines ein Sprachkommando umfassendes Sprachsignal (SS); Zerlegung (F) des Sprachsignals (SS) in Zeitrahmen; Charakterisieren des Sprachsignals in jedem erfassten Zeitrahmen durch Bilden eines entsprechenden Merkmalsvektors (F-IS) ; Bilden einer Merkmalsvektor-Sequenz aus einem oder mehreren Merkmalsvektoren (F- IS); Abspeichern der Merkmalsvektor-Sequenz; Zuordnen der Merkmalsvektor-Sequenz zu einer Sequenz von Modellvektoren in einer Sprachressource (HMM-L), welche eine Vielzahl von Modellvektoren aufweist; Abspeichern einer Zuordnungsinformation, welche die Zuordnung der Merkmalsvektor-Sequenz zu einer Sequenz von Modellvektoren angibt; Erkennung des der Modellvektor-­Sequenz zugeordneten Sprachkommandos.

Description

Beschreibung
Verfahren zur Spracherkennung und Kommunikationsgerät Die Erfindung betrifft ein Verfahren zur Spracherkennung sowie ein Kommunikationsgerät, insbesondere ein Mobiltelefon oder einen tragbaren Computer mit einer Spracherkennungsein- richtung. Kommunikationsgeräte, wie beispielsweise Mobiltelefone oder tragbare Computer, erfuhren in den letzten Jahren eine fortschreitende Miniaturisierung, um den Gebrauch unterwegs zu erleichtern. Diese fortschreitende Miniaturisierung bringt neben der besseren Tragbarkeit andererseits erhebliche Prob- lerne hinsichtlich des Komforts der Bedienung mit sich. Aufgrund der im Vergleich zu früheren Kommunikationsgeräten kleineren Gehäuseoberfläche ist es nicht mehr möglich, diese mit einer dem Funktionsumfang der Geräte entsprechenden Anzahl von Tasten zu versehen.
Da auch die zunehmende Mehrfachbelegung von Tasten dem Bedienkomfort nicht zuträglich ist, besitzen höherwertige Kommunikationsgeräte Möglichkeiten zur Sprachsteuerung. Dies setzt Spracherkennungsmöglichkeiten im Kommunikationsgerät voraus.
Manche Kommunikationsgeräte bieten daher eine sprecherunabhängige Sprachsteuerung an. Wie bei der bekannten Kurzwahl gibt der Benutzer bei einer Sprachsteuerung hierzu bei- spielsweise Kommandowörter wie "Wählen", "Telefonbuch", "Notruf", "Zurückweisen" oder "Annehmen" ein. Die mit diesen Kommandowörtern verbundene Telefonanwendung kann von einem Benutzer unmittelbar in der entsprechenden Weise benutzt werden, ohne dass er selbst dazu vorher das System mit diesem Wortschatz trainiert hat.
Für diese sprecherunabhängige Spracherkennung sind Sprachproben des Wortschatzes von vielen verschiedenen Personen, die einen repräsentativen Querschnitt des Benutzerkreises des Spracherkennungssystems bilden, in einer Datenbank gesammelt worden. Um sicherzustellen, dass ein repräsentativer Querschnitt vorliegt, wird bei der Auswahl der Personen auf unterschiedliche Dialekte, verschiedene Altersstufen und das Geschlecht geachtet. Mit Hilfe eines sogenannten "Clusterver- fahrens", beispielsweise ein iterativer Algorithmus, werden ähnliche Sprachproben in Gruppen bzw. in sogenannten Clustern zusammengefasst. Den Gruppen bzw. den Clustern wird jeweils ein Phonem, ein Phonem-Cluster oder möglicherweise auch ein ganzes Wort zugeordnet. Damit sind innerhalb einer jeden Gruppe bzw. eines jeden Clusters mehrere typische Repräsen- tanten des Phonems, des Phonem-Clusters bzw. eines ganzen
Wortes in Form von entsprechenden Modellvektoren vorhanden. Auf diese Weise wird durch wenige Repräsentanten die Sprechweise vieler verschiedener Personen erfasst.
So komfortabel für den Benutzer auch dieses werkseitig vorbestimmte Vokabular von Kommandowörtern und eventuell auch Namen ist, es ersetzt dennoch nicht eine benutzerspezifische Anpassung, beispielsweise das Einfügen neuer Kommandos. Dies ist insbesondere bei der Namenswahl, einer besonderen Sprachsteuerung, bei der bestimmte Nummern bei Sprechen des Namens angewählt werden. Höherwertige Geräte bieten daher zusätzlich zu einer sprecherunabhängigen Sprachsteuerung auch eine sprecherabhängige Sprachsteuerung an.
Ein sprecherabhängiges Spracherkennungssystem ist auf den jeweiligen Benutzer optimiert, da es vor der ersten Nutzung auf dessen Stimme trainiert werden uss. Man spricht hierbei von "Einsagen" bzw. "Say-in" oder Training. Es dient zur Erstel- lung einer Merkmalsvektors-Sequenz aus zumindest einem Merkmalsvektor.
Ein derartiges System, bei dem sprecherabhängige und spreche- runabhängige Spracherkennung kombiniert eingesetzt werden ist in Figur 1 im Betrieb, d.h. bei der Spracherkennung, zu se- hen. Im Rahmen einer Merkmalsextraktion FE wird ein Sprachsignal SS in Zeitrahmen bzw. Rahmen zeitlich unterteilt F (Framing) und einer Vorverarbeitung PP unterzogen. Ein Zeitrahmen kann mit einem Laut zusammenfallen oder mehrere Laute aufweisen. Ebenso kann ein Laut erst durch mehrere Zeitrahmen gebildet werden. Im Rahmen der Vorverarbeitung PP wird es einer Fouriertransformation unterzogen.
Ergebnis dieser Transformationen sowie weiterer Vorverarbeitungsschritte ist ein Merkmalsvektor F_IS, der einer Dimensi- onreduktion mittels einer linearen Diskriminanten-Analyse
LDA-L (Linear Discri inant Analysis) unterzogen wird, so dass ein dimensionsreduzierter Merkmalsvektor F_S ensteht. Da die Dimensionsreduktion LDA-L sprachenspezifisch durchgeführt wird, ist auch der dadurch erstellte dimensionsreduzierte Merkmalsvektor sprachenspezifisch. Ausgehend von diesem dimensionsreduzierten Merkmalsvektor F_S wird eine sprecherunabhängige Spracherkennung HMM-SI auf Basis einer monolingua- len Sprachressource HMM-L durchgeführt. Alternativ wird eine sprecherabhängige Spracherkennung SD ausgehend von dem Merk- malsvektor F_IS durchgeführt.
Für die sprecherunabhängige Spracherkennung HMM-SI werden die Abstände D zwischen dem betreffenden dimensionsreduzierten Merkmalsvektor F_S und den Modellvektoren, die in der Sprachressource HMM-L vorliegen, berechnet.Auf Basis dieser Abstandsberechnung erfolgt im Betrieb die Ermittlung einer Zuordnung zu einem Modellvektor bzw. die Ermittlung einer Zuordnung einer Merkmalsvektor-Sequenz zu einer Modellvektor- Sequenz . Die In ormation über die erlaubten Modellvektor- Sequenzen liegt in dem sprecherunabhängige Vokabular VOC-SI-L vor, das werkseitig bzw. herstellerseitig erstellt wurde. Bei einer Suche S unter Verwendung z.B. eines Trellis-
Algorithmus wird die geeigneten Zuordnung bzw. Sequenz von Modellvektoren ausgehend von der Abstandsberechung unter Zuhilfenahme des Vokabulars VOC-SI-L ermittelt. Bei der Suche S ergibt sich als Ergebnis R ein den Modellvektoren zugeordne- tes Kommandowort.
Die zusätzlich vorgesehene sprecherabhängige Spracherkennung SD kann beispielsweise auf Basis von "Dynamic Time Warping" (Dynamisce Zeitverbiegung) DTW oder neuronalen Netzwerken er- folgen, also korrelationsbasierte oder Mustervergleichsver- fahren, oder weiteren dem Fachmann bekannten Maßnahmen.
Nachteilig daran ist, dass bei dem in Fig. 1 gezeigten System sprecherabhängige und sprecherunabhängige Spracherkennung nicht gemischt werden können, d.h. es muss vor der Spracherkennung bekannt sein, ob eine sprecherabhängige oder sprecherunabhängige Spracherkennung erfolgt.
Zum Ermöglichen des Mischens wurde vorgeschlagen, bei einer sprecherunabhängigen Spracherkennung HMM-SI auch sprecherabhängiges Vokabular VOC-SD-Ll zu erstellen. Dies ist in Fig. 2 im Rahmen des Trainings bzw. des Say-Ins bei einem derartigen System gezeigt. Bei Fig. 2 sind Objekte oder Verfahrensschritte, die bereits in Fig. 1 auftauchen, mit gleichen Be- zugszeichen versehen.
Dabei wird ausgehend von dem dimensionsreduzierten Merkmalsvektor F_S eine Abstandsberechnung D zu Modellvektoren, die in einer Sprachressource HMM-Ll vorliegen, durchgeführt. Es erfolgt eine Konvertierung D2I dieses Abstandes zu einem Index bzw. zu einer Zuordnungsinformation. Diese Zuordnungsinformation stellt auch das - in diesem Fall - sprecherabhängige Vokabular VOC-SD-Ll dar. In Fig. 3 ist nun das in Fig. 2 im Training gezeigte System im Betrieb gezeigt, das heisst bei der Spracherkennung. Glei
ehe Objekte oder Verfahrensschritte sind hierbei wiederum mit gleichen Bezugszeichen versehen.
Da auch dieses sprecherabhangige Vokabular basierend auf der Sprachressource HMM-Ll, nämlich durch Abstandsberechnung D zu den darin vorliegenden Modellvektoren, erstellt ist, können bei dem in Fig. 3 gezeigten System sprecherabhangiges Vokabular VOC-SD-Ll und sprecherunabhangiges Vokabular VOC-SI-Ll in der Sprache Ll gemischt werden, wodurch das Problem des Mi- schens, das bei dem System in Fig. 1 auftritt, beseitigt ist.
Nachteilig daran ist, dass das System nun aufgrund der Verwendung der Sprachressource HMM-Ll zur Erstellung des Vokabu- lars sprachenabhangig ist, da die Sprachressource HMM-Ll eine bestimmte Sprache oder Sprachumgebung repräsentiert, in Bezug auf die die Zuordnungsinformation abgespeichert wird.
Ausgehend von diesem Stand der Technik ist es Aufgabe der vorliegenden Erfindung, eine Alternative zu diesen Verfahren zu schaffen, die die Nachteile der vorgestellten Systeme beseitigt. Insbesondere ist es Aufgabe der vorliegenden Erfindung, ein Verfahren zur Spracherkennung bzw. ein Kommunikati- onsgerat mit einer Spracherkennungseinrichtung anzugeben, bei dem sprecherabhangige und sprecherunabhangige Sprachsteuerung benutzerfreundlich kombiniert angewandt werden kann.
Diese Aufgabe wird durch ein Verfahren gemäß dem unabh ngigen Anspruch 1 und ein Kommunikationsgerat gemäß dem Anspruch 11 gelost. Weiterbildungen sind Gegenstand der abhangigen Ansprüche .
Ein Sprachsignal, also beispielsweise ein Wort oder ein Satz, besteht aus zumindest einer akustischen Einheit. Unter akus- tischer Einheit können eine oder mehrere Silben, Phoneme, eine Gruppe von Phonemen, Wortsegmente oder im Falle eines Sat
zes auch ein Wort verstanden sein. Dieses Spachsignal wird zunächst in Zeitabschnitte zerlegt.
Das Sprachsignal in jedem Zeitabschnitt lässt sich durch ei- nen Merkmalsvektor beschreiben.
Da im allgemeinen sinntragende Einheiten, d.h. z. B. Steuerbefehle bzw. Kommandowörter, erst durch das Aneinanderreihen mehrerer Sprachrahmen entstehen, wird zunächst eine Merkmals- vektor-Sequenz gebildet. Es kann hierbei auch nur ein Merkmalsvektor in der Sequenz auftreten. Generell kann die Anzahl der Merkmalsvektoren in der Merkmalsvektor-Sequenz durch die Länge z.B. des Steuerbefehls oder auch der Zeitabschnitte bzw. Zeitrahmen bedingt sein.
Die Merkmalsvektor-Sequenz wird nun einer Modellvektor- Sequenz zugeordnet. Zur Spracherkennung werden beispielsweise wie eingangs beschrieben, sinntragende Einheiten einer Sprache mittels Modellvektoren modelliert. Eine Menge von Modell- vektoren ist in einer Sprachressource enthalten, das ist also z.B die Darstellung einer bestimmten Sprache zum Zwecke der Spracherkennung mit den Modellvektoren. Ebenso kann eine Sprachenressource auch die Darstellung bzw. den "Betriebsmo- dus" einer bestimmten Sprache in einer festgelegten Umgebung, beispielsweise in einem Kraftfahrzeug darstellen. Durch die Umgebung wird beispielsweise die Umgebungslautstärke festgelegt.
Zur Spracherkennung in einer bestimmten Sprachressource wird die Zuordnung bzw. Zuordnungsinformation einer Merkmalsvektor-Sequenz, welche beispielsweise durch ein Say-In bzw. Training erzeugt wird, zu einer Modellvektor-Sequenz abgespeichert. Die Abspeicherung erfolgt beispielsweise in einem sogenannten Vokabular.
Mittels der Modellvektor-Sequenz erfolgt unter Verwendung einer Sprachressource die Spracherkennung. Eine Sprac ressour
ce beinhaltet neben einer Menge von Modellvektoren zumindest auch noch Übergangswahrscheinlichkeiten zwischen zwei Modellvektoren. Kern der Erfindung ist es nun, auch die Merkmalsvektor- Sequenz selbst abzuspeichern und nicht nur die Zuordnung dieser Merkmalsvektor-Sequenz zu einer Sequenz von Modellvektoren. Dies hat den Vorteil, dass beim Umstellen der Sprachressource, d.h. beispielsweise beim Umstellen in eine andere Sprache, nicht das Sprachsignal, aus welchem die Merkmalsvektor- Sequenz gebildet wird, erneut aufgenommen werden muss. Dies ist auch möglich, wenn sprecherabhängige und sprecherunabhän- gige Systeme parallel verwendet werden.
Zur Reduzierung des erforderlichen Speicherplatzes kann die Merkmalsvektor-Sequenz bei ihrer Zuordnung zu einer Modellvektor-Sequenz hinsichtlich ihrer Dimensionen reduziert wer- den. Diese Reduktion kann beispielsweise mittels einer linearen Diskriminanten-Analyse vorgenommen werden. Das Vornehmen einer Reduktion hat den Vorteil, dass die Modellvektoren selbst in der reduzierten Dimension abgespeichert werden können und somit für eine Sprachenressource we- niger Speicherplatz benötigt wird. Es ist wichtig, dass die Dimensionsreduktion des Merkmalsvektors bzw. der Merkmalsvektor-Sequenz erst im Rahmen der Zuordnung erfolgt, eine nichtreduzierte Darstellung des Merkmalsvektors bzw. der Merkmalsvektor-Sequenz aber erhalten bleibt.
Vorzugsweise kann so bei einem Umstellen der Sprachressource der Merkmalsvektor-Sequenz unmittelbar eine Modellvektor- Sequenz in einer anderen Sprachressource zugeordnet werden. Die zugrundeliegende Sprachressource kann insbesondere unter Verwendung eines sogenannten Hidden-Markov Modell (HMM) erstellt werden, bei dem für jede akustische Einheit, bei
spielsweise ein Phonem , Übergangswahrscheinlichkeiten zur nächsten Einheit bei der Bildung z.B. eines Wortes zugrundegelegt werden. Ein HMM hat den Vorteil, dass es sich gut bei der sprecherunabhängigen Spracherkennung einsetzen lässt, so dass etwa zusätzlich zu sprecherabhängigen Befehlen auch ein breiter Wortschatz, der nicht vom Benutzer selbst trainiert werden muss, voreingestellt sein kann.
Besondere Vorteile ergeben sich auch bei einer Kombination einer derartigen sprecherabhängigen Spracherkennung mit einer sprecherunabhängigen Spracherkennung. Auf Basis einer Sequenz der abgespeicherten sprecherabhängigen und sprachenunabhängigen Merkmalsvektoren kann eine Zuordnung zwischen Merkmalsvektor-Sequenz und Modellvektor-Sequenz erfolgen. Diese Zu- Ordnung kann gemeinsam mit anderen Zuordnungen, die beispielsweise im Rahmen der sprecherunabhängige Spracherkennung schon für den Benutzer voreingestellt vorhanden sind. Das heisst nun, dass die Spracherkennung auf eine gemeinsame Menge von Zuordnungen bzw. ein gemeinsames "Vokabular" zurück- greift, so dass nicht zwischen verschiedenen Sprache-rkennun- gen gewechselt wird.
Dies hat insbesondere den Vorteil, dass es nicht von vorne- herein bekannt sein muss, ob es sich um sprecherunabhängige oder sprecherabhängige Sprachkommandos handelt, weil z.B. eine davon abhängige Spracherkennung ansetzt .
Ein geeignetes Kommunikationsgerät weist zumindest ein Mikrofon auf, mit dem das Sprachsignal erfasst wird, eine Prozes- soreinheit mit dem das Sprachsignal verarbeitet wird, also z. B. die Zerlegung in Zeitrahmen oder die Extraktion des Merkmalsvektors für einen Zeitrahmen. Weiterhin ist eine Speichereinheit zum Abspeichern der verarbeiteten Sprachsignals sowie zumindest einer Sprachressource vorgesehen. Zur Sprach- erkennung selbst wirken Mikrofon, Speichereinheit und Sprach- erkennungseinrichtung zusammen.
Weitere Vorteile der Erfindung werden anhand von ausgewählten Ausführungsformen näher erläutert, die auch in Figuren dargestellt sind. Es zeigen: Figur 1 Den Ablauf einer kombinierten sprecherabhängigen und sprecherunabhängigen Spracherkennung gemäß dem Stand der Technik, bei der sprecherabhängige und sprecherunabhängige Spracherkennung nicht gemischt werden kann;
Figur 2 den Ablauf eines Training bzw. „Say-In" bei einem System mit einer Sprachressource HMM-Ll gemäß dem Stand der Technik. Das erstellte Vokabular VOC-SD- Ll ist Sprecher- und sprachenabhängig und kann in einer Kombination von sprecherabhängiger und sprecherunabhängiger Spracherkennung (nicht dargestellt) verwendet werden;
Figur 3 das in Fig.2 gezeigte System im Betrieb, d.h. bei der Spracherkennung, bei dem eine Kombination von sprecherabhängiger und sprecherunabhängiger Spracherkennung realisiert ist, bei der beide Techniken gemischt werden können, die aber sprachenabhängig ist;
Figur 4 den Ablauf eines Trainings bzw. "Say-In" bei einem System gemäß einer Ausführungsform der Erfindung;
Figur 5 den Ablauf eines ohne Interaktion des Benutzers vorgenommenes Transcoding beim Umstellen der Sprachressource von gemäß Fig. 4 erstellten benutzerspezifischen Vokabular von einer ersten Sprachressource Ll in eine zweite Sprachressource L2 gemäß einer Ausführungsform der Erfindung;
Figur 6 die in Fig. 4 und Fig. 5 gezeigte Ausführungsform im Betrieb;
Figur 7 Den Ablauf einzelner Schritte im Rahmen der zeitlichen Unterteilung und Vorprozessierung des Sprachsignals; Fig. 8 ein Kommunikationsgerät zur Durchführung eines Spracherkennungsverfahrens .
Zum besseren Verständnis sollen zunächst einige grundlegende Begriffe erklärt werden. Jede Sprache lässt sich in für die jeweilige Sprache spezifische Phoneme aufteilen. Phoneme sind Lautbausteine oder Laute, die noch bedeutungsdifferenzierend sind. Beispielsweise ist ein Vokal ein solches Phonem. Ein Phonem kann aber auch aus mehreren Buchstaben zusammengesetzt sein und einem einzigen Laut entsprechen, beispielsweise
"seh" oder "ch". Aufgrund der Unterschiede zwischen Orthographie und Aussprache können daher Buchstaben nicht automatisch mit Phonemen gleichgesetzt werden. Im Deutschen kann beispielsweise der Buchstabe "a" lang, wie etwa in dem Wort "Ha- se", oder kurz, wie in dem Wort "Hass" ausgesprochen werden. Es handelt sich hierbei zwar um gleiche Buchstaben, aber um unterschiedliche Phoneme. Aufgrund der unterschiedlichen Aussprachen, kann ein Phonem in einer Sprache nicht automatisch mit einem Phonem in einer anderen Sprache gleichgesetzt wer- den.
Nun soll der prinzipielle Ablauf einer Spracherkennung auf Basis einer phonembasierten Spracherkennung erläutert werden.
Wie bereits vorher erwähnt, gibt es auch Spracherkennungen, die nicht auf Phonemen, sondern etwa auf Wörtern oder auf Segmenten von Wörtern basieren. Bei der phonembasierten Spracherkennung wird nun zur Analyse des eintreffenden Datenstroms das Sprachsignal in kurze Zeitfenster, sogenannte Rahmen, unterteilt, welche ein Länge von
beispielsweise 10 oder 20 Millisekunden besitzen. Anschließend werden ausschließlich diejenigen Elemente berechnet bzw. extrahiert, die für eine Interpretation des Gesprochenen notwendig sind. So filtert die Spracherkennung etwa Informatio- nen über die Stimmung des Sprechers, sein Geschlecht, die
Sprechgeschwindigkeit, die Schwankungen in Stimmlage und Hintergrundgeräusche, etc. heraus. Dies dient hauptsächlich dazu, die bei der Spracherkennung anfallende Datenmenge zu reduzieren. Dies ist insofern erforderlich, da die bei der Spracherkennung anfallende Datenmenge so groß ist, dass sie normalerweise nicht in Echtzeit, insbesondere nicht von einer kompakten Recheneinheit, wie sie in Kommunikationsgeräten zu finden ist, abgearbeitet werden kann. Aus dem insoweit extrahierten Sprach- bzw. Schallsignal wird eine Fouriertransformierte erzeugt, bei der das Sprachsignal nach Frequenzen zerlegt ist. Durch eine Verkettung der Fou- riertransformierten mit wenigstens einer von gegebenenfalls mehreren möglichen Fensterfunktionen, welche nur in einem be- grenzten Zeitfenster Werte ungleich Null aufweist, wird eine Steigerung im Kontrast und/oder eine Verringerung des Rauschanteils des Sprachsignals erreicht. Als Ergebnis wird eine Folge von Merkmalsvektoren bzw. Transkriptoren erhalten, die den zeitlichen Verlauf des Sprachsignals darstellen.
Die einzelnen Merkmals ektoren lassen sich verschiedenen Klassen von Merkmalsvektoren zuordnen. Die Klassen von Merkmalsvektoren umfassen jeweils Gruppen von ähnlichen Merkmalsvektoren. Durch die Zuordnung der Merkmalsvektoren zu den einzelnen Klassen von Merkmalsvektoren wird das Sprachsignal identifiziert, d.h. es liegt in einer phonetischen Umschrift vor. Der phonetischen Umschrift kann ein Bedeutungsinhalt zugewiesen werden, wenn den Klassen von Merkmalsvektoren eine Information darüber zugeordnet ist, welcher Laut durch die betreffende Klasse von Merkmalsvektoren repräsentiert ist.
Die Klassen von Merkmalsvektoren für sich alleine geben noch keine eindeutige Information darüber, welcher Laut gerade gesprochen wurde. Damit die Klassen von Merkmalsvektoren solche Laut-Informationen wiedergeben, sind Sprachaufnahmen nötig, aus denen heraus den Klassen von Merkmalsvektoren einzelne Laute bzw. Phoneme, Phonem-Cluster oder ganze Wörter zugeordnet werden. Ein Phonem-Cluster, der auch als ein Phonem- Segment bezeichnet werden kann, fasst gleichzeitig mehrere einzelne Phoneme zu einer Einheit zusammen. Dadurch kann die insgesamt bei der Spracherkennung zu verarbeitende Datenmenge ebenfalls reduziert werden.
Die bisherigen Schritte bei der Spracherkennung dienten hauptsächlich der Datenreduktion und -aufbereitung. Nun er- folgt die Umwandlung in Bedeutungsinhalte bzw. Text. Eine Erkennungsroutine erzeugt hierbei die wahrscheinlichsten Wortketten. Als Berechnungsgrundlage für diese Wahrscheinlichkeit verwenden die meisten Spracherkenner heute eine Sprachressource, die unter Verwendung eines sogenannte "Hidden-Markov- Modell" oder HMM erstellt wird. Dieses Modell soll die
Schwierigkeit überwinden, dass einzelne Sprecher Wörter oder einzelne Silben unterschiedlich lang aussprechen oder sogar verbinden. Eine derartige zeitliche Verzerrung ist mit keiner Funktion exakt zu beschreiben, weshalb hier dieses Modell verwendet wird, das Wörter trotz ihrer Vielsprachemöglichkei- ten erkennt. Vereinfacht gesagt werden Übergangswahrscheinlichkeiten zwischen einzelnen Phonemen mit einem sogenannten "Vorwärts-Rückwärts-Algorithmus" berechnet. Dann wird ermittelt, welcher Zustand, d.h. welche Folge von Phonemen die wahrscheinlichste ist.
Werkseitig bzw. herstellerseitig wird eine Sprachressource, d.h. eine Menge von Modellvektoren erstellt, mittels denen eine bestimmte Sprache darstellbar ist. Weiterhin werden bei einer Sprachressource Übergangswahrscheinlichkeiten zwischen einzelnen Modellvektoren festgelegt, so dass z.B. Worte in einer Sprache gebildet werden können.
Nun soll die gerade allgemein beschriebene Spracherkennung anhand von Figuren näher erläutert werden. Dazu sei nun auf Figur 4 verwiesen, in der ein "Say-In" bzw. Training gemäß einer Ausgestaltung der Erfindung schematisch dargestellt ist. Gleiche Merkmale oder Verfahrensschritte sind mit den gleichen Bezugszeichen wie in den Figuren 1, 2 und 3 versehen. Ein Sprachsignal SS wird zun chst einer Merkmalsextraktion FE unterzogen. Diese Merkmalsextraktion beinhaltet allgemein zunächst eine Unterteilung in Zeitrahmen bzw. Rahmen F (Fra- ming) mit einem nachgeschalteten Vorverarbeitung PP des in Rahmen unterteilten Sprachsignals SS. Dies beinhaltet im All- gemeinen eine Fouriertransformation. Optional findet noch eine Storgerauschunterdruckung bzw. Kanalkompensation statt. Unter Kanal wird hierbei der Weg vom Mikrofon zum AD-Wandler verstanden, kompensiert werden Störgeräusche. Der Kanal kann aufgrund verschiedener Mikrofone, etwa im Car-Kit oder im Mo- bilfunkendgerat selbst, variieren. Auch bei unterschiedlichen Räumen wird der Kanal unterschiedliche Eigenschaften aufweisen, da die Impulsantwort auf eine Schalleinwirkung unterschiedlich ist. Beispielsweise konnte die Schritte im Rahmen der Merkmalsextraktion FE zum Ermitteln eines Merkmalsvektors wie in Fig. 7 dargestellt ablaufen:
Nach der Unterteilung F des Signals in Zeitrahmen erfolgt die Vorverabeitung PP. Diese kann folgenden Schritte beinhalten: Filtern FI des Signals mit einem endlichen Impulsantwortfilter bzw "finite Impulse response filter" (FIR) , Bildung AA von sogenannten "Hamming-Fenstern" um ein Antialiasing, d.h. ein Vermeiden des Heranziehens von nicht tatsächlich ermittelten Frequenzen, zu erzielen. Anschliessend wird eine schnelle bzw. "Fast" Fourier Transformation FFT durchgeführt. Das Ergebnis ist ein Leistungs-Spektrum bzw. "Power- Spektrum", bei dem die Leistung gegebuber der Frequenz aufge
tragen wird. Dieses Power-Spektrum wird zur Anpassung an die Sensitivität des menschlichen Ohres einer sogenannten "Mel"- Filterung MF mit 15 Dreiecks-Filtern unterzogen. Das Ergebnis hierbei wären 15 Koeffizienten, die zur Reduzierung des dyna- mischen Bereichs beispielsweise logarithmiert werden. Über eine diskrete Cosinustransformation DCT werden 12 sogenannten "Cepstrum"-Koeffizienten ermittelt, so dass nun zusammen mit der logarithmierten Energie 13 Koeffizienten vorliegen. Einen so ermittelten Vektor bezeichnet man auch als MFCC-Vektor bzw. "Mel-Filter- Cepstrum-Koeffizienten-Vektor" . Zur Reduzierung der Fehleranfälligkeit dieser Koeffizienten wird eine sogenannten Delta-Abbildung DA und Delta-Delta-Abbildung DDA durchgeführt, bei der Zusammenhänge zum vorhergehenden und zum vor-vorhergehenden Rahmen ermittelt werden. Auch die Zu- sammenhänge werden mit je 13 Koeffizienten beschrieben, so dass nach Ablauf dieser Kette von Transformationen 39 Koeffizienten vorliegen. Diese 39 Koeffizienten stellen die Einträge bzw. Komponenten eines Merkmalsvektors dar. Bei der beschriebenen Routine handelt es sich um ein ausgewähltes Bei- spiel. Dem Fachmann sind diverse Möglichkeiten der Merkmalsextraktion bekannt, weshalb hier nicht näher darauf eingegangen wird.
Nun sei wieder auf Fig. 4 verwiesen. Ergebnis dieses Prozes- ses ist ein sprachenunabhängiger Merkmalsvektor F_IS. Sequenzen aus zumindest einem sprachenunabhängigen Merkmalsvektor F_IS werden in einer Sammlung oder Datenbank FV-SD(F_IS) von sprecherabhängigen, sprachenunabhängigen Merkmalsvektoren F_IS abgespeichert.
Andererseits wird der sprachenunabhängige Merkmalsvektor F_IS zu Sprecher- und sprachenabhängigen Vokabular verarbeitet. So wird zur Speicherplatzreduzierung bei der sogenannten linearen Diskriminanten Analyse LDA-Ll, welche spezifisch für eine Sprachressource (Ll) ist, einer Matrixmultiplikation mit einer bereits werkseitig erstellten LDA-Matrix unterzogen.
Ab diesem Zeitpunkt liegt ein sprachenabhängiger Merkmalsvektor F_S vor. Im Vergleich zum sprachenunabhängigen Merkmals- vektor F_IS enthält der sprachenabhängige Merkmalsvektor aufgrund der nicht-verlustfreien Datenreduktion bei der Dimensi- onsreduzierung weniger Informationsgehalt. Es ist also nicht möglich, aus dem sprachenabhängigen Merkmalsvektor F_S wieder den sprachenunabhängigen Merkmalsvektor F_IS zu erstellen.
Durch die Multiplikation mit einer LDA-Matrix wird vor allem eine Diagonalisierung vorgenommen, bei der durch die Wahl eines geeigneten Eigensystems von Basisvektoren die Dimension des Merkmalsvektors reduziert werden kann. Diese LDA-Matrix ist sprachenspezifisch, da aufgrund der Unterschiedlichkeit verschiedener Sprachen oder Sprachmodi bzw. Sprachumgebungen auch die Eigenvektoren verschieden sind. Sie wird bereits werkseitig ermittelt. Wie diese Matrix z.B. auf der Basis von sogenannten Sub-Phonemen und weiteren Untergruppen, z.B. "d- phones", durch Mittelwertbildung und entsprechende Gewichtung ermittelt wird, ist dem Fachmann bekannt und wird hier nicht näher erläutert.
Beispielsweise werden im Rahmen der LDA-Multiplikation zwei (aufeinander folgende) 39-dimensionale MFCC-Vektoren in einem 78-dimensionalen Super-Vektor zusammen gefasst, der mit der 78x24 LDA-Matrix multipliziert wird. Das Ergebniss ist ein 24-dimensionale sogenannter Post-LDA-Merkmals-Vektor. Der Post-LDA-Merkmals-Vektor ist sprachabhängig, da die LDA- Matrix sprachabhängig ist. Unter Sprachressource wird insbesondere eine Menge von Modellvektoren verstanden, mittels der sich eine Sprache darstellen läßt. Weiterhin kann die Sprachressource auch eine Sprache in einer bestimmten Umgebung darstellen. Dies wird beispielsweise bei der Verwendung von Kommunikationsgeräten in einem Fahrzeug angewandt, bei dem durch das Freisprechen bedingt, ein anderer Geräuschpegel als bei normalen Gesprächen vorliegt.
Es sei nun wieder auf Fig. 4 verwiesen, bei der im Rahmen einer sprecherunabhängigen HMM-Modellierung HMM-SI diese Merkmalsvektoren zunächst vorhandenen Gruppen von Modellvektoren zugeordnet werden. Diese Zuordnung geschieht über eine Ab- Standsberechnung D zu Modellvektoren, die z.B. in etwa einem Ermitteln des ähnlichsten Modellvektors entsprechen kann, wobei die Modellvektoren in einer monolingualen HMM- Sprachressource HMM-L vorliegen. Die Zuordnungsinformation zwischen Merkmalsvektor und Modellvektor bzw. Merkmalsvektor- Sequenzen und Modellvektor-Sequenzen wird in einem sog. Vokabular gespeichert. Das sprecherabhängige Vokabular VOC-SD- Ll zur Sprachressource Ll wird über Abstandsberechnung D zu Modellvektoren aus der Sprachressource HMM-Ll und Konvertierung D2I des Abstandes zu Zuordnungs bzw. Indexinformationen erstellt.
Im Unterschied zum Stand der Technik wie in den Fig. 2 und 3 gezeigt, wird also auch der sprachenunabhängige Merkmalsvektor bzw. die Sequenz von Merkmalsvektoren abgespeichert, durch welche ein Steuerbefehl beschrieben wird. Dies hat den prinzipiellen Vorteil, dass bei einem Umschalten der Sprachressource das Say-In nicht erneut erfolgen muss.
Es sei nun auf Figur 5 verwiesen. Bei einem Umschalten in ei- ne andere Sprachressource HMM-L2 kann dann die sprachabhängi- gen Dimensionsreduktion LDA-L2 auf Basis dieses sprachenunabhängigen Vektors F_IS erfolgen.
Beispielsweise schaltet der Benutzer über eine Benutzerober- fläche von der Sprache Ll in eine Sprache L2 um oder beim Benutzen der Autoausrüstung (Car Kit) für ein Kommunikationsgerät wird automatisch von leiser Sprachumgebung Ll in eine laute Sprachumgebung L2 umgeschaltet. Ll bzw. L2 bezeichnet also eine Sprache oder eine Sprachumgebung.
Anschliessend erfolgt das sogenannten Transcoding TC, das ist die Zuordnung eines sprachenabhängingen Merkmalsvektor F_S zu
einem Modellvektor aus einer Sprachenressource bzw. die Zuordnung einer Sequenz von sprachenabhängingen Merkmalsvekto- ren F_S zu einer Sequenz von Modellvektoren. Das Transcoding von Kommandowörtern, deren Training in Fig. 4 gezeigt ist, ist nun in Fig. 5 dargestellt. Das Transcoding TC erfolgt mittels der bereits werkseitig erstellten Sprachressource HMM-L2 offline, d.h. ohne Interaktion mit dem Benutzer, auf Basis der in der Datenbank FV-SD(F_IS) gespeicherten sprachenunabhängigen Merkmalsvektoren F_IS. Somit kann dann für jede Sprache, zu der z.B. werkseitig bzw. herstellerseitig eine Sprachresource HMM-L2 erstellt wurde, eine Zuordnung und damit ein Steuerbefehl erstellt werden, ohne dass der Benutzer aktiv beiträgt. In Fig. 5 ist die zeitliche Unterteilung F in Rahmen und die Vorprozessierung PP gestrichelt dargestellt, da im Gegensatz zum Training beim Transcoding kein Sprachsignal verwendet wird und infolgedessen diese Einheit nicht benötigt wird, sondern eben die während des Training erstellten und abge- speicherten sprachenunabhängigen Merkmalsvektoren F_IS herangezogen werden.
Zusammenfassend ist das Ergebnis des Transcodings ein spre- cherabhängiges Vokabular V0C-SD-L2, das auf Basis der Sprach- ressource HMM-L2 unter Verwendung der sprachenunabhängigen, absgespeicherten Merkmalsvektoren erstellt wurde. Das Sprecherabhängige Vokabular enthält Zuordnungen zwischen Sequenzen aus Merkmalsvektoren und Modellvektoren.
Es sei nun auf Fig. 6 verwiesen. In Fig. 6 ist nun das Spracherkennungssystem, das in Fig. 4 beim Training und in Fig. 5 beim Transcoding gezeigt ist, beim Betrieb dargestellt. Gleiche Begriffe sind wieder mit gleichen Bezugszei- chen versehen.
Beispielsweise ist die Sprache oder Sprachumgebung L2 ausgewählt, in die das Transcoding in Fig. 5 stattfand. Die Di
mensionreduktion LDA-L2 erfolgt deshalb in Abhängigkeit von der Sprache oder Sprachumgebung L2.
Die Abstandsberechnung D erfolgt unter Verwendung der Sprach- ressource HMM-L2 zur Sprache oder Sprachumgebung L2. Die Suche S erfolgt nun auf Basis des sprecherunabhängigen Vokabulars V0C-SI-L2, das dem sprecherunabhängigen Vokabular VOC- SI-Ll aus den Fig. 3 für die Sprachumgebung L2 entspricht, und des sprecherabhängigen Vokabulars VOC-SD-L2. Es kann also das -werkseitig erstellte - Vokabular VOC-SI-L2 gleichzeitig, d.h. ohne zwischen sprecherabhängiger und sprecherunabhängiger Spracherkennung zu wählen, mit dem sprecherabhänigen Vokabular VOC-SD-L2 verwendet werden. In anderen Worten hat dies den Vorteil, dass sprecherabhängiges und sprecherunabhängiges Vokabular derart nebeneinander bestehen, dass es für eine Spracherkennung nicht erforderlich ist, zu wissen, ob ein sprecherabhängiges oder sprecherunabhängiges Kommando erfolgt, was die Flexibilität von z.B. zu- sammengesetzten Kommandos signifikant erhöht. Ein Wissen, ob ein sprecherabhängiges oder sprecherunabhängiges Kommando erfolgt, wäre zum Beispiel erforderlich, wenn die sprecherabhängige Spracherkennung unter der Verwendung von Merkmalsvektoren abläuft und die sprecherunabhängige auf Basis von Zu- Ordnungsinformation.
In Fig. 8 ist schliesslich ein Kommunikationsgerät gezeigt, welches zur Durchführung der beschriebenen Spracherkennung geeignet ist. Das Kommunikationsgerät CD weist zumindest ein Mikrofon M auf, mit dem das Sprachsignal erfasst wird, eine Prozessoreinheit CPU mit dem das Sprachsignal verarbeitet wird, also z. B. die Zerlegung in Zeitrahmen oder die Extraktion des Merkmalsvektors für einen Zeitrahmen. Weiterhin ist eine Speichereinheit SU zum Abspeichern der verarbeiteten Sprachsignals sowie zumindest einer Sprachressource vorgese
hen . Zur Spracherkennung selbt wirken Mikrofon, Speichereinheit und Spracherkennungseinrichtung SE zusammen .
Bezugszeichenliste
AA Bilden von Fenstern zum Antialiasing
CD Kommunikationsgerät D Abstandsberechnung
D2I Abstand zu Zuordnungsinformationskonvertierung bzw. „Distance-to-Index"
DA Delta-Analyse
DCT Diskrete Fourier Transformation DDA Delta-Delta-Analyse
F Unterteilung in Zeitrahmen bzw. "Framing"
FE Merkmalsextraktion bzw. "Feature Extraction"
FI Filtering
FV-SD (F_IS) Datenbank von abgespeicherten F_IS Vektoren beim Training bzw. „Say-Ih" gemäß der Erfindung.
HMM-L Monolinguale Sprachressource
HMM-Ll Sprachressource in der Sprache oder Sprachumgebung Ll
HMM-L2 Sprachressource in der Sprache oder Sprachumgebung L2
HMM-SI Sprecherunabhängiges Hidden-Markov-Modell
LDA-L Lineare Diskriminantenanalyse bzw. "Linear Discri- minant Analysis" für eine Sprache oder Sprachumgebung L LOG Logarithmus
M Mikrofon
MF Mel-Filterung
PP Vorverarbeitung bzw. "Pre-Processing"
R Ergebnis bzw. "Result" S Suche bzw. "Search"
SE Spracherkennungseinheit
SS Sprachsignal
SU Speichereinheit
TC Transcoding VOC-SD-Ll sprecherabhängige Zuordnungsinformation bzw. Vokabular in der Sprache oder Sprachumgebung Ll
VOC-SI-Ll sprecherunabhängige ZuordnungsInformation bzw. Vokabular in der Sprache oder Sprachumgebung Ll VOC-SI-L2 sprecherunabhängige ZuordnungsInformation bzw. Vokabular in der Sprache oder Sprachumgebung L2

Claims

Patentansprüche
1. Verfahren zur sprecherabhängigen Spracherkennung mit folgenden Schritten: a) Erfassen eines ein Sprachkommando umfassendes Sprachsig- nal (SS) ; b) Zerlegung (F) des Sprachsignals (SS) in Zeitrahmen; c) Charakterisieren des Sprachsignals in jedem erfassten Zeitrahmen durch Bilden eines entsprechenden Merkmalsvek- tors (F_IS) ; d) Bilden einer Merkmalsvektor-Sequenz aus einem oder mehreren Merkmalsvektoren (F_IS) ; e) Abspeichern der Merkmalsvektor-Sequenz; f) Zuordnen der Merkmalsvektor-Sequenz zu einer Sequenz von Modellvektoren in einer Sprachressource (HMM-Ll) , welche eine Vielzahl von Modellvektoren aufweist; g) Abspeichern einer Zuordnungsinformation (VOC-SD-Ll), welche die Zuordnung der Merkmalsvektor-Sequenz zu einer Sequenz von Modellvektoren angibt; h) Erkennung des der Modellvektor-Sequenz zugeordneten Sprachkommandos; i) Umstellen der eingestellten Sprachressource (HMM-Ll) in eine weitere Sprachressource (HMM-L2) ; j) Zuordnen der abgespeicherten Merkmalsvektor-Sequenz zu einer Modellvektor-Sequenz in der neu eingestellten Sprachressource (HMM-L2) k) Abspeichern dieser neuen Zuordnungsinformation (VOC-SD- L2) .
2. Verfahren nach Anspruch 1, bei dem das Sprachsignal (SS) aus akustischen Einheiten zusammengesetzt ist.
3. Verfahren nach Anspruch 1 oder 2, bei dem die Sprachressource (HMM-L) einer Hidden-Markov-Modellierung von akustischen Einheiten eines Sprachsignals zugrunde liegt.
4. Verfahren nach einem der vorangegangenen Ansprüche, bei dem eine akustische Einheit durch ein Wort oder ein Phonem gebildet wird.
5. Verfahren nach einem der vorangegangenen Ansprüche, bei dem eine akustische Einheit durch Wortsegmente oder Gruppen von verwandten Phonemen gebildet wird.
6. Verfahren nach einem der vorangegangenen Ansprüche, bei dem unterschiedliche Sprachressourcen (HMM-Ll, HMM-L2) un- terschiedlichen Sprachen oder unterschiedlichen Sprachumgebungen zugeordnet werden.
7. Verfahren nach einem der vorhergehenden Ansprüche, bei dem unterschiedliche Sprachumgebungen unterschiedliche Umge- bungsgeräuschsituationen bezeichnen.
8. Verfahren nach einem der vorhergehenden Ansprüche, bei dem der Merkmalsvektor (F_IS) oder die Merkmalsvektor-Sequenz vor ihrer Zuordnung zu einem Modellvektor oder einer Mo- dellvektor-Sequenz durch eine Matrixmultiplikation (LDA- Ll, LDA-L2) in Ihrer Dimensionalität reduziert wird.
9. Verfahren nach Anspruch 8, bei dem die Matrix zur Dimensionsreduktion aus einer Linear Discriminant Analysis oder einer Principal Component Analysis oder einer Independent Component Analysis bestimmt worden ist.
10. Verfahren mit einer sprecherabhangigen Spracherkennung gemäß einem der Ansprüche 1 bis 9 und einer sprecherunab- hangigen Spracherkennung, welche insbesondere sprachenabhangig ist.
11. Kommunikationsgerat (CD) zur Durchfuhrung eines Verfahrens nach einem der Ansprüche 1 bis 10
- mit einem Mikrofon (MM) zum Aufnehmen eines Sprachsignals (SS), - mit einer Prozessoreinheit (CPU) zur Verarbeitung des Sprachsignals (SS)
- mit einer Speichereinheit (SU) zum Speichern von aus dem Sprachsignal (SS) gewonnenen Daten,
- mit einer mit dem Mikrofon (M) gekoppelten Spracherken- nungseinrichtung, die zur sprecherabhangigen und optional zur sprecherunabhangigen Spracherkennung eingerichtet ist.
12. Verfahren zum Betrieb eines Kommunikationsgerats nach Anspruch 11, bei dem sprecherabhangig und sprecherunabhangig erstelltes Vokabular gleichzeitig verwendet werden.
EP04741506A 2003-07-28 2004-05-04 Verfahren zur spracherkennung und kommunikationsger t Withdrawn EP1649450A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE10334400A DE10334400A1 (de) 2003-07-28 2003-07-28 Verfahren zur Spracherkennung und Kommunikationsgerät
PCT/EP2004/050687 WO2005013261A1 (de) 2003-07-28 2004-05-04 Verfahren zur spracherkennung und kommunikationsgerät

Publications (1)

Publication Number Publication Date
EP1649450A1 true EP1649450A1 (de) 2006-04-26

Family

ID=34088898

Family Applications (1)

Application Number Title Priority Date Filing Date
EP04741506A Withdrawn EP1649450A1 (de) 2003-07-28 2004-05-04 Verfahren zur spracherkennung und kommunikationsger t

Country Status (6)

Country Link
US (1) US7630878B2 (de)
EP (1) EP1649450A1 (de)
JP (1) JP2007500367A (de)
CN (1) CN1856820A (de)
DE (1) DE10334400A1 (de)
WO (1) WO2005013261A1 (de)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004008225B4 (de) * 2004-02-19 2006-02-16 Infineon Technologies Ag Verfahren und Einrichtung zum Ermitteln von Merkmalsvektoren aus einem Signal zur Mustererkennung, Verfahren und Einrichtung zur Mustererkennung sowie computerlesbare Speichermedien
US20080208578A1 (en) * 2004-09-23 2008-08-28 Koninklijke Philips Electronics, N.V. Robust Speaker-Dependent Speech Recognition System
US20060123398A1 (en) * 2004-12-08 2006-06-08 Mcguire James B Apparatus and method for optimization of virtual machine operation
US7697827B2 (en) 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
CN101727903B (zh) * 2008-10-29 2011-10-19 中国科学院自动化研究所 基于多特征和多系统融合的发音质量评估和错误检测方法
CN102239517B (zh) * 2009-01-28 2013-05-08 三菱电机株式会社 声音识别装置
US9177557B2 (en) * 2009-07-07 2015-11-03 General Motors Llc. Singular value decomposition for improved voice recognition in presence of multi-talker background noise
US9026444B2 (en) 2009-09-16 2015-05-05 At&T Intellectual Property I, L.P. System and method for personalization of acoustic models for automatic speech recognition
DE102010054217A1 (de) * 2010-12-11 2012-06-14 Volkswagen Aktiengesellschaft Verfahren zum Bereitstellen eines Sprachbediensystems in einem Fahrzeug und Sprachbediensystem dazu
US20130297299A1 (en) * 2012-05-07 2013-11-07 Board Of Trustees Of Michigan State University Sparse Auditory Reproducing Kernel (SPARK) Features for Noise-Robust Speech and Speaker Recognition
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9230550B2 (en) * 2013-01-10 2016-01-05 Sensory, Incorporated Speaker verification and identification using artificial neural network-based sub-phonetic unit discrimination
CN104143330A (zh) * 2013-05-07 2014-11-12 佳能株式会社 语音识别方法和语音识别系统
US9640186B2 (en) * 2014-05-02 2017-05-02 International Business Machines Corporation Deep scattering spectrum in acoustic modeling for speech recognition
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10366158B2 (en) * 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
JP6300328B2 (ja) * 2016-02-04 2018-03-28 和彦 外山 環境音生成装置及びそれを用いた環境音生成システム、環境音生成プログラム、音環境形成方法及び記録媒体
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK201770428A1 (en) 2017-05-12 2019-02-18 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10964315B1 (en) * 2017-06-30 2021-03-30 Amazon Technologies, Inc. Monophone-based background modeling for wakeword detection
WO2019051668A1 (zh) * 2017-09-13 2019-03-21 深圳传音通讯有限公司 一种智能终端的启动控制方法及启动控制系统
US10665231B1 (en) 2019-09-06 2020-05-26 Verbit Software Ltd. Real time machine learning-based indication of whether audio quality is suitable for transcription
EP4226362A1 (de) 2020-10-08 2023-08-16 Modulate, Inc. Mehrstufiges adaptives system zur inhaltsmoderation
CN114515138A (zh) * 2022-01-06 2022-05-20 福州市星康朗语教育科技有限公司 一种语言障碍评估与矫正系统

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI86694C (fi) 1990-03-19 1992-10-12 Outokumpu Oy Gjutmaskin
JP2989211B2 (ja) * 1990-03-26 1999-12-13 株式会社リコー 音声認識装置における辞書制御方式
US5412716A (en) * 1993-05-03 1995-05-02 At&T Bell Laboratories System for efficiently powering repeaters in small diameter cables
US5623609A (en) * 1993-06-14 1997-04-22 Hal Trust, L.L.C. Computer system and computer-implemented process for phonology-based automatic speech recognition
US6006221A (en) * 1995-08-16 1999-12-21 Syracuse University Multilingual document retrieval system and method using semantic vector matching
DE19533541C1 (de) * 1995-09-11 1997-03-27 Daimler Benz Aerospace Ag Verfahren zur automatischen Steuerung eines oder mehrerer Geräte durch Sprachkommandos oder per Sprachdialog im Echtzeitbetrieb und Vorrichtung zum Ausführen des Verfahrens
US5719921A (en) * 1996-02-29 1998-02-17 Nynex Science & Technology Methods and apparatus for activating telephone services in response to speech
DE19610848A1 (de) 1996-03-19 1997-09-25 Siemens Ag Rechnereinheit zur Spracherkennung und Verfahren zur rechnergestützten Abbildung eines digitalisierten Sprachsignals auf Phoneme
DE19624988A1 (de) * 1996-06-22 1998-01-02 Peter Dr Toma Verfahren zur automatischen Erkennung eines gesprochenen Textes
DE19635754A1 (de) * 1996-09-03 1998-03-05 Siemens Ag Sprachverarbeitungssystem und Verfahren zur Sprachverarbeitung
DE19636739C1 (de) * 1996-09-10 1997-07-03 Siemens Ag Verfahren zur Mehrsprachenverwendung eines hidden Markov Lautmodelles in einem Spracherkennungssystem
BR9712979A (pt) * 1996-09-10 2000-10-31 Siemens Ag Processo para adaptação de um modelo acústico hidden markov em um sistema de identificação de fala
US6389393B1 (en) * 1998-04-28 2002-05-14 Texas Instruments Incorporated Method of adapting speech recognition models for speaker, microphone, and noisy environment
US6085160A (en) * 1998-07-10 2000-07-04 Lernout & Hauspie Speech Products N.V. Language independent speech recognition
US6253181B1 (en) * 1999-01-22 2001-06-26 Matsushita Electric Industrial Co., Ltd. Speech recognition and teaching apparatus able to rapidly adapt to difficult speech of children and foreign speakers
US6658385B1 (en) * 1999-03-12 2003-12-02 Texas Instruments Incorporated Method for transforming HMMs for speaker-independent recognition in a noisy environment
US6912499B1 (en) * 1999-08-31 2005-06-28 Nortel Networks Limited Method and apparatus for training a multilingual speech model set
WO2002005263A1 (de) * 2000-07-07 2002-01-17 Siemens Aktiengesellschaft Verfahren zur spracheingabe und -erkennung
DE10040063A1 (de) * 2000-08-16 2002-02-28 Philips Corp Intellectual Pty Verfahren zur Zuordnung von Phonemen
DE10041456A1 (de) * 2000-08-23 2002-03-07 Philips Corp Intellectual Pty Verfahren zum Steuern von Geräten mittels Sprachsignalen, insbesondere bei Kraftfahrzeugen
US6754629B1 (en) 2000-09-08 2004-06-22 Qualcomm Incorporated System and method for automatic voice recognition using mapping
JP4244514B2 (ja) * 2000-10-23 2009-03-25 セイコーエプソン株式会社 音声認識方法および音声認識装置
EP1220196A1 (de) 2000-12-27 2002-07-03 Siemens Aktiengesellschaft Verfahren zur Spracherkennung in einem kleinen elektronischen Gerät
US7043431B2 (en) * 2001-08-31 2006-05-09 Nokia Corporation Multilingual speech recognition system using text derived recognition models
US7072834B2 (en) * 2002-04-05 2006-07-04 Intel Corporation Adapting to adverse acoustic environment in speech processing using playback training data
US20040078191A1 (en) * 2002-10-22 2004-04-22 Nokia Corporation Scalable neural network-based language identification from written text
US7149688B2 (en) * 2002-11-04 2006-12-12 Speechworks International, Inc. Multi-lingual speech recognition with cross-language context modeling
US7496498B2 (en) * 2003-03-24 2009-02-24 Microsoft Corporation Front-end architecture for a multi-lingual text-to-speech system
US7516071B2 (en) * 2003-06-30 2009-04-07 International Business Machines Corporation Method of modeling single-enrollment classes in verification and identification tasks

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2005013261A1 *

Also Published As

Publication number Publication date
US7630878B2 (en) 2009-12-08
CN1856820A (zh) 2006-11-01
JP2007500367A (ja) 2007-01-11
US20070112568A1 (en) 2007-05-17
WO2005013261A1 (de) 2005-02-10
DE10334400A1 (de) 2005-02-24

Similar Documents

Publication Publication Date Title
EP1649450A1 (de) Verfahren zur spracherkennung und kommunikationsger t
DE69311303T2 (de) Sprachtrainingshilfe für kinder.
DE60125542T2 (de) System und verfahren zur spracherkennung mit einer vielzahl von spracherkennungsvorrichtungen
DE69427083T2 (de) Spracherkennungssystem für mehrere sprachen
DE60124559T2 (de) Einrichtung und verfahren zur spracherkennung
DE69433593T2 (de) Aufgeteiltes spracherkennungssystem
DE69822296T2 (de) Mustererkennungsregistrierung in einem verteilten system
DE69321656T2 (de) Verfahren zur Spracherkennung
DE20004416U1 (de) Spracherkennungsvorrichtung unter Verwendung mehrerer Merkmalsströme
DE19847419A1 (de) Verfahren zur automatischen Erkennung einer buchstabierten sprachlichen Äußerung
EP1264301B1 (de) Verfahren zur erkennung von sprachäusserungen nicht-muttersprachlicher sprecher in einem sprachverarbeitungssystem
DE102006006069A1 (de) Verteiltes Sprachverarbeitungssystem und Verfahren zur Ausgabe eines Zwischensignals davon
EP0987682B1 (de) Verfahren zur Adaption von linguistischen Sprachmodellen
DE69512961T2 (de) Spracherkennung auf Grundlage von "HMMs"
DE60018696T2 (de) Robuste sprachverarbeitung von verrauschten sprachmodellen
DE60107072T2 (de) Robuste merkmale für die erkennung von verrauschten sprachsignalen
EP1282897B1 (de) Verfahren zum erzeugen einer sprachdatenbank für einen zielwortschatz zum trainieren eines spracherkennungssystems
EP1182646A2 (de) Verfahren zur Zuordnung von Phonemen
WO2000005709A1 (de) Verfahren und vorrichtung zur erkennung vorgegebener schlüsselwörter in gesprochener sprache
DE102004017486A1 (de) Verfahren zur Geräuschreduktion bei einem Sprach-Eingangssignal
DE60219030T2 (de) Verfahren zur mehrsprachigen Spracherkennung
WO2001067435A9 (de) Verfahren zum sprachgesteuerten initiieren von in einem gerät ausführbaren aktionen durch einen begrenzten benutzerkreis
WO1999005681A1 (de) Verfahren zum abspeichern von suchmerkmalen einer bildsequenz und zugriff auf eine bildfolge in der bildsequenz
WO2005069278A1 (de) Verfahren und vorrichtung zur bearbeitung eines sprachsignals für die robuste spracherkennung
DE60225536T2 (de) Verfahren und Vorrichtung zur Spracherkennung

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20060113

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): DE ES FR GB IT

DAX Request for extension of the european patent (deleted)
RBV Designated contracting states (corrected)

Designated state(s): DE ES FR GB IT

RIN1 Information on inventor provided before grant (corrected)

Inventor name: FINGSCHEIDT, TIM

Inventor name: STAN, SOREL

17Q First examination report despatched

Effective date: 20100615

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20101026