DE102004012209A1

DE102004012209A1 - Noise reducing method for speech recognition system in e.g. mobile telephone, involves selecting noise models based on vehicle parameters for noise reduction, where parameters are obtained from signal that does not represent sound

Info

Publication number: DE102004012209A1
Application number: DE200410012209
Authority: DE
Inventors: Niels Dr. Kunstmann; Gerd KÖCK
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 2004-03-12
Filing date: 2004-03-12
Publication date: 2005-10-06

Abstract

The method involves selecting noise models based on vehicle parameters for noise reduction, where the parameters are attained from a signal that does not represent sound. The parameters are measured using a sensor unit and represent speed, gear selection and adjustment of an air conditioning system. A new noise model is generated in a learning mode and is associated with a value of one of the parameters. Independent claims are also included for the following: (A) an apparatus with a unit to execute noise reduction on a signal representing sound (B) a program product for a data processing equipment, which contains code sections with which a method for noise reduction is executed.

Description

Für automatische Spracherkennungssysteme, sei es zur Verwendung im Mobiltelefonen, sei es zur Verwendung in Multimedia- oder Navigationssystemen in Kraftfahrzeugen, stellt sich das Problem, dass das Eingabesignal durch Störungen überlagert ist, was eine qualitativ hochwertige Spracherkennung zu einer besonderen Herausforderung macht.For automatic Speech recognition systems, whether for use in mobile phones, whether for use in multimedia or navigation systems in motor vehicles, the problem arises that the input signal is superimposed by disturbances, which makes a high quality speech recognition a special one Challenge makes.

Es sind bereits zahlreiche Verfahren beschrieben, die eine Verbesserung der Erkennungsraten von Spracherkennungssystemen bei Abwesenheit von Geräuschen erreichen. Beispiele hierzu finden sich in EP 0 847 041 A2 und EP 0 747 880 A2 . Allen beschriebenen Systemen ist gemeinsam, dass die Schätzung von Einstellungen einer Geräuschreduktion bzw. Geräuschmodellierung im System selbst erfolgt. Nach EP 0 847 041 A2 geschieht das, indem das System selbständig zwischen geräuschbehafteter Sprache und reinem Geräusch, beispielsweise in Sprechpausen, unterscheidet und innerhalb der Sprechpausen die betreffenden Einstellungen schätzt.Numerous methods have already been described which achieve an improvement in the recognition rates of speech recognition systems in the absence of noise. Examples can be found in EP 0 847 041 A2 and EP 0 747 880 A2 , All systems described have in common that the estimation of settings for noise reduction or noise modeling takes place in the system itself. To EP 0 847 041 A2 This is done by the system independently distinguishes between noisy speech and pure noise, for example during pauses in speech, and appreciates the relevant settings during the pauses in speech.

Bei den bisher beschriebenen Verfahren wird besonderes Augenmerk darauf gelegt, verschiedene Arten von gegebenenfalls auch stark fluktuierenden Geräuschen verlässlich zu unterdrücken. Stationäre Geräusche, das heißt Geräusche mit einer stationären Verteilung der Geräuschenergie auf die Frequenzen, sind nämlich durch das Standardverfahren der spektralen Subtraktion auf einfache Weise auszublenden.at the method described so far will pay special attention to it reliably, various types of possibly also strongly fluctuating noises reliably suppress. Stationary noise, the is called Sounds with a stationary one Distribution of the noise energy on the frequencies, that is by the standard method of spectral subtraction to simple Hide way.

Eine andere Möglichkeit, Spracherkennung gegenüber Hintergrundgeräuschen unempfindlicher zu machen, besteht darin, bereits beim Training der akustischen Modelle, seien es die Phonemmodelle bei einer phonembasierten Erkennung, seien es die einzelnen Wortmodelle, die Trainingsäußerungen innerhalb der Lärmumgebung aufzunehmen. Derartig trainierte Erkenner liefern auch bei kleinem Signal-Rausch-Abstand (SNR) erstaunlich gute Ergebnisse. Allerdings beobachtet man hier, dass Erkenner, deren Trainingsäußerung einen nur kleinen Signal-Rausch-Abstand aufweisen, für größere Signal-Rausch-Abstände, das heißt für weniger verrauschte Daten, in der Performance wieder nachlassen.A different possibility, Speech recognition over Background noise insensitivity is already during training the acoustic models, be it the phoneme models in a phoneme-based Recognition, be it the individual word models, the training expressions within the noise environment take. Such trained Erkenner deliver even with small Signal to Noise Ratio (SNR) amazingly good results. Indeed one observes here that Erkenner, whose training statement one only small signal-to-noise ratio have, for greater signal-to-noise ratios, the is called for less noisy data, in the performance subside.

In US 2002/003541 A1 wird eine Geräuschreduktion (Geräuschunterdrückung) im Hinblick auf eine nachfolgende Spracherkennung beschrieben. Dabei wird ein Wiener-Filter benutzt, der über die spektralen Charakteristika eines Geräuschmodells eingestellt wird. Im Gegensatz zur oben erwähnten spektralen Subtraktion, deren Einstellungen beispielsweise in Sprechpausen, das heißt bei Energieminima des Eingangssignals, geschätzt werden, wird dort die Verwendung unterschiedlicher Geräuschmodelle, deren iterative Erzeugung und deren schnelle Umschaltung beschrieben. Allen diesen Verfahren ist allerdings gemeinsam, dass die Einstellung adaptiv erfolgt und ausschließlich aus dem Mikrofonsignal geschätzt wird.In US 2002/003541 A1 is a noise reduction (Noise canceling) in With regard to a subsequent speech recognition. there a Wiener filter is used that has the spectral characteristics a sound model is set. In contrast to the abovementioned spectral subtraction, their settings, for example, during breaks, ie in energy minima of the input signal, estimated there will be the use of different sound models, their iterative generation and their fast switching described. all However, this procedure is common that the setting adaptively and exclusively estimated from the microphone signal becomes.

In der deutschen Patentanmeldung mit dem Aktenzeichen 103 05 369.7-53 wird ein Verfahren zur Spracherkennung beschrieben, bei dem ein Benutzer zwischen verschiedenen Hintergrundgeräuschprofilen auswählen kann. Außerdem können externe Parameter berücksichtigt werden, indem beispielsweise erkannt wird, ob die die Spracherkennung durchführende Vorrichtung in eine Fahrzeughalterung eingesteckt ist. Allerdings wird bei diesem Verfahren zur Spracherkennung keine Geräuschreduktion mit nachfolgender Spracherkennung durchgeführt, sondern die unterschiedlichen Hintergrundgeräuschprofile gehen direkt in die Spracherkennung ein.In the German patent application with the file number 103 05 369.7-53 a method for speech recognition is described in which a Users can choose between different background noise profiles. Furthermore can taken into account external parameters by, for example, recognizing whether the device performing the speech recognition is is plugged into a vehicle mount. However, this is going on Speech recognition method No noise reduction with following Speech recognition performed, but the different background noise profiles go directly into the speech recognition.

Der Erfindung liegt also die Aufgabe zugrunde, eine effiziente Geräuschreduktion in Geräuschumgebungen mit nicht-stationären Geräuschen, wie sie beispielsweise in einem Fahr zeug vorkommen, zu erreichen. Dadurch soll insbesondere eine qualitativ hochwertige Spracherkennung ermöglicht werden.Of the The invention is therefore based on the object, an efficient noise reduction in noise environments with non-stationary sounds, as they occur, for example, in a vehicle. This should in particular a high-quality speech recognition allows become.

Diese Aufgabe wird durch die in den unabhängigen Ansprüchen angegebenen Erfindungen gelöst. Vorteilhafte Ausgestaltungen ergeben sich aus den abhängigen Ansprüchen.These The object is achieved by those specified in the independent claims Inventions solved. Advantageous embodiments emerge from the dependent claims.

Dementsprechend wird in einem Verfahren eine Geräuschreduktion in einem Schall repräsentierenden Signal in Abhängigkeit eines externen, also nicht aus dem Schall repräsentierenden Signal gewonnenen Parameters durchgeführt.Accordingly In a method, a noise reduction in a sound representing Signal in dependence an external, that is not obtained from the sound signal Parameters performed.

Die Geräuschreduktion wird insbesondere anhand eines Geräuschmodells durchgeführt. In diesem Zusammenhang ist es möglich, das Geräuschmodell stufenweise oder kontinuierlich in Abhängigkeit des Parameters zu variieren.The noise reduction is carried out in particular on the basis of a noise model. In In this context, it is possible the sound model incrementally or continuously depending on the parameter vary.

Vorteilhaft stehen für die Geräuschreduktion jedoch mehrere Geräuschmodelle zur Verfügung, die unterschiedliche Geräuschumgebungen repräsentieren und die in Abhängigkeit des Parameters ausgewählt werden.Advantageous stand for the noise reduction, however several noise models to disposal, the different noise environments represent and in dependence of the parameter become.

Die Auswahl der Geräuschmodelle kann durch einen Benutzer beeinflusst werden.The Selection of noise models can be influenced by a user.

Vorzugsweise ist ein Lernmodus vorgesehen, in dem ein neues Geräuschmodell generiert und mit einem Wert des Parameters verknüpft wird. Dazu wird das Schall repräsentierende Signal, das sich beim Wert des Parameters ergibt, aufgenommen und daraus das neue Geräuschmodell generiert.Preferably is provided a learning mode in which a new sound model is generated and linked to a value of the parameter. This is the sound representing Signal resulting from the value of the parameter taken and from it the new noise model generated.

Auch hier kann der Benutzer interaktiv eingreifen, indem der Lernmodus durch ihn aktivierbar ist.Also here the user can intervene interactively by learning the learning mode be activated by him.

Der Parameter ist insbesondere der Parameter eines Fahrzeugs, etwa eines Autos. So kann der Parameter beispielsweise die Geschwindigkeit des Fahrzeugs, die Drehzahl des Motors oder der Turbine, den gewählten Gang und/oder einer Einstellung einer Klimaanlage wiedergeben.Of the Parameter is in particular the parameter of a vehicle, such as one Cars. For example, the parameter may be the speed of the vehicle, the speed of the engine or turbine, the selected gear and / or a setting of an air conditioner.

Vorzugsweise wird nach der Geräuschreduktion eine Spracherkennung durchgeführt.Preferably will after the noise reduction a speech recognition performed.

Der Parameter wird automatisch gemessen und/oder gesteuert bzw. durch den Benutzer eingestellt.Of the Parameter is automatically measured and / or controlled or by the user is set.

In einem Verfahren zur Geräuschreduktion kann ein Benutzer Einstellungen der Geräuschreduktion verändern. So ergibt sich ein Verfahren zur benutzergesteuerten Geräuschadaption von Spracherkennungssystemen.In a method for noise reduction can a user changing settings of noise reduction. So results in a method for user-controlled noise adaptation of speech recognition systems.

Bei einer Vorrichtung mit Mitteln zum Durchführen einer Geräuschreduktion in einem Schall repräsentierenden Signal sind die Mittel zum Durchführen der Geräuschreduktion so ausgestaltet, dass die Geräuschreduktion in Abhängigkeit eines nicht aus dem Schall repräsentierenden Signal gewonnenen Parameters durchführbar ist. Die Vorrichtung ist insbesondere ein mobiles Endgerät, ein Navigationssystem oder ein Fahrzeug.at a device with means for performing a noise reduction in a sound representing Signal are the means for performing the noise reduction designed so that the noise reduction dependent on one not from the sound representing Signal obtained parameter is feasible. The device is in particular a mobile terminal, a navigation system or a vehicle.

Vorteilhafte Ausgestaltungen der Vorrichtung ergeben sich analog zu vorteilhaften Ausgestaltungen des Verfahrens und umgekehrt. Dabei sind für Verfahrensschritte entsprechende Mittel bzw. Elemente der Vorrichtung vorgesehen.advantageous Embodiments of the device are analogous to advantageous Embodiments of the method and vice versa. These are for process steps corresponding means or elements of the device are provided.

Ein Programmprodukt für eine Datenverarbeitungsanlage, das Codeabschnitte enthält, mit denen eines der geschilderten Verfahren auf der Datenverarbeitungsanlage ausgeführt werden kann, lässt sich durch geeignete Implementierung des Verfahrens in einer Programmiersprache und Obersetzung in von der Datenverarbeitungsanlage ausführbaren Code ausführen. Die Codeabschnitte werden dazu gespeichert. Dabei wird unter einem Programmprodukt das Programm als handelbares Produkt verstanden. Es kann in beliebiger Form vorliegen, so zum Beispiel auf Papier, einem computerlesbaren Datenträger oder über ein Netz verteilt.One Program product for a data processing system containing code sections, with one of the described methods on the data processing system accomplished can be, can be by suitable implementation of the method in a programming language and translation into code executable by the computing facility To run. The code sections are stored for this purpose. It is under a Program product understood the program as a tradable product. It can be in any form, for example on paper, a computer readable medium or over distributed a network.

Weitere Vorteile und Merkmale der Erfindung ergeben sich aus der Beschreibung von Ausführungsbeispielen anhand der Zeichnung. Dabei zeigt:Further Advantages and features of the invention will become apparent from the description of exemplary embodiments based on the drawing. Showing:

1 ein Ablaufdiagramm eines Verfahrens zur Geräuschreduktion; 1 a flowchart of a method for noise reduction;

2 ein Ablaufdiagramm eines Verfahrens zur Geräuschreduktion im Lernmodus. 2 a flowchart of a method for noise reduction in the learning mode.

Dem Gesamtsystem aus Geräuschreduktion und Spracherkenner können durch äußere Informationen Hinweise auf die Geräuschcharakteristik gegeben werden. Insbesondere im Auto ist das auf einfache Weise möglich, wenn beispielsweise die Fahrgeschwindigkeit im gewählten Gang oder die Einstellung der Klimaanlage bekannt ist.the Overall system of noise reduction and Speech recognizers can through external information Notes on the noise characteristics are given. Especially in the car, this is easy possible, if, for example, the driving speed in the selected gear or the setting of the air conditioner is known.

Oftmals ist die Information über den Fahrzeugzustand oder dessen Änderung nicht verfügbar oder nur unter unverhältnismäßig großem Aufwand verfügbar zu machen. Andererseits hat der Fahrer selbst ein Interesse daran, dass die Spracherkennung gut funktioniert. Deshalb wird alternativ oder ergänzend vorgeschlagen, dem Fahrer direkt die Möglichkeit zu geben, in die Einstellung (Parametrierung) der Geräuscherkennung einzugreifen.often is the information about the vehicle condition or its modification not available or available only under disproportionate effort do. On the other hand, the driver himself has an interest that speech recognition works well. That's why it becomes alternative or in addition suggested to give the driver directly in the possibility Setting (parameterization) of the noise detection intervention.

Im einfachsten Fall wäre dies nur ein Knopf, der dem Fahrer ermöglicht, eine Neueinstellung oder eine Neuauswahl der Geräuschmodelle zu initiieren. So könnte der Fahrer beispielsweise durch einen Knopfdruck im System ein Zurücksetzen der Einstellung bewirken. Weit komplexere Szenarien sind denkbar. Eine mögliche Detaillierung wird im Folgenden beschrieben.in the the simplest case would be this is just a button that allows the driver to readjust or a new selection of the noise models to initiate. So could the driver, for example, by pressing a button in the system reset effect the adjustment. Far more complex scenarios are conceivable. A possible Detailing is described below.

Die Hauptgeräuschquellen im Fahrzeug sind die Antriebsgeräusche und die Reifenabroll- und Windgeräusche. Diese Geräusche können mit den Sensormitteln im Fahrzeug in Form von Signalgebern wie Tachometer oder Drehzahlmesser in Beziehung gebracht werden. Ab Werk ist ein Standardprofil für diese Abhängigkeit eingestellt.The Main noise sources in the vehicle are the drive noise and the tire rolling and wind noise. These sounds can be with the sensor means in the vehicle in the form of signalers such as speedometer or tachometer be related. Ex works is one Standard profile for this dependence set.

Beim Aktivieren eines Lernmodus, beispielsweise durch Knopfdruck des Benutzers, wird dann in Abwesenheit anderer Geräuschquellen in der Aktivierungszeit das Profil ergänzt. Es wird also beispielsweise das Geräusch in Abhängigkeit der Geschwindigkeit aufgenommen und ein zugehöriges Geräuschmodell generiert, das sich in Abhängigkeit eines die Geschwindigkeit repräsentierenden Parameters verändert. Alternativ können unterschiedliche Geräuschmodelle für unterschiedliche Geschwindigkeiten generiert werden. Der Benutzer kann frei entscheiden, wann er den Lernmodus verlassen oder weiterführen will.At the Activate a learning mode, for example by pressing the button User, then becomes in the absence of other sources of noise in the activation time the profile is completed. For example, the noise becomes dependent on the speed recorded and an associated noise model generated, depending on a representing the speed Parameters changed. Alternatively you can different noise models for different Speeds are generated. The user can freely decide when he wants to leave the learning mode or continue.

Wenn sich beim Wechsel von Sommer- auf Winterreifen das Abrollgeräusch der Reifen stark ändert, kann durch den Fahrer (Benutzer) der Lernmodus für eine bestimmte Zeit aktiviert werden. Während der Lernmodus aktiviert ist, wird für die veränderten Geräuscheigenschaften des Fahrzeugs das Abhängigkeitsprofil des Geräuschs von der Geschwindigkeit ermittelt und ein entsprechendes Geräuschmodell generiert. Bei erneuter Betätigung des Knopfes wird der Lernmodus beendet und die Anpassung des oder der Geräuschmodelle erfolgt nach der neu ermittelten Abhängigkeit.If when changing from summer to winter tires the rolling noise of Tire changes greatly, The learning mode can be activated by the driver (user) for a certain time become. While The learning mode is activated for the changed noise characteristics of the vehicle the dependency profile of the noise determined by the speed and a corresponding noise model generated. When pressed again of the button terminates the learning mode and the adjustment of the or the noise models takes place according to the newly determined dependency.

In 1 erkennt man ein Diagramm für den Fall, dass die Fahrgeschwindigkeit ν und die Motordrehzahl U/min die relevanten Parameter für die absolute Höhe des Geräusches E sind. Komplexere Abhängigkeiten, in denen beispielsweise die Geräuschenergien der unterschiedlichen Frequenzbänder zu Rate gezogen werden, laufen prinzipiell ähnlich ab.In 1 A diagram is shown for the case in which the vehicle speed v and the engine rpm rpm are the relevant parameters for the absolute height of the noise E. More complex dependencies, in which, for example, the noise energies of the different frequency bands are consulted, run in principle similarly.

Im Verfahren wird durch ein Mikrofon ein Schall repräsentierendes Signal eines Sprechers (Benutzers, Fahrers) aufgenommen. Die Geräuschreduktion verwendet diejenigen Einstellungen, die der Geräuschenergie E zugeordnet sind, wie sie sich durch das Profil aus den Parametern in Form der momentanen Fahrgeschwindigkeit ν und der Motordrehzahl U/min ergeben. Das geräuschreduzierte Signal wird danach einem Spracherkenner zugeleitet.in the Method is a sound representative of a microphone Signal of a speaker (user, driver) recorded. The noise reduction uses those settings that are assigned to the noise energy E, as reflected by the profile of the parameters in the form of the current Driving speed ν and the engine speed rpm. The noise-reduced signal is then forwarded to a speech recognizer.

2 stellt den Lernmodus dar. Ist dieser durch einen Auswahlknopf aktiviert, so gibt es keine Geräuschreduktion oder Spracherkennung. Stattdessen wird laufend die Signalenergie des Geräuschs in Form der Geräuschenergie E ohne Radio- und Sprechgeräusche des Fahrers mit den beiden Parametern in Beziehung gesetzt. Insgesamt erhält man in dieser Lernphase also das Profil der Abhängigkeit von Geräuschpegel zu Fahrgeschwindigkeit und Motordrehzahl für das spezielle Fahrzeug. 2 represents the learning mode. If this is activated by a selection button, there is no noise reduction or speech recognition. Instead, the signal energy of the noise in the form of the noise energy E without radio and speech sounds of the driver is constantly related to the two parameters. Overall, you get in this learning phase so the profile of the dependence of noise level to speed and engine speed for the specific vehicle.

Das Verfahren erlaubt seinem Benutzer eine Mitwirkung. Dadurch können dem System Informationen bekannt gemacht werden, die anders nicht verfügbar sind. Auf der anderen Seite wird dem Benutzer ein Ventil für eine eventuelle Unzufriedenheit mit der Spracherkennung bei unterschiedlichen Geräuschen gegeben. Er kann den vorgeschlagenen Knopf betätigen, sobald er der Meinung ist, die Geräuschreduktion funktioniere nicht mehr ordentlich.The Procedure allows its user to participate. This allows the System information that is not otherwise available. On the other hand, the user is given an outlet for a possible Dissatisfaction with the speech recognition given with different sounds. He can press the proposed button as soon as he thinks is, the noise reduction do not work properly.

Ein weiterer wichtiger Punkt ist die Ermittlung und Verwendung von Abhängigkeiten zwischen Parametern des augenblicklichen Fahrzeugzustands, beispielsweise der Fahrgeschwindigkeit und der Einstellung der Geräuschreduktion. Hierdurch kann flexibel auf die Besonderheiten eines speziellen Fahrzeugs oder Änderungen im Fahrzeugverhalten reagiert werden, die dem System nicht anders zugänglich sind.One Another important point is the identification and use of dependencies between parameters of the current vehicle state, for example the driving speed and the setting of the noise reduction. This allows flexibility on the specifics of a particular Vehicle or modifications be responsive to vehicle behavior, the system is no different accessible are.

Ein Vorteil des Systems, die bessere Geräuschreduktion, wird dadurch nicht tief im Inneren einer komplexen Algorithmik versteckt, sondern dem Benutzer unmittelbar vor Augen geführt.One Advantage of the system, the better noise reduction, is thereby not hidden deep inside a complex algorithm, but the user immediately in mind.

Claims

A method for noise reduction, in which a noise reduction is performed on a signal representing sound, characterized in that the noise reduction is performed in dependence on a parameter not obtained from the sound representing signal.

Method according to one of the preceding claims, in for the noise reduction several noise models to disposal stand in dependence of the parameter become.

The method of claim 2, wherein in a learning mode a new sound model is generated and linked to a value of the parameter.

Method according to one of the preceding claims, in the parameter is a vehicle parameter.

Method according to one of the preceding claims, in the parameter a speed, a speed, a gear selection and / or represents a setting of an air conditioner.

Method according to one of the preceding claims, in which a speech recognition is performed.

Method according to one of the preceding claims, in the parameter is measured with sensor means.

Method for noise reduction, where a user influences noise reduction settings can.

Device with means for performing a noise reduction representing a sound Signal, characterized in that the means for performing the noise reduction are designed so that the noise reduction depending on a signal not representing the sound obtained parameter feasible is.

Device according to claim 9, characterized in that that the device is a mobile terminal, a navigation system or a vehicle is.

Program product for data processing Management system containing code sections with which a method according to any one of claims 1 to 8 can be executed on the data processing system.