DE19540859A1

DE19540859A1 - Removing unwanted speech components from mixed sound signal

Info

Publication number: DE19540859A1
Application number: DE1995140859
Authority: DE
Inventors: Michael Pieper
Original assignee: Deutsche Thomson Brandt GmbH
Current assignee: Deutsche Thomson Brandt GmbH
Priority date: 1995-11-03
Filing date: 1995-11-03
Publication date: 1997-05-28

Abstract

The method involves determining the word and/or set boundaries, analysing the speech components lying within the boundaries for the characteristics, and storing the data pattern sets representing the information contents of the speech components with minimal redundancy derived during a single or multiple learning phase. During the operating phases, the continuously analysed characteristics are compared with the stored data pattern sets, and are weighted with the inverse speech components if a coincidence or similarity is detected.

Description

Die Erfindung betrifft ein Verfahren zur Entfernung unerwünschter Sprachkomponenten aus einem Tonsignalgemisch nach dem Oberbegriff des Anspruchs 1.The invention relates to a method for removal unwanted speech components from a sound signal mixture the preamble of claim 1.

Bei Übertragung von Sportveranstaltungen wünschen manche Fernsehzuschauer, lediglich die Originalgeräuschkulisse zu hören, während der Kommentar eines Kommentators als störend empfunden wird. Sofern es sich um eine Stereoübertragung handelt, könnte der Kommentatorton zwar durch Differenzbildung der Signale der beiden Stereokanäle eliminiert werden, durch diese Maßnahme wird aber auch das Originalgeräusch bei Signalen verfälscht, die aus der Mitte kommen.When broadcasting sporting events, some wish TV viewers, just the original soundscape too hear while a commentator's comment is distracting is felt. Unless it's a stereo broadcast could act, the commentary tone could by difference the signals of the two stereo channels are eliminated by however, this measure also becomes the original noise for signals adulterated that come from the middle.

Der Erfindung liegt die Aufgabe zugrunde, Sprachkomponenten, die einem Tonsignal zugefügt wurden, unter Beibehaltung des ursprünglichen Tonsignals aus dem Tonsignalgemisch zu entfernen.The invention has for its object language components were added to a sound signal while maintaining the to remove the original sound signal from the sound signal mixture.

Diese Aufgabe wird bei einem Verfahren nach dem Oberbegriff des Anspruchs 1 durch die im kennzeichnenden Teil angegebenen Merkmale gelöst.This task is carried out in a method according to the preamble of Claim 1 by the specified in the characterizing part Features resolved.

Die erfindungsgemäße Lösung basiert auf der Überlegung, daß der Kommentatorton charakteristische Merkmale aufweist, wie z. B. typische Spektralkomponenten, in denen er sich von dem ursprünglichen Tonsignal im Tonsignalgemisch unterscheidet. Mit diesen Merkmalen gelingt daher eine hinreichende Beschreibung des Kommentatortons, ohne dabei sämtliche Wörter oder Wortkombinationen kennen zu müssen.The solution according to the invention is based on the consideration that the Commentary tone has characteristic features, such as. B. typical spectral components in which it differs from the original sound signal in the sound signal mixture differs. With these features are therefore adequately described of the commentary tone, without using all the words or Need to know combinations of words.

Die Wort- und/oder Satzgrenzen der Sprachkomponenten können durch Auswertung der Signalenergie und der Nulldurchgangsrate des analogen Tonsignalgemisches ermittelt werden. Damit gelingt es, die Zahl und Länge der Musterdatensätze zu begrenzen und kurze Rechen- und Reaktionszeiten zu erzielen. The word and / or sentence boundaries of the language components can by evaluating the signal energy and the zero crossing rate of the analog sound signal mixture can be determined. It works to limit the number and length of sample data sets and to achieve short computing and response times.

Vorzugsweise wird die Analyse der Sprachkomponenten und der Vergleich mit Musterdatensätzen durch neuronale Netze durchgeführt. Neuronale Netze arbeiten ähnlich wie das menschliche Gehirn und zeichnen sich aufgrund der parallelen Arbeitsweise durch Echtzeitfähigkeit, Abstraktion und Lernfähigkeit aus.Preferably, the analysis of the language components and the Comparison with sample data sets by neural networks carried out. Neural networks work similarly to that human brain and stand out due to the parallel Working through real-time ability, abstraction and Ability to learn.

Nachfolgend wird das erfindungsgemäße Verfahren anhand der Zeichnung erläutert. In dieser zeigt:The method according to the invention is described below with reference to FIG Drawing explained. In this shows:

Fig. 1 ein einfaches Blockschaltbild und, Fig. 1 is a simple block diagram,

Fig. 2 ein Flußdiagramm zur Durchführung des Verfahrens. Fig. 2 is a flow chart for performing the method.

Fig. 1 zeigt den Tonsignalweg eines Fernsehempfängers, mit einem ein neuronales Netz umfassenden Signalprozessor. An den Eingang des Signalprozessors gelang das im Fernsehsignal enthaltene Tonsignalgemisch. Der Signalprozessor welcher durch ein Steuersignal der Fernbedienung des Fernsehempfängers ein- und ausschaltbar ist, eliminiert im eingeschalteten Zustand eine Sprachkomponente aus einem Tonsignalgemisch, die dem ursprünglichen Tonsignal zugemischt wurde. Fig. 1 shows the audio signal path of a television receiver, with a signal processor comprising a neural network. The audio signal mixture contained in the television signal succeeded at the input of the signal processor. The signal processor, which can be switched on and off by a control signal from the remote control of the television receiver, in the switched-on state eliminates a speech component from a sound signal mixture which was mixed into the original sound signal.

Fig. 2 zeigt ein Flußdiagramm zur Durchführung des Verfahrens. In einem ersten Verfahrensschritt werden aus dem Tonsignal Wortgrenzen der Sprachkomponenten ermittelt, indem die Signalenergie und der Nulldurchgangsrate des analogen Tonsignalgemisches ausgewertet wird. In einem zweiten Verfahrensschritt werden typische Merkmale der Sprachkomponenten analysiert. Dies kann durch eine Verarbeitung des digitalisierten Tonsignals im Zeit- oder Frequenzbereich erfolgen. In einer ein- oder mehrmaligen Lernphase als drittem Verfahrensschritt werden Parameter gewonnen, die den Informationsgehalt der Sprachkomponenten mit einem Minimum an Redundanz repräsentieren. Diese Parameter bestimmen den Merkmalsvektor, der das Sprachsignal für einen bestimmten Zeitabschnitt beschreibt, und werden als Musterdatensätze in einem vierten Verfahrensschritt gespeichert. Fig. 2 shows a flow chart for carrying out the method. In a first method step, word boundaries of the speech components are determined from the sound signal by evaluating the signal energy and the zero crossing rate of the analog sound signal mixture. In a second process step, typical features of the speech components are analyzed. This can be done by processing the digitized audio signal in the time or frequency domain. In a single or multiple learning phase as a third procedural step, parameters are obtained that represent the information content of the language components with a minimum of redundancy. These parameters determine the feature vector that describes the speech signal for a specific time period and are stored as sample data records in a fourth method step.

Sobald eine Datei mit ausreichend Musterdatensätzen vorhanden ist, müssen die Verfahrensschritte drei und vier nicht wiederholt werden.As soon as a file with sufficient sample data sets is available steps three and four do not have to be repeated.

In einem fünften Verfahrensschritt werden nun die laufend analysierten Merkmale mit den Musterdatensätzen verglichen und in einem sechsten Verfahrensschritt werden bei Übereinstimmung oder Ähnlichkeit mit gespeicherten Musterdatensätzen die im Tonsignalgemisch vorhandenen Sprachkomponenten mit inversen Sprachkomponenten gewichtet. Dadurch werden die unerwünschten Sprachkomponenten eliminiert, so daß nur noch das ursprüngliche Tonsignal erhalten bleibt.In a fifth step, they are now running analyzed features compared with the sample data sets and in a sixth step, if there is agreement or similarity with stored sample data records that are in the Sound signal mix existing speech components with inverse Language components weighted. This will make the unwanted Language components eliminated so that only the original The audio signal is retained.

Die Verfahrensschritte zwei bis sechs werden mittels eines neuronalen Netzes durch geführt. Ein neuronales Netz besteht aus einer Vielzahl gleichartiger Elemente, die sowohl Informationen speichern, sie verarbeiten als auch weiterleiten, und zwar tun sie dies prinzipiell alle gleichzeitig. Die Elemente werden als Neuronen in Analogie zu den Nervenzellen bezeichnet. Es gibt Netze, die vollständig verbunden sind oder Schichtenmodelle. Beim Schichtenmodell gibt es mehrere Ebenen, die das Netz untergliedern. In der Eingangsschicht sind die Eingänge der Neuronen mit der Außenwelt verbunden. Sie dienen der Eingabe von Daten in das Netz. Die Ausgänge der Neuronen der ersten Schicht sind mit den Neuronen der zweiten Schicht verbunden, deren Ausgänge mit den Eingängen der dritten Schicht. Ist die dritte Schicht die letzte Schicht, dann sind die Ausgänge der dritten Schicht gleichzeitig die Ausgänge des Netzes.Process steps two to six are carried out using a neural network performed by. A neural network consists of a large number of similar elements, both information save, process and forward them, and do so in principle they all do this at the same time. The elements are as Neurons in analogy to nerve cells. There are Networks that are fully connected or layered models. In the layer model, there are several levels that the network subdivide. In the input layer are the inputs of the Neurons connected to the outside world. They are used to enter Data in the network. The outputs of the first layer neurons are connected to the second layer neurons whose Outputs with the inputs of the third layer. Is the third Layer the last layer, then the outputs are the third Layer the outputs of the network at the same time.

Die Neuronen gewichten die Eingangssignale individuell. Die Gewichtung entspricht einem Multiplikationsfaktor, dessen Vorzeichen zugleich Erregung oder Hemmung verkörpert. Die Gewichtungsfaktoren sind zunächst zufällig initialisiert. Ein solches neuronales Netz kann die Lösung einer gewünschten Aufgabe, also im Anwendungsbeispiel die Elimination von unerwünschten Sprachkomponenten aus einem Tonsignalgemisch lernen, indem an die Eingänge des Netzes verschiedene gültige Eingangszustände angelegt werden. Im Anwendungsbeispiel handelt es sich um Sprachkomponenten, ursprüngliche Tonsignale ohne Sprachkomponenten und Tonsignalgemische aus ursprünglichen Tonsignalen mit Sprachkomponenten. Die Ausgangszustände entsprechen anfangs noch nicht den gewünschten Größen. Dann werden die Gewichtungsfaktoren solange geändert, bis das Ergebnis dem gewünschten ähnlicher wird oder ihm entspricht, also das ursprüngliche Tonsignal ohne Sprachkomponenten erscheint. Dies wird mit verschiedenen Eingangszuständen wiederholt. Ein mögliches Verfahren zur Ermittlung der notwendigen Veränderungen im Netz ist die Fehlerrückführung. Dabei wird die Differenz aus dem jeweiligen Ausgangssignal eines Ausgangsneurons und seinem Sollwert gebildet und so zur Veränderung der Parameter des Neurons und der Neuronen angewendet, von denen es seine Signale erhält.The neurons weight the input signals individually. The Weighting corresponds to a multiplication factor, the The sign also embodies excitement or inhibition. The weighting factors are initially randomized. Such a neural network can solve a desired one Task, i.e. in the application example the elimination of unwanted speech components from a sound signal mixture learn by applying various valid to the inputs of the network Input states are created. Acting in the application example it is speech components, original sound signals without Speech components and sound signal mixtures from original Sound signals with speech components. The initial states initially do not match the desired sizes. Then the weighting factors are changed until the Result becomes more similar or corresponds to the desired one so the original sound signal without speech components appears. This comes with different input states repeated. A possible method for determining the The necessary changes in the network is fault feedback. The difference from the respective output signal is one Output neurons and its setpoint are formed and so for Change the parameters of the neuron and neurons from which it receives its signals.

Claims

1. A method for removing unwanted speech components from a sound signal mixture, characterized in that word and / or sentence boundaries of the speech components are determined, that the speech components within the determined word and / or sentence boundaries are analyzed for features that in one or repeated learning phase, the characteristics that represent the information content of the language components with a minimum of redundancy, are saved as sample data sets and that in an operating phase the continuously analyzed characteristics are compared with the sample data sets and are weighted if they match or are similar to inverse language components.

2. The method according to claim 1, characterized in that the Word and / or sentence boundaries of the language components Evaluation of the signal energy and the zero crossing rate of the analogue audio signal mixture can be determined.

3. The method according to claim 1 or 2, characterized in that the analysis of the language components and the comparison with Pattern records are performed through neural networks.