EP2543035B1 - Verfahren zur ermittlung von grundfrequenz-verläufen mehrerer signalquellen - Google Patents

Description

• Die Erfindung betrifft ein Verfahren zur Ermittlung von Grundfrequenz-Verläufen mehrerer Signalquellen aus einer einkanaligen Audioaufnahme eines Mischsignals.
• Verfahren zur Verfolgung bzw. Trennung von einkanaligen Sprachsignalen über die wahrgenommene Grundfrequenz (der englische Fachbegriff "Pitch" wird im Rahmen der folgenden Ausführungen gleichbedeutend mit der wahrgenommenen Grundfrequenz verwendet) werden in einer Reihe von Algorithmen und Applikationen in der Sprach- und Audio-signalverarbeitung verwendet, wie z.B. bei der einkanaligen Quellentrennung (Single-Channel Blind Source Separation; SCSS) (D. Morgan et al., "Cochannel speaker separation by harmonic enhancement and suppression", IEEE Transactions on Speech and Audio Processing, Vol. 5, pp. 407-424, 1997), der Computational Auditory Scene Analysis (CASA) (DeLiang Wang, "On Ideal Binary Mask As the Computational Goal of Auditory Scene Analysis", P. Divenyi [Ed], Speech Separation by Humans and Machines, Kluwer Academic, 2004)und der Sprachkompression (R. Salami et al., "A toll quality 8 kb/s speech codec for the personal communications system (PCS)", IEEE Transactions on Vehicular Technology, Vol. 43, pp. 808-816,1994). Typische Anwendungen solcher Verfahren sind beispielsweise Konferenzsituationen, wo während eines Vortrags manchmal mehrere Stimmen hörbar sind und dadurch die Erkennungsrate einer automatischen Spracherkennung stark sinkt. Auch eine Anwendung in Hörgeräten ist möglich. Der Artikel "Finite Mixture Spectrogram Modeling for Multipitch Tracking Using A Factorial Hidden Markov Model", Michael Wohlmayr et al, ISCA Interspeech 2009, 6.-10. September 2009, Seiten 1079-1082, Brighton, offenbart ein Verfahren zur Ermittlung von Grundfrequenz-Verläufen mehrerer Signalquellen aus einer einkanaligen Audioaufnahme eines Mischsignals, bei dem in der Trainingsphase Mischspektren mit den jeweiligen Einzelsprecheranteilen trainiert werden. Zum Training werden gemischte Signale verwendet.
• Die Grundfrequenz ist eine fundamentale Größe in der Analyse, Erkennung, Codierung, Kompression und Darstellung von Sprache. Sprachsignale lassen sich durch die Überlagerung von sinusförmigen Schwingungen beschreiben. Für stimmhafte Laute wie z.B. Vokale ist dabei die Frequenz dieser Schwingungen entweder die Grundfrequenz oder ein Vielfaches der Grundfrequenz, die sog. Oberschwingungen bzw. Obertöne. Damit lassen sich Sprachsignale durch Identifizierung der Grundfrequenz des Signals bestimmten Signalquellen zuordnen.
• Während für den Fall eines einzelnen Sprechers bei rauscharmer Aufnahme bereits eine Reihe von erprobten Methoden für die Abschätzung bzw. die Verfolgung (Tracking) der Grundfrequenz in Verwendung ist, gibt es nach wie vor Probleme bei der Bearbeitung von minderwertigen (also mit Störgeräuschen wie Rauschen versehenen) Aufnahmen mehrerer gleichzeitig sprechender Personen.
• Mingyang Wu et al. schlagen in "A Multipitch Tracking Algorithm for Noisy Speech" (IEEE Transactions on Speech and Audio Processing, Volume 11, Issue 3, pp. 229-241, May 2003) eine Lösung für robustes mehrfaches Grundfrequenztracking bei Aufnahmen mit mehreren Sprechern vor. Die Lösung basiert auf dem unitären Modell für Grundfrequenzwahrnehmung, für das verschiedene Verbesserungen vorgeschlagen werden, um eine wahrscheinlichkeitstheoretische Darstellung der Periodizitäten des Signals zu erhalten. Die Nachverfolgung der Wahrscheinlichkeiten der Periodizitäten unter Verwendung des Hidden Markov Model (HMM) ermöglicht die Darstellung semikontinuierlicher Grundfrequenzverläufe. Nachteilig an dieser Lösung ist zum einen der hohe Rechenaufwand und die dadurch benötigten Rechnerressourcen, andererseits die Tatsache, dass eine ordnungsgemäße Zuordnung der Grundfrequenzen zu den passenden Signalquellen, bzw. Sprechern nicht möglich ist. Der Grund dafür ist die Tatsache, dass in diesem System keine sprecherspezifischen Informationen eingebunden werden bzw. zur Verfügung stehen, die eine derartige Verknüpfung von gemessenen Pitchwerten und Sprechern ermöglichen würde.
• Es ist daher eine Aufgabe der Erfindung, ein Verfahren für mehrfaches Grundfrequenztracking bereitzustellen, das eine sichere Zuordnung der ermittelten Grundfrequenzen zu Signalquellen bzw. Sprechern erlaubt und gleichzeitig eine geringe Speicher- und Rechenintensivität aufweist.
• Diese Aufgabe wird mit einem Verfahren der eingangs genannten Art erfindungsgemäß durch die folgenden Schritte gelöst:
1. a) Ermitteln der Spektrogramm-Eigenschaften der Pitchzustände einzelner Signalquellen unter Benutzung von Trainingsdaten;
2. b) Ermitteln der Wahrscheinlichkeiten der möglichen Grundfrequenzkombinationen der in dem Mischsignal enthaltenen Signalquellen durch Kombination der in a) ermittelten Eigenschaften mittels eines Interaktionsmodells;
3. c) Tracken der Grundfrequenzverläufe der einzelnen Signalquellen im Mischsignal unter Verwendung der in b) ermittelten Wahrscheinlichkeiten.
• Dank der Erfindung lässt sich eine hohe Genauigkeit des Trackens der mehrfachen Grundfrequenzen erreichen, bzw. können Grundfrequenzverläufe besser den jeweiligen Signalquellen bzw. Sprechern zugeordnet werden. Durch eine Trainingsphase a) unter Verwendung sprecherspezifischer Informationen und die Wahl eines geeigneten Interaktionsmodells in b) wird der rechnerische Aufwand deutlich minimiert, sodass die Methode rasch und ressourcenarm durchgeführt werden kann. Dabei werden nicht Mischspektren mit den jeweiligen Einzelsprecheranteilen (im einfachsten Fall zwei Sprecher und ein entsprechendes Grundfrequenz-Paar) trainiert, sondern die jeweiligen Einzelsprecheranteile, was den Rechenaufwand und die Zahl der durchzuführenden Trainingsphasen weiter minimiert. Da je Signalquelle Pitchzustände aus einem abgegrenzten Frequenzbereich (z.B. 80 bis 500 Hz) betrachtet werden, ergibt sich bei Kombination der Zustände in Schritt b) eine begrenzte Anzahl von Grundfrequenzkombinationen, die als "mögliche" Grundfrequenzkombinationen bezeichnet werden. Der Begriff Spektrum steht in weiterer Folge für das Magnituden-Spektrum; je nach Wahl des Interaktionsmodells in b) werden das Kurzzeit-Magnitudenspektrum oder das logarithmische Kurzzeit-Magnitudenspektrum (log-Spektrum) verwendet.
• Die Anzahl der zu trainierenden Pitchzustände ergibt sich aus dem beobachteten Frequenzbereich und dessen Unterteilung (siehe weiter unten). Bei Sprachaufnahmen beträgt ein solcher Frequenzbereich beispielsweise 80 bis 500 Hz.
• Aus Sprachmodellen einzelner Sprecher kann mit Hilfe des in b) angewandten Interaktionsmodells ein Wahrscheinlichkeitsmodell aller im oben genannten Frequenzbereich möglichen Pitchkombinationen, bzw. für ein gewünschtes Sprecherpaar (also z.B. für eine Aufnahme, auf der zwei Sprecher zu hören sind), erhalten werden. Bei der Annahme von zwei Sprechern mit jeweils A Zuständen bedeutet das also, dass eine A x A-Matrix mit den Wahrscheinlichkeiten für alle möglichen Kombinationen ermittelt wird. Für die einzelnen Sprecher können auch Sprachmodelle verwendet werden, die eine Vielzahl von Sprechern beschreiben, beispielsweise, indem das Modell auf geschlechtsspezifische Merkmale abstellt (speaker-independent, bzw. gender-dependent).
• Für das Tracking in c) kann eine Reihe von Algorithmen verwendet werden. Beispielsweise kann die zeitliche Abfolge der geschätzen Pitchwerte durch ein Hidden Markov Model (HMM) oder auch durch ein Factorial Hidden Markov Model (FHMM) modelliert werden, und auf diese graphischen Modelle können der Max-Sum Algorithmus, der Junction-Tree Algorithmus oder der Sum-Product-Algorithmus zum Einsatz kommen. In einer Variante der Erfindung ist es auch möglich, die auf isolierten Zeitfenstern geschätzten Pitchwerte unabhängig voneinander zu betrachten und auszuwerten, ohne einen der oben genannten Tracking-Algorithmen anzusetzen.
• Für die Beschreibung der Spektrogramm-Eigenschaften kann ein allgemeines, parametrisches oder auch nichtparametrisches statistisches Modell verwendet werden. Günstigerweise werden in a) die Spektrogramm-Eigenschaften mittels eines Gaussian Mixture Modells (GMM) ermittelt.
• Vorteilhafterweise wird die Anzahl der Komponenten eines GMM durch Anwendung des Minimum-Description-Length (MDL) Criterion ermittelt. Das MDL-Criterion dient zur Wahl eines Modells aus einer Vielzahl möglicher Modelle. Beispielsweise unterscheiden sich die Modelle, wie im vorliegenden Fall, nur durch die Anzahl der verwendeten Gausskomponenten. Neben dem MDL-Criterion ist beispielsweise auch die Verwendung des Akaike Information Criterion (AIC) möglich.
• In b) werden als Interaktionsmodell ein lineares Modell oder das Mixture-Maximization (MixMax)-Interaktionsmodell oder das ALGONQUIN-Interaktionsmodell verwendet.
• Günstigerweise erfolgt das Tracken in c) mittels des Factorial Hidden Markov Modells (FHMM).
• Zur Durchführung des Trackings auf einem FHMM können eine Reihe von Algorithmen verwendet werden, beispielsweise werden in Varianten der Erfindung der Sum-Product Algorithmus oder der Max-Sum-Algorithmus verwendet.
• Im Folgenden wird die Erfindung anhand eines nicht einschränkenden Ausführungsbeispiels, das in der Zeichnung dargestellt ist, näher erläutert. In dieser zeigt schematisch:

Fig. 1

einen Faktorgraphen der grundfrequenzabhängigen Erzeugung eines aus zwei Einzelsprecher(log)spektren resultierenden (log-)Spektrums y eines Mischsignals,

Fig. 2

eine Darstellung des FHMM, und

Fig. 3

ein Blockdiagramm des erfindungsgemäßen Verfahrens.

• Die Erfindung betrifft ein einfaches und effizientes Modellierungsverfahren für das Grundfrequenztracking von mehreren gleichzeitig emittierenden Signalquellen, beispielsweise Sprechern in einer Konferenz- oder Besprechungssituation. Nachfolgend wird die erfindungsgemäße Methode aus Gründen der Nachvollziehbarkeit anhand von zwei Sprechern dargestellt, allerdings lässt sich das Verfahren auf eine beliebige Anzahl von Subjekten anwenden. Dabei sind die Sprachsignale einkanalig, werden also mit nur einem Aufnahmemittel - z.B. Mikrophon - aufgenommen.
• Das Kurzzeitspektrum eines Sprachsignals bei gegebener Sprachgrundfrequenz lässt sich mit Hilfe von Wahrscheinlichkeitsverteilungen wie der Gauß'schen Normalverteilung beschreiben. Eine einzelne Normalverteilung, gegeben durch die Parameter Mittelwert µ und Varianz σ², reicht dabei zumeist nicht aus. Zur Modellierung allgemeiner, komplexer Wahrscheinlichkeitsverteilungen verwendet man üblicherweise Mischverteilungen wie beispielsweise das Gaussian Mixture Model (bzw. Gauß'sches Mischverteilungsmodell - GMM). Das GMM setzt sich additiv aus mehreren einzelnen Gauß'schen Normalverteilungen zusammen. Dabei kann eine M-fache Gaußverteilung mit 3M-1 Parametern beschrieben werden - Mittelwert, Varianz und Gewichtungsfaktor für jede der M Gaußverteilungen (der Gewichtungsfaktor der M-ten Gausskomponente ist redundant, daher das "-1"). Für die Modellierung beobachteter Datenpunkte durch ein GMM wird häufig ein Spezialfall des "Expectation Maximization"-Algorithmus verwendet, wie weiter unten beschreiben ist.
• Der Verlauf der Pitchzustände eines Sprechers kann näherungsweise durch eine Markovkette beschrieben werden. Die Markov-Eigenschaft dieser Zustandsketten besagt, dass der Folgezustand nur vom gegenwärtigen Zustand abhängt und nicht von vorangegangenen Zuständen.
• Bei der Analyse eines Sprachsignals zweier gleichzeitig sprechender Subjekte ist nur das resultierende Spektrum y^(t) der Mischung der beiden einzelnen Sprachsignale verfügbar, nicht aber die Pitchzustände x₁ ^(t) und x₂ ^(t) der Einzelsprecher. Der tiefgestellte Index bei den Pitchzuständen bezeichnet dabei Sprecher 1 und 2, während der hochgestellte Zeitindex von t=1, ...., T verläuft. Diese einzelnen Pitchzustände sind verborgene Variablen. Zur Auswertung wird beispielsweise ein Hidden Markov Modell (HMM) verwendet, bei dem aus den beobachtbaren Zuständen (hier also aus dem resultierenden Spektrum y^(t) der Mischung) auf die verborgenen Variablen bzw. Zustände geschlossen wird.
• Jede verborgene Variable hat im beschriebenen Ausführungsbeispiel |X| =170 Zustände mit Grundfrequenzen aus dem Intervall von 80 bis 500 Hz. Natürlich können auch mehr oder weniger Zustände aus anderen Grundfrequenzintervallen verwendet werden.
• Der Zustand "1" bedeutet "kein Pitch" (stimmlos bzw. keine Sprachaktivität), während Zustandswerte "2" bis "170" verschiedene Grundfrequenzen zwischen den oben genannten Werten bezeichnen. Im Speziellen wird der Pitch-Wert fo für die Zustände x>1 nach der Formel $f_0=\frac{f_S}{30+x}$

  

  ermittelt. Die Samplingrate beträgt f_s=16 kHz. Das Pitch-Intervall wird also uneinheitlich aufgelöst; niedrige Pitch-Werte haben eine feinere Auflösung als hohe Pitch-Werte: Die Zustände 168, 169 und 170 haben Grundfrequenzen von 80,80 Hz (x=168), 80,40 Hz (x=169) und 80,00 Hz (x=170), während die Zustände 2, 3 und 4 die Grundfrequenzen 500,00 Hz (x=2), 484,84 Hz (x=3) und 470,58 Hz (x=4) haben.
• Das erfindungsgemäße Verfahren umfasst im beschriebenen Ausführungsbeispiel die folgenden Schritte:
• Trainingsphase: Trainieren eines sprecherabhängigen GMM zur Modellierung des Kurzzeitspektrums für jeden der 170 Zustände (169 Grundfrequenzzustände sowie der Zustand "kein Pitch") jedes Einzelsprechers;
• Interaktions-Modell: Ermitteln einer wahrscheinlichkeitstheoretischen Darstellung für die Mischung der beiden Einzelsprecher unter Anwendung eines Interaktionsmodells, z.B. des MixMax-Interaktionsmodells; abhängig von der Wahl des Interaktionsmodells wird in der Trainingsphase entweder das Kurzzeit-Magnitudenspektrum oder das logarithmische Kurzzeit-Magnitüden-Spektrum modelliert.
• Tracking: Ermitteln der Grundfrequenztrajektorien der beiden Einzelsprecher unter Verwendung eines geeigneten Tracking Algorithmus, z.B. Junction-Tree oder Sum-Product (im vorliegenden Ausführungsbeispiel wird die Anwendung des Factorial Hidden Markov Modells (FHMM) beschrieben).
Trainingsphase
• In der erfindungsgemäßen Methode wird ein überwachtes Szenario angenommen, in dem die Sprachsignale der Einzelsprecher unter Ausnutzung von Trainingsdaten modelliert werden. Dabei können im Prinzip alle überwachten Trainingsrizethoden eingesetzt werden, also generative und diskriminative. Die Spektrogramm-Eigenschaften lassen sich durch ein allgemeines, parametrisches oder auch nicht-parametrisches statistisches Modell p(s_i|x_i) beschreiben. Die Verwendung von GMMs stellt also einen Spezialfall dar.
• Im vorliegenden Ausführungsbeispiel werden unter Verwendung des EM (Expectation-Maximization)-Algorithmus für jeden Sprecher 170 GMMs trainiert (ein GMM pro Pitch-Zustand). Bei den Trainingsdaten handelt es sich beispielsweise um Tonaufnahmen von Einzelsprechern, also einen Satz von N_i log-Spektren von i Einzelsprechern, $S_i=\left\{s_i^{\left(1\right)},\dots ,s_i^{\left(N_i\right)}\right\},$

  

  zusammen mit den zugehörigen Pitch-Werten $\left\{s_i^{\left(1\right)},\dots ,s_i^{\left(N_i\right)}\right\}\mathrm{.}$

  

  Diese Daten können automatisch mit einem Pitchtracker aus Einzelsprecheräufnahmen erzeugt werden.
• Der EM-Algorithmus ist eine iterative Optimierungsmethode zum Abschätzen unbekannter Parameter beim Vorliegen von bekannten Daten wie Trainingsdaten. Dabei wird iterativ durch abwechselnde Klassifikation (Expectation-Schritt) und eine anschließende Anpassung der Modellparameter (Maximization-Schritt) die Wahrscheinlichkeit für das Auftreten eines stochastischen Prozesses bei einem vorgegebenen Modell maximiert.
• Da der stochastische Prozess - im vorliegenden Fall das Spektrum des Sprachsignals - durch die Trainingsdaten gegeben ist, müssen zur Maximierung die Modellparameter angepasst werden. Die Voraussetzung für das Auffinden dieses Maximums ist, dass nach jedem Induktionsschritt und der Berechnung eines neuen Modells der Likelihood des Modells ansteigt. Zur Initialisierung des Lernalgorithmus wird eine Anzahl überlagerter Gaussverteilungen und ein GMM mit beliebigen Parametern (z.B. Mittelwert, Varianz und Gewichtungsfaktoren) gewählt.
• Durch die iterative Maximum-Likelihood (ML)-Schätzung des EM erhält man also ein repräsentatives Modell für das Einzelsprecher-Sprachsignal, im vorliegenden Fall ein sprecherabhängiges GMM $p\left(s_i|{\mathrm{\Theta }}_{i,x_i}^{M_{i,x_i}}\right)\mathrm{.}$

  

  Damit müssen für jeden Sprecher 170 GMMs trainiert werden, also ein GMM für jeden Pitch-Zustand x_i entsprechend der oben definierten Anzahl von Zuständen.
• Die Modellierung der zustandsabhängigen log-Einzelspektren der Sprecher mittels GMM im vorliegenden Ausführungsbeispiel erfolgt also gemäß $$p\left({\mathrm{s}}_{\mathrm{i}}|x_i\right)=p\left({\mathrm{s}}_i|{\mathrm{\Theta }}_{i,x_i}^{M_i,x_i}\right)={\displaystyle \sum _{m=1}^{M_i,x_i}}{\alpha }_{i,x_i}^m\mathit{NV}\left({\mathrm{s}}_{\mathrm{i}}|{\theta }_{i,x_i}^m\right),\mathrm{mit}i\in \left\{1,2\right\}\mathrm{.}$$

  
• M_i,xi ≥ 1 bezeichnet dabei die Anzahl der Mischungskomponenten (also der Normalverteilungen, die zur Darstellung des Spektrums notwendig sind), ist der Gewichtungsfaktor jeder Komponente m =1,..., M_i,xi . "NV" bezeichnet die Normalverteilung.
• Der Gewichtungsfaktor ${\alpha }_{i,x_i}^m$

  

  muss positiv sein $-{\alpha }_{i,x_i}^m\ge 0-$

  

  und die Normierungsbedingung ${\displaystyle \sum _{m=1}^{M_{i,x_i}}}{\alpha }_{i,x_i}^m=1$

  

  erfüllen. Das zugehörige GMM ist vollständig bestimmt durch die Parameter ${\mathrm{\Theta }}_{i,x_i}^{M_i,x_i}={\left\{{\alpha }_{i,x_i}^m,{\theta }_{i,x_i}^m\right\}}_{m=1}^{M_i,x_i}$

  

  mit ${\theta }_{i,x_i}^m=\left\{{\mu }_{i,x_i}^m,{\mathrm{\Sigma }}_{i,x_i}^m\right\};$

  

  µ steht dabei für den Mittelwert, Σ bezeichnet die Kövarianz.
• Nach der Trainingsphase liegen also GMMs für alle Grundfrequenzwerte aller Sprecher vor. Im vorliegenden Ausführungsbeispiel bedeutet das: Zwei Sprecher mit je 170 Zuständen aus dem Frequenzintervall 80 bis 500 Hz. Es sei noch einmal darauf hingewiesen, dass es sich hier um ein Ausführungsbeispiel handelt und das Verfahren auch auf mehrere Signalquellen und andere Frequenzintervalle anwendbar ist.
Interaktions-Modell
• Zur Analyse werden die aufgenommenen und mit einer Samplingfrequenz von beispielsweise f_s=16kHz gesampelten einkanaligen Sprachsignale zeitabschnittsweise betrachtet. In jedem Zeitabschnitt t wird das beobachtete (log-)Spektrum y^(t) des Mischsignals, also der Mischung der beiden Einzelsprechersignale, mit der Beobachtungswahrscheinlichkeit p(y^(t)|x₁ ^(t),x₂ ^(t)) modelliert. Anhand dieser Beobachtungswahrscheinlichkeit können beispielsweise die zu jedem Zeitpunkt wahrscheinlichsten Pitch-Zustände beider Sprecher ermittelt werden, oder die Beobachtungswahrscheinlichkeit dient direkt als Input für den in Schritt c) verwendeten Tracking-Algorithmus.
• Im Prinzip lassen sich die (log-)Spektren der einzelnen Sprecher, bzw. p(s₁|x₁) und p(s₂|x₂), zum Mischsignal y addieren; die Magnituden-Spektren addieren sich näherungsweise, daher gilt für die log-Magnitudenspektren: y≅log(exp(s₁)+exp(s₂)). Die Wahrscheinlichkeitsverteilung des Mischsignals ist also eine Funktion der beiden Einzelsignale, p(y)=f(p(s₁), p(s₂)). Die Funktion hängt nun davon ab, welches Interaktionsmodell gewählt wird.
• Dafür sind mehrere Herangehensweisen möglich. Beim linearen Modell werden im Magnitudenspektrogramm die Einzelspektren gemäß der oben angegebenen Form addiert, das Mischsignal ist also näherungsweise die Summe der Magnitudenspektren der Einzelsprecher. Vereinfacht ausgedrückt bildet also die Summe der Wahrscheinlichkeitsverteilungen der beiden Einzelsprecher, NV(s₁|µ₁, Σ₁) und NV(s₂|µ₂, Σ₂), die Wahrscheinlichkeitsverteilung des Mischsignals NV(y|µ₁+µ₂, Σ₁+Σ₂), wobei hier nur aus Gründen der besseren Verständlichkeit Normalverteilungen angeführt sind - gemäß der erfindungsgemäßen Methode handelt es sich bei den Wahrscheinlichkeitsverteilungen um GMMs.
• Im dargestellten Ausführungsbeispiel des erfindungsgemäßen Verfahrens wird ein weiteres Interaktionsmodell verwendet: Nach dem MixMax-Interaktionsmodell kann das log-Spektrogramm zweier Sprecher durch das elementweise Maximum der log-Spektra der Einzelsprecher approximiert werden. Damit ist es möglich, rasch ein gutes Wahrscheinlichkeitsmodell des beobachteten Mischsignals zu erhalten. Dadurch werden auch Dauer und Rechenaufwand der Lernphase drastisch reduziert.
• Für jeden Zeitabschnitt t gilt y^(t) ≅ max(s₁ ^(t), s₂ ^(t), wobei s_i ^(t) das log-Magnitudenspektrum des Sprechers i ist. Das log-Magnitudenspektrum y^(t) wird also erzeugt mittels eines stochastischen Modells, wie es in Fig. dargestellt ist.
• Darin produzieren die beiden Sprecher (i=1, 2) je ein log-Magnitudenspektrum s_i ^(t) in Abhängigkeit des Grundfrequenzzustandes x_i ^(t). Das beobachtete log-Magnitudenspektrum y^(t) des Mischsignals wird approximiert durch die elementweisen Maxima beider Einzelsprecher-log-Magnitudenspektren. Mit anderen Worten: Für jeden Frame des Zeitsignals (Samples des Zeitsignals werden in Frames zusammengefasst, und aus Samples eines Frames wird dann mittels FFT (Fast Fourier Transformation) und unter Ausschluss der Phaseninformation das Kurzzeitmagnitudenspektrum berechnet) wird das logarithmische Magnitudenspektrogramm des Mischsignals angenähert durch das elementweise Maximum beider logarithmischer Einzelsprecher-Spektren. Anstatt die nicht zugänglichen Sprachsignale der Einzelsprecher zu betrachten, werden die Wahrscheinlichkeiten der Spektren betrachtet, die zuvor einzeln gelernt werden konnten.
• Für einen fixen Grundfrequenz-Wert in Bezug auf einen Zustand x_i ⁽¹⁾ erzeugt Sprecher i ein log-Spektrum, s_i ^(t), das eine Realisierung der durch das Einzelsprechermodell p(s_i ^(t)|x_i ^(t)) beschriebenen Verteilung darstellt.
• Die beiden log-Spektren werden dann durch den elementweisen Maximum-Operator kömbiniert, um das beobachtbare log-Spektrum y^(t) zu formen. Damit ist also $p\left({\mathrm{y}}^{\left(\mathrm{t}\right)}|{\mathrm{s}}_{\mathrm{1}}^{\left(\mathrm{t}\right)},{\mathrm{s}}_{\mathrm{2}}^{\left(\mathrm{t}\right)}\right)=\delta \left({\mathrm{y}}^{\left(\mathrm{t}\right)}-\max \left({\mathrm{s}}_{\mathrm{1}}^{\left(\mathrm{t}\right)},{\mathrm{s}}_{\mathrm{2}}^{\left(\mathrm{t}\right)}\right)\right),$

  

  wobei δ(.) die Dirac'sche Deltafunktion bezeichnet.
• Bei Verwendung des MixMax-Interaktionsmodells müssen also die GMMs für jeden Zustand jedes Sprechers ermittelt werden, also zwei Mal die Kardinalität der Zustandsvariablen. Bei herkömmlichen Modellen resultieren bei den angenommenen 170 verschiedenen Grundfrequenzzuständen für jeden Sprecher insgesamt 28900 verschiedene Grundfrequenzpaarungen, was einen deutlich erhöhten Rechenaufwand bewirkt.
• Neben dem linearen Modell und dem MixMax-Interäktionsmodell können auch noch andere Modelle verwendet werden. Ein Beispiel dafür ist das Algonquin-Modell, wie es beispielsweise Brendan J. Frey et al. in "ALGONQUIN - Learning dynamic noise models from noisy speech for robust speech recognition" (Advances in Neural Information Processing Systems 14, MIT Press, Cambridge, pp. 1165-1172, January 2002) beschreiben.
• Wie auch beim MixMax-Interaktionsmodell wird mit dem Algonquin-Modell das log-Magnitudenspektrum der Mischung zweier Sprecher modelliert. Während beim MixMax-Interaktionsmodell y=max(s₁,s₂) gilt, hat das Algonquin-Modell folgende Form: y=s₁+log(1+exp(s₂-s₁). Daraus kann wiederum die Wahrscheinlichkeitsverteilung des Mischsignals aus der Wahrscheinlichkeitsverteilung der Einzelsprechersignale abgeleitet werden.
• Wie schon erwähnt wird im dargestellten Ausführungsbeispiel des erfindungsgemäßen Verfahrens nur das MixMax-Interaktionsmodell behandelt.
Tracking
• Die Aufgabe des Tracking beinhaltet im Prinzip das Suchen einer Sequenz von verborgenen Zuständen x*, die die bedingte Wahrscheinlichkeitsverteilung x*=arg max_xp(x|y) maximiert. Für das Tracking der Pitchverläufe über die Zeit wird im beschriebenen Ausführungsbeispiel des erfindungsgemäßen Verfahrens ein FHMM verwendet. Das FHMM erlaubt die Zustände mehrerer zeitlich parallel verlaufender Markovketten zu verfolgen, wobei die verfügbaren Beobachtungen als gemeinsamer Effekt aller einzelnen Markovketten betrachtet werden. Dabei werden die unter dem Punkt "Interaktionsmodell" beschriebenen Ergebnisse verwendet.
• Bei einem FHMM werden also mehrere Markov-Ketten parallel betrachtet, wie es beispielsweise in dem beschriebenen Ausführungsbeispiel der Fall ist, wo zwei Sprecher gleichzeitig sprechen. Die Situation, die sich damit ergibt, ist in Fig. 2 dargestellt.
• Wie oben erwähnt, werden die verborgenen Zustandsvariablen der Einzelsprecher mit x_k ^(t) bezeichnet, wobei k die Markovketten (und damit die Sprecher) bezeichnet und der Zeitindex t von 1 bis T verläuft. Die Markovketten 1, 2 sind in Fig. 2 die horizontal verlaufend dargestellt. Die Annahme lautet, dass alle verborgenen Zustandsvariablen die Kardinalität |X| haben, im beschriebenen Ausführungsbeispiel also 170 Zustände. Die beobachtete Zufallsvariable wird mit y^(t) bezeichnet.
• Die Abhängigkeit der verborgenen Variablen zwischen zwei aufeinander folgenden Zeitabschnitten ist definiert mit der Übergangswahrscheinlichkeit p(x_k ⁽¹⁾|x_k ^(t-1)). Die Abhängigkeit der beobachteten Zufallsvariablen y^(t) von den verborgenen Variablen desselben Zeitabschnitts ist definiert mit der Beobachtungswahrscheinlichkeit p(y^(t) |x1^(t), x₂ ^(t)), die, wie weiter oben bereits erwähnt, mittels eines Interaktionsmodelles erstellt werden kann. Die Ausgangswahrscheinlichkeit der verborgenen Variablen in jeder Kette ist gegeben als p(x_k ⁽¹⁾).
• Die gesamte Sequenz der Variablen lautet $\mathrm{x}={\mathrm{Y}}_{t=\mathrm{1}}^T\left\{x_1^{\left(t\right)},x_2^{\left(t\right)}\right\}$

  

  und $\mathrm{y}={\mathrm{Y}}_{t=1}^T\left\{y^{t)}\right\},$

  

  ergibt sich für die gemeinsame Verteilung aller Variablen der folgende Ausdruck: $$p\left(x,y\right)=p\left(y|x\right)p\left(x\right)={\displaystyle \prod _{k=1}^2}p\left(x_k^{\left(1\right)}\right){\displaystyle \prod _{t=2}^T}p\left(x_k^{\left(t\right)}|x_k^{\left(t-1\right)}\right){\displaystyle \prod _{t=1}^T}p\left(y^{\left(t\right)}|x_1^{\left(t\right)},x_2^{\left(t\right)}\right)\mathrm{.}$$

  
• Beim FHMM ergeben sich je Markov-Kette eine |X| x |X| Übergangsmatrix zwischen zwei verborgenen Zuständen - beim HMM wäre eine |X²| x |X²| Übergangsmatrix erlaubt, also ungleich grösser.
• Die Beobachtungswahrscheinlichkeit $p\left({\mathrm{y}}^{\left(\mathrm{t}\right)}|x_{\mathrm{1}}^{\left(t\right)},x_{\mathrm{2}}^{\left(t\right)}\right)$

  

  ergibt sich im Allgemeinen mittels Marginalisierung über die unbekannten (log-)Spektren der Einzelsprecher: $$p\left({\mathrm{y}}^{\left(\mathrm{t}\right)}|x_1^{\left(t\right)},x_2^{\left(t\right)}\right)=\int \int p\left({\mathrm{y}}^{\left(\mathrm{t}\right)}|{\mathrm{s}}_1^{\left(\mathrm{t}\right)},{\mathrm{s}}_2^{\left(\mathrm{t}\right)}\right)p\left({\mathrm{s}}_1^{\left(\mathrm{t}\right)}|x_1^{\left(\mathrm{t}\right)}\right)p\left({\mathrm{s}}_2^{\left(\mathrm{t}\right)}|x_2^{\left(\mathrm{t}\right)}\right)d{\mathrm{s}}_1^{\left(\mathrm{t}\right)}d{\mathrm{s}}_2^{\left(\mathrm{t}\right)}$$

  

  wobei $p\left({\mathrm{y}}^{\left(\mathrm{t}\right)}|{\mathrm{s}}_{\mathrm{1}}^{\left(\mathrm{t}\right)},{\mathrm{s}}_{\mathrm{2}}^{\left(\mathrm{t}\right)}\right)$

  

  das Interaktionsmodell darstellt.
• Damit ergibt sich für (1) bei Verwendung sprecherspezifischer GMMs, Marginalisierung über s_i und unter Verwendung des MixMax-Modells die folgende Darstellung: $$p\left(\mathrm{y}|{\mathrm{x}}_1,x_2\right)={\displaystyle \sum _{m=1}^{M_{1,x_1}}}{\displaystyle \sum _{n=1}^{M_{2,x_2}}}{\alpha }_{1,x_1}^m{\alpha }_{2,x2}^n{\displaystyle \prod _{d=1}^D}\left\{\mathit{NV}\left(y_d|{\theta }_{1,x_1}^{m,d}\right)\phi \left(y_d|{\theta }_{2,x_2}^{n,d}\right)+\phi \left(y_d|{\theta }_{1,x_1}^{m,d}\right)\mathit{NV}\left(y_d|{\theta }_{2,x_2}^{n,d}\right)\right\},$$

  

  wobei y_d das d-te Element des log-Spektrums y ergibt, ${\theta }_{i,x_i}^{m,d}$

  

  gibt das d-te Element des zugehörigen Mittelwerts und der Varianz, und $\phi \left(y|\theta \right)={\int }_{-\infty }^y\mathit{NV}\left(x|\theta \right)dx$

  

  stellt die univariate kumulative Normalverteilung dar.
• Gleichermassen ergibt sich für (1) bei Verwendung des linearen Interaktionsmodells die folgende Darstellung: $$p\left(\mathrm{y}|{\mathrm{x}}_1,x_2\right)={\displaystyle \sum _{m=1}^{M_{1,x_1}}}{\displaystyle \sum _{n=1}^{M_{2,x_2}}}{\alpha }_{1,x_1}^m{\alpha }_{2,x2}^n\mathit{NV}\left(y|{\mu }_{1,x_1}^m+{\mu }_{2,x_2}^n,{\mathrm{\Sigma }}_{1,x_1}^m+{\mathrm{\Sigma }}_{2,x_2}^n\right),$$

  

  
  wobei y das Spektrum des Mischsignals ist.
• Fig. 3 zeigt in einer schematischen Darstellung den Ablauf des erfindungsgemäßen Verfahrens anhand eines Blockdiagramms.
• Ein Sprachsignal, bzw. ein Signalgemisch aus mehreren Einzelsignalen, wird einkanalig aufgenommen, beispielsweise mit einem Mikrophon. Dieser Verfahrensschritt ist im Blockdiagramm mit 100 bezeichnet.
• In einem unabhängigen Verfahrensschritt, der beispielsweise im Vorfeld der Anwendung des Verfahrens durchgeführt wird, werden in einer Trainingsphase 101 die Sprachsignale der Einzelsprecher unter Ausnutzung von Trainingsdaten modelliert. Unter Verwendung des EM (Expectation-Maximization)-Algorithmus wird für jeden der 170 Pitch-Zustände jeweils ein sprecherabhängiges GMM trainiert. Die Trainingsphase erfolgt für alle möglichen Zustände - im beschriebenen Ausführungsbeispiel sind das für zwei Sprecher je 170 Zustände zwischen 80 und 500 Hz. Mit anderen Worten wird also ein grundfrequenzabhängiges Spektrogramm von jedem Sprecher mittels GMM trainiert, wobei das MDL-Criterion angewendet wird, um die optimale Anzahl von Gauss-Komponenten aufzufinden. In einem weiteren Schritt 102 werden die GMMs, bzw. die zugehörigen Parameter, abgelegt, beispielsweise in einer Datenbank.
• 103: Um eine wahrscheinlichkeitstheoretische Wiedergabe des Mischsignals von zwei oder mehr Sprechenden bzw. der Einzelsignalanteile des Mischsignals zu erhalten, wird ein Interaktiönsmodell, vorzugsweise das MixMax-Interaktionsmodell, angewandt. Anschließend wird im Rahmen des Trackens 104 der Grundfrequenzverläufe das FHMM angewandt. Mittels FHMM ist es möglich, die Zustände mehrerer verborgener Markov-Prozesse zu tracken, die gleichzeitig ablaufen, wobei die verfügbaren Beobachtungen als Auswirkungen der einzelnen Markov-Prozesse betrachtet werden.

Claims (6)

1. Verfahren zur Ermittlung von Grundfrequeriz-Verläufen mehrerer Signalquellen aus einer einkanaligen Audioaufnahme eines Mischsignals, umfassend die folgenden Schritte:

   a) Ermitteln der Spektrogramm-Eigenschaften der Pitchzustände einzelner Signalquellen unter Benutzung von Trainingsdaten;

   b) Ermitteln der Wahrscheinlichkeiten der möglichen Grundfrequenzkombinationen der in dem Mischsignal enthaltenen Signalquellen durch Kombination der in a) ermittelten Eigenschaften mittels eines Interaktionsniodells;

   c) Tracken der Grundfrequenzverläufe der einzelnen Signalquellen im Mischsignal unter Verwendung der in b) ermittelten Wahrscheinlichkeiten.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass in a) die Spektrogramm-Eigenschaften mittels einem Gaussian Mixture Modell (GMM) ermittelt werden.
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass weiters das Minimum-Decscription-Length Criterion angewandt wird, um die Anzahl der Komponenten des GMM zu ermittelt.
4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass in b) als Interaktionsmodell ein lineares Modell oder das MixMax-Interaktionsmodell oder das ALGONQUIN-Interaktionsmodell verwendet werden.
5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass das Tracken in c) mittels des Factorial Hidden Markov Modells (FHMM) erfolgt.
6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass zur Lösung des FHMM der Sum-Product Algorithmus oder der Max-Sum Algorithmus verwendet werden.

Images