DE602004007249T2

DE602004007249T2 - Einheitliche Behandlung von aufgelösten und nicht-aufgelösten Oberwellen

Info

Publication number: DE602004007249T2
Application number: DE200460007249
Authority: DE
Inventors: Frank Joublin; Martin Heckmann
Original assignee: Honda Research Institute Europe GmbH
Current assignee: Honda Research Institute Europe GmbH
Priority date: 2004-06-04
Filing date: 2004-08-11
Publication date: 2008-02-28
Anticipated expiration: 2024-08-12
Also published as: CN1707609B; DE602004007249D1; CN1707609A

Description

Gebiet der Erfindung
Die vorliegende Erfindung bezieht sich auf ein Verfahren zur Trennung von akustischen Schallquellen in monauralen Aufnahmen auf Basis ihrer Basis-Grundfrequenz. Insbesondere wird ein Verfahren vorgeschlagen, das die Behandlung von aufgelösten und unaufgelösten Harmonischen mit dem gleichen Algorithmus und der nachfolgenden Kombination der Ergebnisse ermöglicht.
Hintergrund
Wenn akustische Aufnahmen vorgenommen werden sind oft mehrere Schallquellen gleichzeitig vorhanden. Diese können unterschiedliche Sprachsignale, Geräusch (z.B. von Gebläsen) oder ähnliche Signale sein. Für eine weitere Analyse der Signale ist es zunächst notwendig, diese sich beeinflussenden Signale voneinander zu trennen. Herkömmliche Anwendungen sind Sprachanalyse oder akustische Szenen-Analyse. Es ist wohl bekannt, dass harmonische Signale in dem menschlichen Hörsystem auf Basis ihrer Grundfrequenz getrennt werden können (vgl. A. Bregman. Auditory Scene Analysis. MIT Press, 1990). Hierbei ist bemerkenswert, dass Sprache im allgemeinen viele stimmhafte und folglich harmonische Abschnitte aufweist.
Bei herkömmlichen Ansätzen wird das Eingangssignal mittels Band-Passfiltern in unterschiedliche Frequenzbänder aufgeteilt, und in einer späteren Stufe wird für jedes Band zu jedem Zeitpunkt ein Hinweiswert für dieses Band, um von einer gegebenen Grundfrequenz zu stammen, berechnet (eine einfache einheitliche Entscheidung kann auch interpretiert werden, derart, dass binäre Hinweiswerte verwendet werden). So vorgenommen erhält man eine dreidimensionale Beschreibung des Signals, mit der Achse: Grundfrequenz, Frequenzband und Zeit. Eine derartige Art der Darstellung ist auch in dem menschlichen Hörsystem aufzufinden (vgl. z.B. G. Langner, H. Schulze, M. Sams, und P. Heil. The topographic representation of periodicity pitch in the auditory cortex. Proc. of the NATO Adv. Study Inst. an Corp. Hearing, pages 91–97, 1998).
Basierend auf diesen zuvor berechneten Hinweiswerten können Gruppen von Bändern mit gemeinsamer Grundfrequenz gebildet werden. Folglich sind in jeder Gruppe nur die Harmonischen vorhanden, die aus einer Grundfrequenz hervorgehen und daher zu einer Schallquelle gehören. Auf diese Weise kann die Trennung der Schallquellen durchgeführt werden.
Die Berechnung des Hinweiswerts, dass eine Harmonische von einer gegebenen Grundfrequenz stammt, ist insbesondere schwierig, falls die Frequenz der zu untersuchenden Harmonischen hoch ist im Vergleich zu der Abtastfrequenz. Falls die Bandbreite der verwendeten Bandpass-Filter zur Analyse des Signals auf eine Weise ausgewählt werden, dass für hohe Frequenzen zwei oder mehr Harmonische in ein Band fallen, zeigt dieses Filterband eine Amplitudenmodulation mit der Hälfte der Grundfrequenz auf Basis der Harmonischen. Dieser Effekt ist auch bekannt als „unaufgelöste Harmonische" (siehe z.B. H. Helmholtz. Die Lehre von den Tonempfindungen. Vieweg, Braunschweig, 1863). Somit, nach der Demodulation ermöglicht die Ermittlung der Modulations-Hüllkurve die Berechnung der vorgenannten Hinweiswerte für hohe Frequenzen.
Für geringe Frequenzen ist es weniger praktikabel, die Bandbreite der Filter breit genug zu gestalten, um wenigstens zwei Harmonische infolge der resultierenden breiten Bandbreite relativ zu der Mittenfrequenz zu enthalten. Folglich ist für niedrige Frequenzen ein Verfahren zu wählen, das sich von einem für hohe Frequenzen unterscheidet. Daher ergibt sich das Problem, wie die Ergebnisse dieser zwei Verfahren zu kombinieren sind.
1 zeigt einen bekannten Ansatz zur Lösung dieses Problems. Die Nieder-Frequenzverfahren und die Hoch-Frequenzverfahren werden bei Berücksichtigung einer Grenzfrequenz f_T auf die Bänder angewandt. Dieses Verfahren besteht allerdings in der Auswahl der Ergebnisse von einem Verfahren 4 für alle Bänder unter einer gegebenen Frequenz f_T und nimmt diese des anderen Verfahrens 5 für alle verbleibenden Bänder (vgl. z.B. G. Hu und D. Wang. Monaural speech segregation based an pitch tracking and amplitude. IEEE Trans. On Neural Networks, 2004).
Gegenstand der Erfindung
In Anbetracht des Vorhergehenden besteht eine Aufgabe der vorliegenden Erfindung dann, ein effizienteres Verfahren zur Trennung von Signalquellen bereitzustellen, z. B. akustischen Schall in einem Eingangssignal.
Eine andere Aufgabe besteht darin, ein Verfahren zur Anwendung des gleichen Hinweiswerts-Berechnungsverfahren sowohl auf aufgelöste als auch auf unaufgelöste Harmonische vorzuschlagen, wobei der Hinweiswert den Umstand widerspiegelt, dass eine Harmonische von einer gegebenen Grundfrequenz stammt.
Zusammenfassung der Erfindung
Die Grundidee der Erfindung besteht darin, eine Bandpass-Filterbank auf die Modulations-Hüllkurve anzuwenden, um Informationen über die Harmonischen der Modulations-Hüllkurve zu erhalten.
Kurze Beschreibung der Ansprüche
Gemäß einem ersten Aspekt der vorliegenden Erfindung, wie er durch die beigefügten unabhängigen Ansprüche definiert ist, wird ein Verfahren zur Trennung von Schallquellen vorgeschlagen. Das Verfahren basiert auf der Filterung der Modulations-Hüllkurve mit einer Bandpass-Filterbank, wobei die Kombination der Demodulation und der Anwendung eines Bandpass-Filters auf die Modulations-Hüllkurve die Verwendung von identischen Algorithmen für aufgelöste und unaufgelöste Harmonische ermöglicht.
Gemäß einem anderen Aspekt der vorliegenden Erfindung wird ein Verfahren vorgeschlagen, um zu ermitteln, ob ein gegebenes Frequenzband eine Amplituden-Modulation zeigt. Das Verfahren umfasst den Schritt des Berechnens, ob ein gegebenes Frequenzband breit genug ist, um zwei Harmonische einer gegebenen Grundfrequenz zu enthalten.
Gemäß einem weiteren Aspekt der Erfindung wird ein Verfahren zur Kombination der Hinweiswerte von Frequenzbändern, um von einer bestimmten Grundfrequenz hervorzugehen, vorgeschlagen, wobei in Abhängigkeit von dem Ergebnis der Ermittlung während der Zusammenführung der Hinweiswert für eine gegebene Grundfrequenz, ein gegebenes Frequenzband und einen gegebenen Zeitpunkt entweder von dem Verfahren, welches bei den niedrigen Frequenzen bzw. bei den hohen Frequenzen von aufgelösten oder unaufgelösten Harmonischen arbeitet, entnommen wird.
Gemäß der Erfindung wird ferner ein Computer-Programmprodukt bereitgestellt, das dazu ausgebildet ist, die vorhergehenden Verfahren zu implementieren, wenn es auf einer Berechnungsvorrichtung abläuft.
Schließlich ist die vorliegende Erfindung gerichtet auf die Verwendung der vorhergehenden Verfahren, um akustische Schallquellen in monauralen Aufnahmen auf Basis ihrer Basis-Grundfrequenz zu trennen.
Kurze Beschreibung der Zeichnungen
Weitere Vorteile und mögliche Anwendungen der zugrunde liegenden Erfindung werden für den Fachmann aus den untergeordneten Ansprüchen als auch von der folgenden detaillierten Beschreibung in Verbindung mit den Figuren der beigefügten Zeichnungen ersichtlich.
Hierin zeigt
1 ein bekanntes Verfahren zur Anwendung eines unterschiedlichen Hinweiswert-Berechnungsverfahrens auf Niederfrequenz- und Hochfrequenz-Bänder,
2 ein Verfahren zur Anwendung des gleichen Hinweiswert-Berechnungsverfahrens auf Niederfrequenz- und Hochfrequenz-Bänder gemäß einer Ausführungsform der vorliegenden Erfindung,
3 eine weitere Ausführungsform der vorliegenden Erfindung, bei der die Frequenzbänder, die eine Amplitudenmodulation zeigen, ausgewählt werden, und
4 zeigt ein Blockdiagramm einer Vorrichtung gemäß der vorliegenden Erfindung für die Trennung von akustischen Schallquellen in monauralen Aufnahmen.
Detaillierte Beschreibung der Erfindung.
Gemäß einer ersten Ausführungsform weitet die vorliegende Erfindung die bekannten Trennungs-Verfahren für harmonische Signale aus, da sie eine Bandpass-Filterbank auf die Modulations-Hüllkurve anwendet. So vorgenommen können in der Hüllkurve vorhandene Verzerrungen und vorhandenes Rauschen signifikant reduziert werden.
Bei Verwendung einer nicht-kohärenten Amplituden-Demodulation besteht die Modulations-Hüllkurve auch aus einer Grundfrequenz, identisch zur Grundfrequenz des ursprünglichen Eingangssignals, und vielen Harmonischen (die nicht-kohärente Demodulation führt zu einer Verdopplung in der Frequenz der Hüllkurve).
2 zeigt wie ein Eingangs-Schallsignal unter Verwendung der gefilterten Modulations-Hüllkurve gemäß der vorliegenden Erfindung zu verarbeiten ist, um die harmonischen Signale und später auch die akustischen Quellen zu trennen.
Nachdem das Eingangssignal 1 mit einer Bandpass-Filterbank 2 in eine Vielzahl von n Frequenzbänder f_1,..., f_n gefiltert wurde, werden die Frequenzbänder in zwei Kategorien getrennt 3: Niederfrequenz-Bänder 12 und Hochfrequenz-Bänder 11. Die Niederfrequenz-Bänder 12 weisen aufgelöste Harmonische und die Hochfrequenz-Bänder 11 weisen unaufgelöste Harmonische auf.
Die Niederfrequenz-Bänder 12 werden durch ein spezifisches, an Niederfrequenz-Bänder angepasstes, Hinweiswert-Berechnungsverfahren verarbeitet, wie beispielsweise bekannten, auf Autokorrelation basierten Verfahren, Kreuz-(Kanal-)-Korrelations-Verfahren oder auf harmonischen Eigenschaften basierende Verfahren.
Für die Hinweiswert-Berechnung von Hochfrequenz-Bändern 11 macht die vorliegende Anwendung Verwendung von dem Umstand, dass Filterantworten auf unaufgelöste Harmonische amplitudenmoduliert sind, und dass die Antwort-Hüllkurven bei der Grundfrequenz der betrachteten akustischen Schallquelle fluktuieren.
Jedes Hochfrequenz-Band 11 wird daher demoduliert 6, um die Modulations-Hüllkurve 7 des Frequenzbands 11 zu erhalten. Die Modulation-Hüllkurve 7 wird einer Bandpass-Filterbank 8 zugeführt, welche die Frequenzbänder f'₁ bis f'_m ausgibt. Nach Anwenden einer Bandpass-Filterbank 8 auf die Modulations-Hüllkurve 7 kann ein Hinweiswert-Berechungsverfahren 10 nun auf die erhaltenen Frequenzbänder f'₁ bis f'_m (z.B. auf Basis von Autokorrelation) angewandt werden, das zu dem für die niedrigen Frequenzen 12 verwendeten identisch ist.
In einer weiteren Ausführungsform sind die Bandpass-Filterbänke 2 bzw. 8, die für die ursprüngliche Zerlegung des Eingangssignals 1 und das Filtern 8 der Hüllkurve 7 verwendet werden, identisch.
Das oben beschriebene vorgeschlagene Verfahren erhöht die Robustheit des Verfahrens unter anderem durch Berücksichtigen der Information, die in den Harmonischen der Modulations-Hüllkurve 7 enthalten ist.
3 zeigt, wie die Frequenzbänder f₁ bis f_m in zwei Gruppen von niedrigen und hohen Frequenzen getrennt werden, die aufgelöste bzw. unaufgelöste Harmonische enthalten.
Für jede Grundfrequenz wird gemäß der Hypothese, dass die Bandbreiten der ersten Analyse-Filterbank 2 bekannt sind, das Frequenzband, welches wenigstens 2 Harmonische der betrachteten Grundfrequenz enthält, berechnet. Auf diese Weise kann bestimmt werden, welche Frequenzbänder eine Amplitudenmodulation zeigen, und während der Zusammenführung werden nur die Hinweiswerte von solchen Frequenzbändern von dem Verfahren 6, 8, 10 übernommen, das bei den hohen Frequenzen arbeitet, und die verbleibenden Hinweiswerte werden von dem Verfahren 4 bestimmt, das bei den niedrigen Frequenzen arbeitet.
Unter Berücksichtigung einer Grundfrequenz f_F und eines Frequenzbands f_i, dass eine Bandbreite Δf_i aufweist, enthält das Frequenzband wenigstens zwei Harmonische der Grundfrequenz, falls folgende Gleichung verifiziert wird: n – m ≥ 1 (Gleichung 1)wobei m und n ganze Zahlen sind, definiert durch:
Die oben genannten Parameter sind in dem Beispiel 15 der 3 dargestellt, wobei das dargestellte Frequenzband vorliegend die zweite und die dritte Harmonische enthält.
Da der ganzzahlige Teil [X] eines reellen Arguments X definiert ist durch:
[X], eine ganze Zahl, und [X] ≤ X < [X] + 1, (Gleichung 4) ist die ganze Zahl n der ganzzahlige Teil des reellen Wertes
Von den Gleichungen 2 und 4 kann auch abgeleitet werden, dass die ganze Zahl m das Entgegengesetzte des ganzzahligen Teils des reellen Werts
Folglich weist für die Grundfrequenz f_F das Frequenzband f_i wenigstens zwei Harmonische der Grenzfrequenz f_F auf, falls folgende Gleichung gilt:
Durch Verifizieren der Gültigkeit von Gleichung 5 für jedes Frequenzband können die Bänder, die wenigstens zwei Harmonische einer gegebenen Grundfrequenz enthalten, ausgewählt werden 14.
Folglich zeigen einerseits alle Bänder, die die Gleichung 5 nicht erfüllen, aufgelöste Harmonische und werden mit dem Verfahren für niedrige Frequenzen behandelt 4. Andererseits enthalten die Bänder, welche die Gleichung 5 erfüllen, unaufgelöste Harmonische, und werden durch das oben beschriebene Verfahren der vorliegenden Erfindung behandelt, bestehend aus dem Demodulieren 6 der Hüllkurve 7, Bandpass-Filtern 8 der Hüllkurve in Frequenzbänder f'₁ bis f'_m, und Anwenden 10 des Verfahrens für niedrige Frequenzen auf die Frequenzbänder f'₁ bis f'_m.
4 zeigt ein Blockdiagramm einer Vorrichtung gemäß der vorliegenden Erfindung zur Verwendung für die Trennung von akustischen Schallquellen in monauralen Aufnahmen.
Ein Schallsignal wird durch ein Mikrofon 21 aufgenommen und durch einen Vorverstärker 22 geleitet. Eine Bandpass-Filterbank 23 erzeugt dann n unterschiedliche benachbarte Frequenzbänder f₁ bis f_n. Eine Trenneinheit 24 hat dann die Obhut der Trennung der aufgelösten 12 und unaufgelösten Harmonischen 11 in zwei verschiedene Gruppen.
Die erste Gruppe 12 von aufgelösten Harmonischen, das heißt, jedes Niederfrequenz-Band, wird mittels eines Auto-Korrelators 25 verarbeitet, um einen Hinweiswert für dieses Frequenzband, um von einer gegebenen Grundfrequenz zu stammen, zu berechnen. Der Auto-Korrelator 25 kann durch irgendeine andere Einheit ausgetauscht werden, die dazu geeignet ist, niedrige Frequenzen zu bearbeiten. Das Ergebnis des Auto-Korrelators 25 wird einer Frequenzen-Kombinationseinheit 31 zugeführt.
Die zweite Gruppe 11 von unaufgelösten Harmonischen, das heißt jedes Hochfrequenz-Band, wird zunächst mittels einer Gleichrichtungs-Einheit 26 und dann durch einen Tiefpass-Filter 27 verarbeitet, um die Modulations-Hüllkurve 7 des Frequenzbands 11 zu erzeugen. Die Hüllkurve 7 wird durch eine Bandpass-Filterbank 28 gefiltert, die identisch zu der Bandpass-Filterbank 23 sein kann. Die Hüllkurve 7 wird dadurch in Frequenzbänder f'₁ bis f'_m aufgeteilt und jedes Band f'₁ bis f'_m wird einem Auto-Korrelator 29 zugeführt. Das Ergebnis der m Auto-Korrelatoren 29 wird dann einem Maximum-Detektor 30 zugeführt, dessen Ergebnis der Frequenzen-Kombinationseinheit 31 zugeführt wird.
Die letzte Einheit der Vorrichtung 20 ist eine Frequenzen-Kombinationseinheit 31 mit n Eingaben und 1 Ausgabe. Jeder Eingabe wird die Ausgabe des Blocks 25 von aufgelösten Harmonischen oder des Blocks von unaufgelösten Harmonischen 26–30 zugeführt, wobei jeder Block ein Niederfrequenz-Band 12 bzw. ein Hochfrequenz-Band 11 verarbeitet. Alternativ zeigt bzw. umfasst die Frequenzen-Kombinationseinheit 31 nur zwei Eingaben: die erste Eingabe zum sequentiellen Zuführen der Verarbeitungsergebnisse aller Niederfrequenz-Bänder und die zweite Eingabe zum sequentiellen Zuführen der Verarbeitungsergebnisse aller Hochfrequenz-Bänder. Die Ausgabe der Vorrichtung 20 und der Frequenzen-Kombinationseinheit 31 wird einer Vorrichtung zugeführt, die für die wirksame Schalltrennung verantwortlich ist.
2 und 4 veranschaulichen den Umstand, dass gemäß der vorliegenden Erfindung das Verfahren 4, 10 und die Einheit 25, 29 – verantwortlich für die Hinweiswert-Berechnung – für aufgelöste und für unaufgelöste Harmonische die gleichen sind.

Claims

Verfahren zur Trennung von Schallquellen, wobei das Verfahren die folgenden Schritte aufweist: – Bandpass-Filtern eines Eingangs-Signals (1) in eine Vielzahl von Frequenzbänder (f₁ _,..., fn) durch Verwendung einer Bandpass-Filterbank (2); – Auswählen eines Hochfrequenz-Bands oder einer Vielzahl von Hochfrequenz-Bändern (11) aus der Vielzahl von Frequenzbändern; – Demodulieren jedes Hochfrequenz-Bands (11), um eine Modulations-Hüllkurve (7) des Frequenz-Bands (11) zu erhalten; – Anwenden einer Bandpass-Filterbank (8) auf die Modulations-Hüllkurve (7), um neue Frequenzbänder (f'₁ _,..., f'm) zu erhalten; – Anwenden eines Hinweiswerts-Berechungsverfahrens (10) auf jedes der erhaltenen neuen Frequenzbänder (f'₁ _,..., f'm).
Verfahren nach Anspruch 1, wobei der Schritt des Auswählen eines Hochfrequenz-Bands oder einer Vielzahl von Hochfrequenz-Bändern (11) den folgenden Schritt aufweist: – Berechnen, ob ein gegebenes Frequenzband (f_1,..., fn) breit genug ist, um zwei Harmonische einer gegebenen Grundfrequenz zu enthalten.
Verfahren nach Anspruch 2, wobei der Schritt des Berechnens die Berechnung umfasst, ob:
wobei f_F eine Grundfrequenz ist und f_i eine Frequenz eines Frequenzbands ist, das eine Bandbreite Δf_i aufweist.
Computer-Programmprodukt, wobei das Computer-Programmprodukt jeden Schritt der Schritte eines Verfahrens nach einem der vorangehenden Ansprüche implementiert, wenn es auf einer Berechnungsvorrichtung abläuft.
Berechnungsvorrichtung, wobei die Berechnungsvorrichtung dazu ausgebildet ist, jeden Schritt der Schritte eines Verfahrens nach einem der Ansprüche 1 bis 3 auszuführen.
Verwendung eines Verfahrens nach einem der Ansprüche 1 bis 3, um akustische Schallquellen in monauralen Aufnahmen auf Basis ihrer Basis-Grundfrequenz zu trennen.