DE4239506A1 - Verfahren zur bitratenreduzierenden Quellcodierung für die Übertragung und Speicherung von digitalen Tonsignalen - Google Patents

Description

Bei der Übertragung oder Speicherung von digitalen Tonsignalen werden inzwischen vielfach irrelevanzreduzierende Quellcodierverfahren zur Reduktion der Datenrate der digitalen Tonsignale eingesetzt. Die Codierung erfolgt dabei meist in mehreren Schritten. Bei einem aus der DE 36 39 753 C1 bekannten Verfahren zur Codierung von digitalen Tonsignalen wird das zu codierende Tonsignal zunächst in mehrere Teilbänder aufgeteilt. Jedes so erzeugte Teilbandsignal wird entsprechend einer Quantisierungsvorschrift, die vorher in einer Analyseschaltung gewonnen wurde, neu quantisiert, bevor die Teilbandsignale übertragen oder gespeichert werden. Bei bekannten Transformationscodierverfahren wird das zu codierende Tonsignal mittels einer Transformation in den Frequenzbereich in mehrere spektrale Abtastwerte zerlegt, die neu entsprechend einer Quantisierungsvorschrift quantisiert werden, die vorher in einer Analyseschaltung gewonnen wurde. Erst dann werden die spektralen Abtastwerte übertragen oder gespeichert.

Neben den neu quantisierten zeitlichen oder frequenzmäßigen Abtastwerten wird eine Menge zusätzlicher Informationen übertragen, wie z. B. ein Extrakt aus der Codiervorschrift, die zur coderseitigen Umquantisierung verwendet wurde, und der Decoder-Schaltung mitgeteilt werden muß, damit diese die Umquantisierung in Form einer Rückquantisierung rückgängig machen kann. Ebenso ist es üblich, sogenannte Skalenfaktoren zu übertragen, welche Exponenten für die eigentlichen Abtastwerte darstellen und eine Fließkomma-Darstellung der Abtastwerte erlauben.

Die Quantisierung der Abtastwerte soll bei allen Verfahren aufgrund der angestrebten Datenreduktion so grob wie möglich erfolgen, andererseits aber auch so fein, daß bei der Wiedergabe der Tonsignale möglichst kein Unterschied zum Original hörbar wird.

Für die Bestimmung der erforderlichen Genauigkeit der Quantisierung, die coderseitig innerhalb einer Signal-Analyse-Schaltung ermittelt wird, kann man die bekannten psychoakustischen Gesetzmäßigkeiten des menschlichen Gehörs und der damit verbundenen gegenseitigen Verdeckung von spektralen Tonsignal-Anteilen untereinander ausnutzen. Ebenso können die Effekte der Vor- und Nachverdeckung durch Schallereignisse ausgenutzt werden.

Bei der Berechnung der Quantisierungsanweisung, beispielsweise bei dem Datenreduktionsverfahren nach der DE 36 39 753 C1, wird in der Analyseschaltung versucht, nach psychoakustischen Gesichtspunkten eine Anweisung zur Quantisierung zu ermitteln. Die Art der Codierung des Datenstromes jedoch bleibt festgelegt: Der in seiner Datenrate reduzierte, das digitale Tonsignal beschreibende Datenstrom besteht im wesentlichen immer aus Abtastwerten, Skalenfaktoren und Quantisierungsanweisungen. Die Festlegung, diese drei signalbeschreibenden Charakteristika als Code-Elemente zu verwenden, wird empirisch vorgenommen, teilweise aufgrund von bisher gemachten Erfahrungen mit biratenreduzierenden Quellcodierverfahren, teilweise aufgrund von Hörversuchen.

Es hat sich jedoch gezeigt, daß dieses Datenreduktionsverfahren bei Codierung mit niedrigen Datenraten von z. B. 64 kBit/s pro monofonem Tonkanal bei vertretbarem Aufwand noch nicht effizient genug ist, um hörbare Codierungseffekte auch bei kritischen Signalen auszuschließen.

Die Aufgabe der Erfindung besteht darin, bei bitratenreduzierenden Quellcodierungsverfahren die Effizienz zu erhöhen.

Diese Aufgabe wird erfindungsgemäß durch die kennzeichnenden Merkmale des Anspruchs 1 gelöst.

Vorteilhafte Weiterbildungen und Ausgestaltungen ergeben sich aus den Unteransprüchen.

Die Erfindung geht von der Überlegung aus, daß bei Verwendung ganz anderer signalbeschreibenden Charakteristika als den eingangs erwähnten Charakteristika eine weit effizientere Datenreduktion zu erwarten ist, wobei jedoch bislang keine besser geeigneten Charakteristika bekannt waren. Eine alternative Überlegung zielt darin, die bisher verwendeten, signalbeschreibenden Charakteristika in effizienterer Weise einzusetzen. Dies ist insbesondere dann notwendig, wenn man aus Kompatibilitätsgründen für die Übertragung der Speicherung einen Datenstrom codieren will, welcher die bekannten, signalbeschreibenden Charakteristika enthält.

Zur Verwirklichung des erfindungsgemäßen Verfahrens wird vorgeschlagen,

• - mit Hilfe eines selbst lernenden Netzwerkes Charakteristika zu ermitteln, die besser als die bei herkömmlichen Verfahren verwendeten Charakteristika sind,
• - oder mit Hilfe eines selbst lernenden Netzwerkes eine Transformation der Tonsignal-Abtastwerte zu ermitteln und zu verwenden, die den Eigenschaften des menschlichen Gehörs besser angepaßt ist als die bei herkömmlichen Verfahren verwendete Teilbandfilterung oder Spektraltransformation,
• - die ermittelten Charakteristika bei der Übertragung und Speicherung von Tonsignalen zur Signalbeschreibung innerhalb des in seiner Datenrate reduzierten Datenstromes zu verwenden,
• - zur Codierung bzw. Decodierung ein neuronales Netzwerk oder eine damit verwandte unscharfe Logik zu verwenden, die ebenfalls mit den besser geeigneten Charakteristika arbeitet,
• - zur Berechnung der Bitzuweisung für die Charakteristika, gleich welcher Art diese sind, ein neuronales Netzwerk oder eine damit verwandte unscharfe Logik zu verwenden, welche Koeffizienten benutzt, die vorher mit Hilfe eines selbst lernenden Netzwerkes als besonders effektiv erkannt wurden,
• - zur Umwandlung der vorher, z. B. mit Hilfe der Psychoakustik, ermittelten Bitzuweisung in eine endgültige, dem Datenrahmen angepaßte Bitzuweisung ein neuronales Netzwerk oder eine damit verwandte unscharfe Logik zu verwenden, welche Koeffizienten benutzt, die vorher mit Hilfe eines selbst lernenden Netzwerkes als besonders effektiv erkannt wurden.

Dem Verfahren liegt die weitere Überlegung zugrunde, daß bei Anwendung der Irrelevanzreduktion generell versucht wird, die Eigenschaften des menschlichen Gehörs derart auszunutzen, daß

• - nur diejenigen Signalanteile übertragen werden müssen, welche auch tatsächlich wahrgenommen werden können, und daß
• - Störsignale, welche eine Verringerung der Datenrate erlauben, bis zu dem Maß zugelassen werden können, als sie nicht hörbar werden.

In beiden Punkten greift man auf Erkenntnisse der Psychoakustik zurück, um die zulässigen Parameter festzulegen und daraufaufbauend ein entsprechendes Verfahren zur Quellencodierung zu realisieren.

In jedem Fall stellt aber ein irrelevanzreduzierendes Quellcodierverfahren eine zumindest teilweise Adaption der technischen Signalverarbeitung an die Funktionen der Gehörwahrnehmung dar. Die Wahrnehmungs-Eigenschaften des menschlichen Gehörs sind jedoch bisher nur in sehr wenigen Punkten und für wenige Schallsignale bekannt, die durch sehr aufwendige Hörversuche ermittelt wurden, wie z. B. in Zwicker: "Das menschliche Ohr als Nachrichtenempfänger" dargestellt.

Generell ist bei der Verarbeitung von Tonsignalen durch das menschliche Gehör zwischen physiologischen und neurologischen Vorgängen zu unterscheiden.

Physiologisch wird im Innenohr das Schallsignal mechanisch verstärkt und durch die Cochlea spektral aufgeteilt. Neurologisch werden die Spektralanteile mittels Hörnerven dem Gehirn zugeführt. Die Ankopplung zwischen Schallwandler und Gehirn geschieht dabei in mehreren, neuronal aufgebauten Stufen, die informationstheoretisch stark unterschiedliche Strukturen in ihrer Signalverarbeitung aufweisen. Diese neuronal aufgebauten Stufen schränken die Menge der vom Gehirn weiterzuverarbeitenden Informationen ein, was man als Entfernung der Irrelevanz aus den Schallsignalen bezeichnen kann. Die Nachbildung dieser Irrelevanzverminderung ist bisher mit technischen Strukturen vorgenommen worden, welche von ihrem Verhalten und ihrem -Aufbau mit den neuronal aufgebauten Stufen des Gehörs wenig gemeinsam hatten, was deren begrenzte Effektivität erklärt. Um die neurologischen Vorgänge bei der Gehörwahrnehmung bei der Bitratenreduktion besser als bisher nachzubilden, werden erfindungsgemäß technische Realisierungen für neuronale Netze wie auch für damit verwandte unscharfe Logik zur Quellcodierung bzw. Decodierung von Tonsignalen verwendet.

Neuronale Netze sind in der Lage,

• - selbständig Merkmale aus empfangenen Informationen zu extrahieren und zu klassifizieren,
• - die von ihnen durchgeführte Signalverarbeitung selbständig nach vorgegebenen Richtlinien zu optimieren.

Für die Bestimmung der signalbeschreibenden Charakteristika des Datenstromes eines codierten Tonsignales unter Verwendung eines neuronalen Netzes gibt es mehrere alternative Möglichkeiten a) bis c):

• a) Die eigentliche Codierung und Decodierung wird von einem neuronalen Netz durchgeführt. Als Anfangswerte können hierbei sogar bekannte signalbeschreibende Charakteristika verwendet werden, welche in der Lernphase des neuronalen Netzwerkes von diesem selbständig oder durch forciertes Lernen nach dem vorgegeben Parameter einer weitreichenderen Datenreduktion abgeändert und optimiert werden. Wenn die Lernphase des Netzwerkes abgeschlossen ist, werden die Koeffizienten und die Struktur des neuronalen Netzwerkes "eingefroren". Es arbeitet fortan als Schaltungsanordnung mit "fester" Verfahrensweise.
• b) Die Codierung des Tonsignals wird wie üblich in einer konventionellen Codier-Schaltung unter Verwendung bekannter signalbeschreibender Charakteristika durchgeführt. Dagegen wird die Bitzuweisung in einer getrennten Signal-Analyse-Schaltung gewonnen, welche im Gegensatz zu herkömmlichen Verfahren durch ein neuronales Netzwerk repräsentiert wird. Die innerhalb der so aufgebauten Signal-Analyse-Schaltung gewonnene Bitzuweisung, welche bedeutend besser an die Erfordernisse der Gehörwahrnehmung angepaßt sein kann als dies bei herkömmlichen Verfahren der Fall ist, wird dann an die konventionelle Codier-Schaltung zur Ausführung weitergegeben.
• c) Die Tonsignal-Abtastwerte werden vor der Codierung in einen Bildbereich transformiert, der die notwendigen Eigenschaften besitzt, um bei der Decodierung durch eine Umkehrtransformation die ursprünglichen Abtastwerte rekonstruieren zu können. Die Transformation wird durch einen Satz von Koeffizienten beschrieben, der im Gegensatz zu den herkömmlichen Quellcodierverfahren mit Hilfe eines neuronalen Netzwerkes oder einer damit verwandten unscharfen Logik an die Eigenschaften des menschlichen Gehörs optimal angepaßt worden ist.

Dabei wird erforderlichenfalls die Signalanalyse und die Codierung wie unter a) oder b) beschrieben durchgeführt. Eine Optimierung der Transformation läßt sich - außer für die Codierung - auch für die Anwendung in der Signalanalyse durchführen.

Das erfindungsgemaße Verfahren wird anhand der Fig. 1 und 2 beschrieben. Es zeigt:

Fig. 1 eine grundsätzliche Anordnung für einen Quellencoder und einen Quellendecoder unter Verwendung von neuronalen Netzwerken, und

Fig. 2 eine Anordnung für einen Quellencoder und einen Quellendecoder unter Verwendung von neuronalen Netzwerken oder einer damit verwandten unscharfen Logik mit zusätzlichen Vor- und Nach-Verarbeitungsschritten sowie einer getrennten optionalen Signal-Analyse-Schaltung.

Die in Fig. 1 gezeigte Anordnung kann sowohl für den Prozeß der Quellcodierung als auch für den Prozeß der Quelldecodierung ein neuronales Netzwerk oder eine damit verwandte unscharfe Logik verwenden. Die Darstellung ist sehr vereinfacht. Das bitsparend zu codierende Tonsignal 10 wird im Quellencoder 1, der durch ein neuronales Netzwerk oder eine damit verwandte unscharfe Logik repräsentiert ist, in seiner Bitrate reduziert und innerhalb des Datenstromes 20 mittels besonders geeigneter Charakteristika dargestellt. Der Datenstrom 20 wird nach einer eventuellen Übertragung oder Speicherung durch den Quellendecoder 2 decodiert, welcher ebenfalls durch ein neuronales Netzwerk oder eine damit verwandte unscharfe Logik repräsentiert wird, um ein decodiertes Signal 30 zu erhalten.

In der Praxis wird die Ausgestaltung des Quellencoders bzw. Quellendecoders häufig komplizierter aussehen, wie beispielhaft in Fig. 2 dargestellt ist. Sowohl für die optional getrennte Analyse in der Analyseschaltung 3 als auch für die eigentliche Codierung in einem neuronalen Netzwerk oder einer unscharfen Logik 4 und für die Decodierung in einem neuronalen Netzwerk oder einer unscharfen Logik 5 ist es teilweise vorteilhaft, vor der Verarbeitung eine Vorverarbeitung des Signales (Block 6 bzw. 8) vorzunehmen und/oder nach der Verarbeitung in einem neuronalen Netzwerk oder einer wahlweise verwendbaren unscharfen Logik eine Nachbearbeitung (Block 7 bzw. 9) des Signales vorzusehen.

Die Vorverarbeitung kann hierbei eine Transformation des Signales in den Frequenzbereich, den Bereich der Teilband-Zeitwerte oder einen anderen (eventuell auch durch ein neuronales Netzwerk optimierten) Bildbereich sein, auf deren Basis sich die psychoakustischen Eigenschaften in der nachgeschalteten Analyseschaltung 3 (welche ebenfalls ein neuronales Netzwerk sein kann) besonders gut erkennen lassen. Die Vorverarbeitung kann auch, eventuell zusätzlich zu der Transformation, eine Normierung des Signales sein. Als Nachbearbeitung kommt ebenfalls eine Normierung des Signales in Betracht oder z. B. eine Anpassungsschaltung für das quellencodierte Signal 20 an die Erfordernisse der Übertragungskanales zwischen den Blöcken 7 und 8.

Neuronale Netzwerke bestehen in der Regel aus mehreren sogenannten Schichten. Es ist durchaus sinnvoll, innerhalb des neuronalen Netzwerkes 4 oder aber bei Verwendung eines neuronalen Netzwerkes in einer getrennten Analyseschaltung 3 in einer Zwischenschicht des neuronalen Netzwerkes (also nicht der Eingangs- oder Ausgangsschicht) bekannte psychoakustische Signal-Parameter wie Frequenz und Pegel von tonalen und rauschartigen Maskierern zu detektieren bzw. den Aktivitätspotentialen der simulierten Neuronen zuzuweisen.

Claims (10)

1. Verfahren zur bitratenreduzierenden Quellcodierung für die Übertragung und Speicherung von digitalen Tonsignalen, dadurch gekennzeichnet, daß zur Durchführung der gesamten Codierung bzw. Decodierung oder von Teilen der Codierung bzw. Decodierung ein neuronales Netzwerk oder eine damit verwandte unscharfe Logik verwendet wird.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß der Datenstrom, welcher aus tonsignalbeschreibenden Charakteristika besteht, durch ein neuronales Netzwerk oder eine damit verwandte unscharfe Logik gebildet wird.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß die Ermittlung der Codierungsanweisung bzw. Bitzuweisung für die nachfolgende Codierung durch ein neuronales Netzwerk oder eine damit verwandte unscharfe Logik erfolgt.

4. Verfahren nach Anspruch 1, 2 oder 3, dadurch gekennzeichnet, daß als Eingangssignal für das neuronale Netzwerk oder die damit verwandte unscharfe Logik das in den Frequenzbereich transformierte, zu codierende Signal verwendet wird.

5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, daß als Eingangssignal für das neuronale Netzwerk oder die damit verwandte unscharfe Logik die Frequenz und der Pegel von tonalen und/ oder rauschartigen Maskierern verwendet wird.

6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, daß in einer Zwischenschicht des neuronalen Netzwerks oder der damit verwandten unscharfen Logik die Frequenz und der Pegel von tonalen und/oder rauschartigen Maskierern realisiert wird.

7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, daß die Eingangssignale für das neuronale Netzwerk oder die damit verwandte unscharfe Logik zur Anpassung des Datenumfanges zuvor normiert werden.

8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, daß die Ausgangssignale des neuronalen Netzwerks oder der unscharfen Logik zur Anpassung des Datenumfanges den Erfordernissen des anzusteuernden Codierers angepaßt und normiert werden.

9. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, daß die zuvor ermittelte Codierungsanweisung bzw. Bitzuweisungs-Anforderung in eine - einem gegebenenfalls geforderten Datenrahmen - angepaßte Codierungsanweisung bzw. Bitzuweisung für die nachfolgende Codierung umgewandelt wird, und daß die Umwandlung mit Hilfe eines neuronalen Netzwerkes oder einer damit verwandten unscharfen Logik erfolgt.

10. Verfahren nach einem der Ansprüche 4 bis 9, dadurch gekennzeichnet, daß zur Transformation der Tonsignal-Abtastwerte bei der Codierung sowie zur Umkehrtransformation der Bildbereichs-Abtastwerte bei der Decodierung ein Satz von Koeffizienten verwendet wird, welcher mit Hilfe eines neuronalen Netzwerkes oder der damit verwandten unscharfen Logik an die Eigenschaften des menschlichen Gehörs optimal angepaßt wird.