DE69028675T2

DE69028675T2 - Wahrnehmungsgebundene Kodierung von Audiosignalen

Info

Publication number: DE69028675T2
Application number: DE69028675T
Authority: DE
Inventors: Karlheinz Brandenburg; James David Johnston
Original assignee: AT&T Corp
Current assignee: AT&T Corp
Priority date: 1989-10-18
Filing date: 1990-10-10
Publication date: 1997-02-13
Anticipated expiration: 2010-10-11
Also published as: EP0424016A2; EP0424016B1; CA2027136A1; JPH03144700A; KR100209870B1; USRE36714E; KR910008975A; US5040217A; CA2027136C; DE69028675D1; EP0424016A3; JP2756515B2; HK220296A

Description

Die vorliegende Erfindung betrifft Verfahren zur Verarbeitung einer geordneten zeitlichen Aufeinanderfolge von Audiosignalen.
Es besteht ein großer Bedarf an Verbraucher-, Industrie-, Studio- und Laborprodukten zum Speichern, Verarbeiten und Übermitteln von Audiosignalen hoher Güte. So zum Beispiel haben sogenannte Compact-Disc-(CD-)Digitalaufzeichnungen für Musik die lange populären Schallplatten ersetzt. In jüngster Zeit versprechen Digitaltonband-(DAT-)Einrichtungen weitere Verbesserungen und Bequemlichkeit bei Audioanwendungen hoher Güte. Siehe zum Beispiel Tan und Vermeulen, "Digital audio tape for data storage", IEEE Spectrum, Oktober 1989, S. 34-38. Das neue Interesse an Hochzeilenfernsehen (HDTV) hat die Betrachtungen auch dahingehend vorangetrieben, wie bei derartigen Systemen ein hochwertiger Audioteil effizient bereitgestellt werden kann.
Im Handel erhältliche CD- und DAT-Systeme verwenden zwar ausgeklügelte Paritäts- und Fehlerkorrekturcodes, doch existiert für hochwertige Audiosignale bei diesen Einrichtungen gegenwärtig keine Norm zum effizienten Codieren von Ursprungsinformationen. Tan und Vermeulen (siehe oben) merken an, daß zum Steigern der Kapazität und der Übertragungsrate bei DAT-Einrichtungen um einen Faktor von 10 über Zeit unter anderem (unspezifizierte) Datenkompression verwendet werden kann.
Es ist seit langer Zeit bekannt, daß menschliche Gehörempfindlichkeit durch Niederfrequenzrauschen oder weniger wünschenswerte Niederfrequenz-Tonsignale maskiert werden kann. Siehe B. Scharf, "Critical Bands", Kapitel 5 in J.V. Tobias, Foundations of Modern Auditory Theory [Grundlagen der modernen Theorie des Hörens], Academic Press, New York, 1970. Diese Effekte sind bei der Konstruktion von Codierern für Audiosignale ausgenutzt worden. Siehe zum Beispiel M.R. Schroeder et al., "Optimizing Digital Speech Coders By Exploiting Masking Properties of the Human Ear", Journal of the Acoustical Society of America, Band 66, S. 1647-1652, Dezember 1979.
"'MSC':Stereo Audio Coding with CD-Quality and 256 IT/SEC", IEEE Trans. on Consumer Electronics, Band CE-33, Nr. 4, November 1987, von E.F. Schroeder und H.J. Platte beschreibt eine perzeptorische Codierprozedur mit möglicher Anwendung auf CD.
In J.D. Johnston, "Transform Coding of Audio Signals Using Perceptual Noise Criteria", IEEE Trans. on Selected Areas in Communications, Februar 1988, S. 314- 434 werden verbesserte, perzeptorische Codiertechniken für Audiosignale offenbart. Besonders verwenden die in diesem Referat beschriebenen Systeme ein menschliches Gehörmodell, um eine kurzzeitige spektrale Maskierungsfunktion abzuleiten, die in einem Transformationscodierer realisiert wird. Die Bitraten werden reduziert, indem auf der Basis der Signalfrequenzanalyse und der Maskier funktion die Redundanz herausgezogen wird. Die Techniken verwenden ein sogenanntes "Tonalitäts-"Maß, das die Form des Spektrums über den sogenannten kritischen Bändern des zu kodierenden Signals anzeigt, um die Effekte des Quantisierungsrauschens besser zu steuern.
Gemäß der vorliegenden Erfindung wird ein Verfahren nach Anspruch 1 bereitgestellt.
Die vorliegende Erfindung verbessert die in dem angeführten Referat von Johnston beschriebenen, auf der Tonalität basierenden perzeptorischen Codiertechniken. Zu diesen Verbesserungen zählt die Verwendung einer frequenzzeilenweisen Analyse anstatt einer Analyse über die Breite des Spektrums beim Berechnen der Tonalitätsmetrikwerte. Diese zeilenweise Berechnung basiert vorteilhafterweise auf einer Vorgeschichte aufeinanderfolgender Rahmen des Eingangsleistungsspektrums anstatt lediglich auf dem aktuellen Rahmen. Die vorliegende Erfindung bestimmt dann vorteilhafterweise verbesserte Abschätzungen von perzeptorischen Schwellwerten auf einer zeilenweisen Basis anstatt auf einer Basis einzelner kritischer Bänder. In Fällen, wo dies angebracht ist, kann der Maskierungsschwellwert des kritischen Bandes verwendet werden.
Insbesondere verwendet der Tonalitätsschätzwert der vorliegenden Erfindung vorteilhafterweise eine Meßzahl aus mehreren der zurückliegenden Zeitrahmen, in der Regel zwei, um im aktuellen Zeitrahmen den Wert einer gegebenen Leistungsspektrumsfrequenzzeile vorauszusagen. Das Merkmal dieses Prozesses ist die Verwendung einer Euklidischen Entfernung zwischen der vorausgesagten Zeile und der tatsächlichen Zeile in einem gegenwärtigen Rahmen, um die Tonalität (beziehungsweise die Verrauschtheit) jeder Spektralzeile abzuschätzen. Bei diesen Berechnungen stellt es sich als zweckmäßig heraus, unter Verwendung der vorausgesagten Werte und der Istwerte eine Normierung der Schätzwerte durchzuführen. Diese Tonalitätsschätzwerte können dann zum Beispiel auf der Basis eines kritischen Bandes kombiniert werden, um einen Schätzwert der Ist-Tonalität zu erhalten. Dies wird für jede Frequenz durchgeführt, um die rauschmaskierenden Schwellwerte zu bestimmen, die beim Quantisieren der schließlich für Aufnahme, Sendung oder sonstige Verwendung zu codierenden Frequenzinformationen verwendet werden sollen. Verfügbare Bit werden zugeordnet, um die Werte für jede Frequenz auf der Basis des berechneten Schwellwerts zu quantisieren; wenn der Schwellwert hoch liegt, werden weniger Bit benötigt, wohingegen bei niedrigem Schwellwert eine feinere Quantisierung (niedrigeres Quantisierrauschen) erforderlich ist.
Bei einer alternativen Umsetzung gewisser Aspekte des verbesserten Maskierungsschwellwertbestimmungsprozesses der vorliegenden Erfindung wird eine in der Technik bekannte Streuoperation, zum Beispiel die in dem oben zitierten Referat von Schroeder et al. allgemein beschriebene, verwendet.
Die das Signal charakterisierenden Schwellwertinformationen und Spektralinformationen können dann zu einem Übertragungskanal oder einem Aufzeichnungsmedium gesendet werden, von dem es zur Decodierung und Verwendung gewonnen werden kann.
Weitere Merkmale und Verbesserungen der vorliegenden Erfindung ergeben sich aus der folgenden, ausführlichen beispielhaften Beschreibung.

Kurze Beschreibung der Zeichnung

Figur 1 ist ein Blockdiagramm eines auf der vorliegenden Erfindung basierenden Gesamtsystems;
Figur 2 ist ein Flußdiagramm, das die bei einem Ausführungsbeispiel eines Codierers verwendete Maskierungsschwellwertverarbeitung illustriert; und
Figuren 3A-D zeigen die Effekte des Verarbeitens in verschiedenen Stadien der Codierung bei einem Ausführungsbeispiel.

Ausführliche Beschreibung

Um die vorliegende Offenbarung zu vereinfachen, wird auf J.D. Johnston, "Transform Coding of Audio Signals Using Perceptual Noise Criteria", IEEE Journal on Selected Areas in Communications, Band 6, Nr. 2, Februar 1988 und auf die von K. Brandenburg am 10. März 1988 eingereichte internationale Patentanmeldung (PCT) WO 88/01811 Bezug genommen.
Der allgemeine Zusammenhang des vorliegenden erfinderischen Beitrags wird am ehesten im Zusammenhang eines Transformationscodierers des Typs, wie er in der Technik gut bekannt ist und zum Beispiel in den oben angegebenen Referaten von Johnston und Schroeder et al. beschrieben ist, eine Anwendung finden.
Siehe auch zum Beispiel N.S. Jayant und P. Noll, Digital Codina of Waveforms - Principles and Applications to Speech and Video [Digitale Codierung von Wellenformen - Grundlagen und Anwendungen auf Sprache und Bild], insbesondere Kapitel 12, "Transform Coding" [Transformationscodierung].
Die Anmeldung WO 88/01811 beschreibt den sogenannten OCF-Codierer, der als eine Alternative zum Transformationscodierer verwendet werden kann.
Figur 1 offenbart die Gesamtorganisation eines auf der vorliegenden Erfindung basierenden Systems. In dieser Figur wird ein analoges Signal an Eingang 100 an einen Vorprozessor 105 angelegt, wo es (in der Regel mit 32 kHz) abgetastet wird, und jeder Abtastwert wird auf normale Weise in eine digitale Folge (von in der Regel 16 Bit) umgewandelt. Der Vorprozessor 105 gruppiert dann diese digitalen Werte zu Rahmen (beziehungsweise Blöcken oder Mengen) aus zum Beispiel 512 digitalen Werten, die zum Beispiel 16 ms an Audio-Eingangssignal entsprechen.
Es stellt sich auch als vorteilhaft heraus, zusammenhängende Rahmen zu überlappen, in der Regel in einem Umfang von 50%. Das heißt, daß obwohl jeder Rahmen 512 geordnete digitale Werte enthält, 256 dieser Werte vom vorausgehenden 512-Werte-Rahmen wiederholt werden. Somit erscheint jeder eingegebene digitale Wert in zwei aufeinanderfolgenden Rahmen, zuerst als Teil der zweiten Hälfte des Rahmens und dann als Teil der ersten Hälfte des Rahmens.
Diese Rahmen werden dann auf übliche Weise zum Beispiel unter Verwendung der modifizierten diskreten Cosinus-Transformation (MDCT), die in Princen, J., et al., "Sub-band Transform Coding Using Filter Bank Designs Based on Time Domain Aliasing Cancellation", IEEE ICASSP, 1987, S. 2161-2164 beschrieben wird, transformiert. Die gutbekannte kurzfristige Fast Fourier-Transformation (FFT) kann in einer ihrer Standardformen für eine derartige Verwendung angepaßt werden, wie dem Fachmann klar sein wird. Die Menge von 257 komplexen Koeffizienten (Nullfrequenz, Nyquist-Frequenz und alle dazwischenliegenden Frequenzen), die sich aus der MDCT ergeben, stellt das kurzfristige Frequenzspektrum des Eingangssignals dar.
Die komplexen Koeffizienten werden zweckmäßigerweise in Polarkoordinaten beziehungsweise in Amplituden- und Phasenkomponenten, die im Folgenden als "r" und "phi" gekennzeichnet sind, dargestellt.
Es ist zwar in Figur 1 nicht ausführlich gezeigt, doch kann die vorliegende Erfindung vorteilhafterweise bekannte "Vorecho-" und dynamische Fenstertechniken verwenden. Diese sind zwar wahlweise, doch wird die folgende Erörterung zeigen, wie derartige Techniken in ein auf der vorliegenden Erfindung basierendes System eingebaut werden können.
Der in Figur 1 gezeigte perzeptorische Codierblock 110 enthält die perzeptorischen Maskierungsabschätzungsverbesserungen der vorliegenden Erfindung und wird unten ausführlich beschrieben. Der Quantisierer- Codierer-Block 115 in Figur 1 enthält den oben erwähnten Transformationscodierer oder OCF-odierer. Ebenfalls enthalten sind die Bitzuweisungstechniken und Mittel zum Erzeugen codierter Darstellungen der entsprechenden, bei der Decodierung zu verwendenden Nebeninformationen.
Block 120 in Figur 1 stellt das Aufzeichnungs- oder Übertragungsmedium dar, an das die codierten Ausgangssignale des Quantisierers/Codierers 115 angelegt werden. Eine geeignete Formatierung und Modulation der Ausgangssignale vom Quantisierer/Codierer 115 ist im Mediumblock 120 enthalten. Derartige Techniken sind der Technik gut bekannt und werden von dem jeweiligen Medium, den Übertragungs- oder Aufzeichnungsraten und weiteren Systemparametern vorgeschrieben.
Außerdem kann es notwendig sein, falls das Medium 120 Rauschen oder andere verfälschende Einflüsse enthält, zusätzliche Fehlerkontrolleinrichtungen oder -verfahren mitaufzunehmen, wie dies in der Technik gut bekannt ist. Falls es sich bei dem Medium um ein den standardmäßigen CD-Einrichtungen ähnelndes optisches Aufzeichnungsmedium handelt, kann somit eine Redundanzcodierung der bei diesem Medium gebräuchlichen Art mit der vorliegenden Erfindung verwendet werden.
Falls es sich bei dem Medium um eines handelt, das zur Übertragung verwendet wird, z.B. ein Rundsende-, Fernsprech- oder Satellitenmedium, so werden vorteilhafterweise andere angemessene Fehlerkontrollmechanismen angewendet. Natürlich wird bei Übergabe vom Kanal oder einem anderen Medium an den Decodierer jede Modulation, Redundanz oder andere Codierung, um dem Medium Rechnung zu tragen (oder seinen Effekten entgegenzuwirken), umgekehrt. Somit werden die von dem Quantisierer/Codierer 115 gelieferten ursprünglich codierten Informationen an eine Wiedergabeeinrichtung angelegt.
Insbesondere werdefl diese codierten Signale an den in Figur 1 gezeigten Decodierer 130 und an den perzeptorischen Decodierer 140 angelegt. Wie allgemein in der Technik bekannt und in dem oben angeführten Referat von Johnston beschrieben wird, sind einige der von dem perzeptorischen Codierer 110 abgeleiteten und über Quantisierer/Codierer 115 und Medium 120 an den perzeptorischen Decodierer 140 übergebenen Informationen dem Wesen nach "Nebeninformationen". Derartige Nebeninformationen werden unten und in den Johnston-Referaten ausführlicher beschrieben. Weitere Informationen, die von dem Quantisierer/Codierer 115 über Medium 120 geliefert werden und die Spektralkoeffizienten der eingegebenen Informationen betreffen, werden beispielhaft direkt an den Decodierer 130 geliefert.
Nach der Verarbeitung der Nebeninformationen liefert der perzeptorische Decodierer 140 zusätzliche Informationen an den Decodierer 130, so daß er die im Vorprozessor 105 entwickelten ursprünglichen spektralen Signale mit nur wenig oder keiner perzeptorischen Verzerrung wiederherstellen kann. Diese wiederhergestellten Signale werden dann an den Nachprozessor 150 angelegt, wo, wie in der Technik bekannt, die inverse MDCT oder aquivalente Operationen und D/A-Funktionen bewerkstelligt werden, um an Ausgang 160 das ursprüngliche analoge Signal wiederherzustellen. Das Ausgangssignal an 160 liegt in einer derartigen Form vor, daß es von einem Zuhörer als mit dem am Eingang 100 gelieferten im wesentlichen identisch wahrgenommen wird.

Perzeptorische Schwellwerte

Auf dem Hintergrund der oben beschriebenen Organisation des Gesamtsystems und mit der Struktur des angeführten Referats von Johnston als Grundlinie oder Bezug, wird der verbesserte Prozeß des Berechnens der Schwellwertschätzwerte beschrieben.
Figur 2 ist eine Darstellung des Flußdiagramms der im perzeptorischen Codierer 110 bewerkstelligten Verarbeitung. Die beigefügte Auflistung 1 bildet Teil dieser Anmeldung. Diese Auflistung ist eine beispielhafte, mit Kommentaren versehene FORTRAN-Programmauflistung in bezug auf die Entwicklung eines rauschmaskierenden Schwellwerts. Ein nützlicher Verweis zum Verständnis der FORTRAN-Verarbeitung, wie sie hier beschrieben ist, ist das FX/FORTRAN Programmer's Handbook, Alliant Computer Systems Corp., Juli 1988. In gleicher Weise können Universalrechner, wie die der Firma Alliant Computer Systems Corp., zur Ausführung des Programms der Auflistung 1 verwendet werden. Tabelle 1 ist eine Liste der im Zusammenhang mit dem beispielhaften Programm der Auflistung 1 verwendeten Konstanten.
In der Auflistung 1 wird zwar eine bestimmte, in der Technik gut bekannte Programmiersprache verwendet, doch wird der Fachmann erkennen, daß auch andere Sprachen für bestimmte Anwendungen der vorliegenden Erfindung angemessen sind. Es versteht sich auch, daß Konstanten, Abtastraten und andere bestimmte Werte lediglich beispielhaft sind und keineswegs als eine Einschränkung des Schutzbereichs der vorliegenden Erfindung ausgelegt werden sollten.
Figur 2 und Auflistung 1 werden nun ausführlich beschrieben, um ein besseres Verständnis von der vorliegenden Erfindung zu vermitteln.
Funktion 200 in Figur 2 deutet den Beginn der Verarbeitung an, die zum Bestimmen der verbesserten Schätzwerte der Maskierschwellwerte durchgeführt wird.
Block 210 stellt die Initialisierungsfunktionen dar, die die absoluten Schwellwerte aus der durch Block 220 in Figur 2 dargestellten Tabelle 1 verwenden. Diese Initialisierungs- oder Inbetriebnahmeoperationen werden in der Auflistung 1 durch die Subroutine strt() deutlich gezeigt. In dieser beispielhaften Subroutine werden zuerst die Schwellwerterzeugungstabellen ithr und bval erstellt. Es sei darauf hingewiesen, daß "i" zum Beispiel als Index für die in der Technik gut bekannten und in dem Referat von Johnston beschriebenen kritischen Bänder verwendet wird. Im Zusammenhang mit den kritischen Bändern hat "i" Werte von 0 bis 25. Für eine andere Verarbeitung bei anderen Fällen, die in der Auflistung 1 erscheinen, kann der Index i mit hiervon abweichenden Bereichen verwendet werden.
Bei strt() ist abslow eine Konstante, der der angezeigte Wert zugeordnet ist, um den absoluten Schwellwert des Gehörs einzustellen. rzotz ist die Abtastsollrate. rnorm ist eine im Zusammenhang mit der Streufunktion verwendete Normierungsvariable. openas ist lediglich ein zum äffnen einer ascii-Datei verwendeter Operator. db ist eine Scheinvariable, die zum Berechnen der Tabelleneinträge verwendet wird.
Die Berechnung des eigentlichen Schwellwerts beginnt mit der Subroutine thrgen. Bei ihren Variablen r und phi handelt es sich natürlich um die spektralen Koeffizienten, die vom Vorprozessor 105 in Figur 1 geliefert werden. Sie sind Vektoren mit 257 Werten (Nullfrequenz, die Nyquist-Frequenz und alle dazwischenliegenden Komponenten).
Der nächste Schritt bei der Berechnung des perzeptorischen Schwellwerts ist die Berechnung der Tonalität t(j) der Signalenergie innerhalb jedes kritischen Bandes j. Diese Operation wird durch Block 230 in Figur 2 angedeutet. Die Tonalitätsmetrik wird gemäß dem Programm der Auflistung 1 durch Bildung von
dr(ω)=rt-1(ω)-r-2(ω) und
d (ω)= t-1(ω)- t-2(ω) bestimmt.
dr und d sind die Unterschiede zwischen dem Radius (r(ω)) und der Phase ( (ω)) des vorausgehenden Berechnungsblocks und des einen zwei vorausgehenden. Die Berechnung wird auf der Basis jeder Frequenzzeile (ω) durchgeführt. Es sei darauf hingewiesen, daß, falls die Blöcke durch die dynamische Fenstertechnik, die verwendet werden kann, verkürzt werden, die Frequenzzeilen entsprechend dupliziert werden, so daß die Zahl der Frequenzzeilen gleich bleibt. Außerdem wird der Unterschied im Zusammenhang mit einer dynamischen Fenstertechnik entsprechend vergrößert, so daß er den (geschätzten) Unterschied über einen Block unterschiedlicher Größe darstellt.
Aus den Werten für dr und d und den vorhergehenden r und werden für den aktuellen Block der "erwartete" Radius und die "erwartete" Phase berechnet:
(ω)=rt-1(ω)+dr (ω) und
(ω)= t-1(ω)+d (ω),
wobei das ω und die Unterschiedssignale wiederum für die dynamische Fenstertechnik, falls vorhanden, entsprechend nachgestellt werden.
Aus diesen Werten und den Istwerten für das aktuelle Spektrum wird eine Zufälligkeitsmetrik (c(ω)) berechnet:
c(ω)=euklidische Entfernung((r(ω), (ω)),( (ω), (ω)))/rt(ω)+abs( (ω))
Durch die Berechnung von t(j) werden die c-Werte werden später zum Berechnen des entsprechenden Schwellwerts in jedem kritischen Band verwendet.
Als nächstes wird die Berechnung der Energie des kritischen Bandes durchgeführt, wie durch Block 240 in Figur 2 angedeutet.
In jedem kritischen Band beträgt die Energie im kritischen Band
und die summierte Zufälligkeitsmetrik C(j) beträgt im kritischen Band
Die C(j) werden dann in den Tonalitätsindex t(j) umgewandelt, und zwar in zwei Schritten
tmp(j)=max(,05,min(.5,C(j))), dann
t(j)=0,43*ln tmp(j)-0,299
Es ist nun möglich, die ungestreuten Schwellwerte abzuleiten.
Aus den Leistungs- und den Tonalitätswerten wird der ungestreute Schwellwert uthr(j) berechnet. Als erstes wird der eigentliche Wert für die Maskierung SNR (snrdb(j)), der der Frequenz und Tonalität entspricht, in Dezibel berechnet:
snrdb(j)=max(max(24,5, 15,5+j)*t(j)+5,5*(1,0-t(j)),fmin(j))
wobei fmin in TABELLE 2 zweckmäßigerweise als ein Energieverhältnis anstatt in db angegeben ist. Danach wird das Verhältnis der maskierten Rauschenergie zur Signalenergie berechnet: -snrdb(j)/10
snr (j) =10
und der ungestreute Schwellwert wird berechnet:
uthr(j)=P(j)*snr(j).
Der gestreute Schwellwert (sthr) wird aus dem ungestreuten Schwellwert, aus snr(j) und aus den Energien (P(j) des kritischen Bandes gemäß
sthr(j)=max(uthr(j),snr(j)*P(i)*mask(i-j)[i> j])
berechnet, wobei es sich bei mask(i-j) zweckmäßigerweise um eine Funktion auf Tabellenbasis des Typs handelt, wie er in der Literatur bekannt ist, oder wie er in der Subroutine am Ende der Auflistung 1 berechnet wird. Um die durch die Streuoperation beigetragenen Niveauveranderungen zu kompensieren, wird in der Auflistung 1 ein Normierungsfaktor rnorm eingeführt.
Nach der Streuung und Normierung wird der gestreute, normierte Schwellwert mit dem absoluten Schwellwert verglichen und das Maximum im begrenzten Schwellwert lthr(j) ersetzt.
lthr(j)=max(thr(j),absthr(j)), wobei absthr(j) in Tabelle 1 tabellarisiert ist. Es sei darauf hingewiesen, daß der absolute Schwellwert für die tatsächliche Blocklänge nachgestellt wird.
Schließlich wird, gegebenenfalls nach Nachstellungen für Blocklängenfaktoren, der Schwellwert vorteilhafterweise auf Schmalband-Vorecho-Probleme hin untersucht. Der Endschwellwert thr(j) wird dann berechnet:
thr(j)=min(lthr(j),2*othr(j)) und othr wird dann aktualisiert:
othr(j)=lthr(j).
Der Schwellwert lthr(j) wird zweckmäßigerweise auf eine Variable mit dem Namen lxmin(j) übertragen, um in den im Quantisierer/Codierer 115 in Figur 1 durchgeführten Operationen verwendet zu werden.
Bei einem letzten Schritt bei der Schwellwertberechnungsprozedur wird ein Entropiemeßwert berechnet, der zum Abschätzen der Zahl von für den aktuellen Signalblock benötigten Bit verwendet wird. In dem oben angeführten Referat von Johnston wird diese Technik ausführlich beschrieben. Folgende Gleichung definiert die perzeptorische Entropie
Dies beendet die perzeptorischen Schwellwertprozesse.
Eine Ausgabe der oben und in Auflistung 1 beschriebenen perzeptorischen Schwellwertverarbeitung ist eine Menge von Schwellwerten, die der Quantisieren Codierer 115 Figur 1 zum effizienten Codieren der eingegebenen Signalinformationen für Übertragung oder Speicherung, wie oben beschrieben, verwendet. Weitere Informationen, die sich für die Quantisierung in Einheit 115 und die darauffolgende Decodierung als nützlich erweisen, sind die Spektralspitzeninformationen für jede Frequenz. Der vollständige Bereich der Spektralkoeffizienteninformationen steht natürlich der Einheit 115 zur Verfügung, um ihre Codierung zu gestatten. Die an die Einheit 115 gesendeten Schwellwert- und Spektralspitzeninformationen werden auch zum Erzeugen von Nebeninformationen verwendet, die zusammen mit dem codierten Spektrum gesendet werden, um eine nachfolgende Decodierung und die Verwendung zum Erzeugen einer qualitativ hochwertigen Wiedergabe (nach Nachverarbeitung im Nachprozessor und der D/A-Einheit 150) zu gestatten. Die genaue Form der Nebeninformationen wird von dem Quantisierer/Codierer 115 und dem Decodierer 130 abhängen, wird aber in der Regel Informationen über die Quantisiererschrittgröße enthalten.
Figuren 3A bis 3D illustrieren die Ergebnisse der Verarbeitung in angenäherter Form.
In Figur 3A wird das Eingangsleistungsspektrum 51 dem sogenannten "bark"-Spektrum 52 gegenübergestellt, das für das Spektrum in jedem kritischen Band einen konstanten Wert zeigt. In Wirklichkeit enthalten die Lehren der vorliegenden Erfindung der Bestimmungen von Spektralkomponenten bei einzelnen Frequenzen, so daß bei einer getreueren Darstellung die horizontalen "Stufen" im allgemeinen durch gekrümmte Linien ersetzt würden. Der Grund, weshalb Figuren 3A bis 3D (die auf Figur 4 des oben angeführten Referats von Johnston basieren) miteinbezogen sind, ist der, während den verschiedenen Stadien der Verarbeitung die relativen Veränderungen bei den Schwellwerten zu zeigen, anstatt Details über die eigentlichen Spektren zu liefern.
Figur 3B zeigt die Beziehung des Spektrums nach der Streuung im Vergleich mit dem Spektrum vor der Streuung. Figur 3C zeigt die Ergebnisse der Nachstellungen des Spektrums auf der Basis der oben beschriebenen psychoakustischen Schwellwertbildungs faktoren. Wenn die Normierung und die absoluten Schwellwerte berücksichtigt werden, gelangt man schließlich zu den Endschwellwerten auf der in Figur 3D erscheinenden Kurve 55.
Auf der Empfänger- beziehungsweise Decodiererseite des in Figur 1 gezeigten Mediumblocks 120 empfängt der Decodierer 130 die Spektralinformationen in quantisierter Form und schreitet zu dem Punkt vor, auf der Basis der von dem Aufzeichnungs- beziehungsweise Übertragungsmedium gelieferten Nebeninformationen eine perzeptorisch präzise Darstellung des Originalspektrums zu rekonstruieren. Diese Nebeninformationen sind zweckmäßigerweise von den Spektralinformationen getrennt und werden durch die perzeptorische Decodiereinheit 140 in Figur 1 verarbeitet. Die genaue Weise, wie das Originalspektrum rekonstruiert wird, hängt von der Wirkungsweise des Quantisierers/Codierers 115 ab. Falls zum Beispiel die Schrittgröße deutlich als Nebeninformation übermittelt wird, wird diese Information decodiert und zur Verwendung bei der Interpretation der Spektralinformationssignale dem Decodierer 130 zugeführt. Vorteilhafterweise werden auch die Informationen decodiert und bei der Interpretation von Spektralinformationen verwendet, die die Weise betreffen, wie Bit in dem empfangenen Bitstrom bestimmten Signaleigenschaften zugeordnet werden. Auf gleiche Weise werden alle Informationen, die auf der Decodiererseite des Mediums 120 ankommen und sich auf die dynamische Fenstertechnik, das Vorecho, das Skalieren und andere Parameter beziehen, decodiert und zum Interpretieren der codierten Spektralinformationen verwendet.
Die vorausgegangene Beschreibung hat sich zwar auf eine bestimmte Programmiersprache und einen bestimmten Prozessortyp bezogen, doch wird der Fachmann erkennen, daß in bestimmten Fällen andere Umsetzungen erwünscht sind. So zum Beispiel können bei Verbraucherprodukten die größenmäßigen Anforderungen festschreiben, daß Hochleistungs-Universal- beziehungsweise Spezialmikroprozessoren wie die der Firmen AT&T, Intel Corp. oder Motorola verwendet werden. So zum Beispiel hat sich herausgestellt, daß verschiedene der Digitalsignalverarbeitungschips DSP-32 von AT&T zur Durchführung der Verarbeitung der oben beschriebenen Art brauchbar sind. Bei anderen bestimmten Fällen werden vorzugsweise Spezialkonstruktionen, die auf gut bekannten Chipentwurfstechniken basieren, verwendet, um die oben beschriebene Verarbeitung durchzuführen.
Die Tonalitätsmetrik, die in obigem Ausführungsbeispiel unter Verwendung von Unterschieden zwischen den Werten von r(ω)) und (ω) vom gegenwärtigen Block und den entsprechenden Werten aus den beiden vorausgegangenen Blöcken bestimmt wurde. Bei entsprechenden Fällen kann es sich als vorteilhaft herausstellen, bei der Auswertung dieser Variablen eine derartige Differenz unter Verwendung lediglich eines vorangegangenen Wertes oder unter Verwendung einer Mehrheit, die größer ist als zwei derartige vorausgegangene Werte, als Basis für die Konstruktion der erwarteten aktuellen Werte zu bilden.
Obgleich Werte für gewisse der oben beschriebenen Variablen für jede Spektralfrequenzzeile berechnet werden, kann es sich gleichermaßen herausstellen, daß von den Verarbeitungsbetriebsmitteln wirtschaftlich Gebrauch gemacht wird, wenn derartige Werte für weniger als alle derartigen Zeilen berechnet werden.

AUFLISTUNG 1

c Erste Inbetriebnahmeroutine
subroutine strt()
c erstellt Schwellwerterzeugungstabellen, ithr und bval
real freg(0:25)/0.,100.,200.,300.,400.,510.,630.,
1 770.,920.,1080.,1270.,1480.,1720.,2000.,2320.,
1 2700.,3150.,3700.,4400.,5300.,6400.,7700.,9500.,
1 2000.,15500.,
1 25000./
common/thresh/ithr(26),bval(257),rnorm(257)
common/absthr/abslow(257)
commonl/sigs/ifirst
c ithr(i) ist das untere Ende des kritischen Bandes
i. bval ist der "bark"-Index
c jeder Zeile
write(*,*)'welches spl wird +-32000 sein T'
read(*,*) abslev
abslev=abslev-96.
abslow=5224245.*5224245./exp(9.6*alog(10.))
ifirst=0
write(*,*) 'welches ist die Abtastrate'
read(*,*) rzotz
fnyq=rzotz/2.
c betrachtete Nyquest-Frequenz.
ithr(1)=2.
i=2
ithr(i) =freq(i-1) /fnyg*256.+2.
i=i+1
if (freq(i-1) .lt. fnyg) goto 10
c setzt ithr auf unteres Ende von cb
ithr (i:26)=257
c nun Indizierungsanordnung des kritischen Bandes erstellen
bval(1)=0
c zuerst Frequenz herausfinden, dann ...
do i=2,257,1
fre (i-1)/256.*fnyq
c write(*,*) i,fre
c fre ist nun die Frequenz der Zeile. Sie wird
c in die Nummer des kritischen Bandes umgewandelt..
do j=0,25,1
if ( fre .gt. freq(j)) k=j
end do
c nun ist k = letztes CB kleiner als fre
rpart=fre-freq(k)
range=freq(k+1)-freq(k)
bval (i)=k+rpart/range
end do
rnorm=1
do i=2,257,1
tmp=0
do j=2,257,1
tmp=tmp+sprdngf(bval(j),bval(i))
end dc
rnorm(i)=tmp
end do
rnorm=1./rnorm
c do i=1,257,1
c write(*,*) i, bval(i), 10.*alog10(rnorm(i))
c end do
call openas(0,'/usr/jj/nsrc/thrtry/freqlist',0)
do i=2,257,1
read(0,*) ii,db
if ( ii .ne. i ) then
write(*,*) 'freglist ist schlecht.'
stop
end if
db=exp((db-abslev)/10.*alog(10.))
write(*,*) i,db
abslow(i)=abslow(i) *db
end do
abslow(1) =1.
write(*,*) 'niedrigstes Niveau ist', sqrt(abslow(45))
return
end
c Schwellwertberechnungsprogramm
subroutine thrgen(rt,phi,thr)
real r(257),phi(257)
real rt(257)
real thr(257)
common/blnk/ or(257),ophi(257),dr(257),dphi(257)
common/blkl/othr(257)
real alpha(257),tr(257),tphi(257)
real beta(257),bcalc(257)
common/absthr/abslow (257)
common/thresh/ithr(26),bval(257),rnorm(257)
common/sigs/ifirst
r=max(rt, .0005)
bcalc=1.
if (ifirst .eq. 0) then
or=0
othr=1e20
ophi=0
dr=0
dphi=0
ifirst=1
end if
c diese Subroutine findet unter Verwendung zeilenweiser Messung
c die neuen Schwellwerte heraus.
tr=or+dr
tphi=ophi+dphi
dr=r-or
dphi=phi-ophi
or=r
ophi=phi
alpha=sqrt ( (r*cos(phi)-tr*cos(tphi))
1*(r*cos(phi)-tr*cos(tphi))
2+(r*sin(phi)-tr*sin(tphi))
3*(r*sin(phi)-tr*sin(tphi)))
4 /(r + abs(tr) +1.)
beta=alpha
c jetzt ist Beta der ungewichtete Tonalitätsfaktor
alpha=r*r
c nun ist die Energie in jeder
c Zeile. Muß streuenn (ecch)
c write(*,*) 'vor dem Streuen'
thr=0.
bcalc=0.
cvd$1 cncall
do i=2,257,1
cvd$1 cncall
do j=2,257,1
glorch=sprdngf(bval(j),bval(i))
thr(i)=alpha(j)*glorch+thr(i)
bcalc(i)=alpha(j)*glorch*beta(j)+bcalc(i)
c thr ist die gestreute Energie, bcalc ist das gewichtete Chaos
end do
c if (thr(i) .eq. 0) then
c write(*,*) 'Schwellwert Null, Du hast Mist gemacht'
c stop
c end if
bcalc(i)=bcalc(i)/thr(i)
if (bcalc(i) .gt. .5) bcalc(i)=1.-bcalc(i)
c das normiert bcalc auf 0- .5
end do
c write(*,*) 'nach Streuung'
bcalc=max(bcalc, .05)
bcalc=min(bcalc, .5)
c bcalc ist nun die Chaosmetrik, in die
c Tonalitätsmetrik umwandeln
bcalc=-.43*alog(bcalc)-.299
c nun DB berechnen
bcalc=max(24.5, (15.5+bval))*bcalc+5.5*(1.-bcalc)
bcalc=exp( (-bcalc/10.) * alog (10.))
c nun ist bcalc der eigentliche Tonalitätsfaktor
c für den Leistungsraum
thr=thr*rnorm*bcalc
c Schwellwert ist Tonalitätsfaktor mal Energie (mit Normierung)
thr=max (thr,abslow)
alpha=thr
thr=min(thr,othr*2.)
othr=alpha
c write(*,*) 'thrgen verlassen'
return
end
c Und die Streufunktion
function sprdngf(j,i)
real i,j
real sprdngf
c dies berechnet den Wert der Streufunktion für
c das i-te bark mit der Mitte beim j-ten
c bark
temp1=i-j
temp2=15.811389 +7.5*(temp1+.474)
temp2=temp2- 17.5*sqrt(1.+(temp1+.4741*(temp1+. 474))
if ( temp2 .le. -100. ) then
temp3=0.
else
temp2=temp2/10.*alog (10.)
temp3=exp(temp2)
end if
sprdngf=temp3
return
end TABELLE I Datei der absoluten Schwellwerte ("freqlist" für Inbetriebnahmeroutine) TABELLE II Tabelle der kritischen Bänder und fmin (für eine Abtastfrequenz von 48 kHz)
Der obere Rand des Bandes wird auf 20 kHz eingestellt (Zeile 214 bei Blocklänge 256, Zeile 428 bei Blocklänge 512).
Die folgende Tabelle wird bei Blocklänge 512 verwendet. Die Tabelle für Blocklänge 256 kann ohne weiteres aus der Tabelle für die Blocklänge 512 berechnet werden. Die Tabellen für weitere Abtastraten können ebenfalls aus dieser Liste berechnet werden.

Claims

1. Verfahren zur Verarbeitung einer geordneten zeitlichen Aufeinanderfolge von Audiosignalen, die in eine Menge von geordneten Blöcken zerlegt worden sind, wobei die Blöcke jeweils ein diskretes Frequenzspektrum mit einer ersten Menge von Frequenzkoeffizienten aufweisen, dadurch gekennzeichnet, daß

das Verfahren für jeden der Blöcke folgende Schritte umfaßt:

a) Bestimmen, für jeden von mehreren der Frequenzkoeffizienten in der ersten Menge, einer entsprechenden Zufälligkeitsmetrik, wobei jede der Zufälligkeitsmetriken auf einem Unterschied zwischen dem entsprechenden Frequenzkoeffizienten in der ersten Menge und einem entsprechenden vorausgesagten Frequenzkoeffizienten basiert, wobei der entsprechende vorausgesagte Frequenzkoeffizient auf mindestens einem Frequenzkoeffizienten in einer zweiten Vormenge von Frequenzkoeffizienten basiert;

b) für jede der Zufälligkeitsmetriken Bestimmen einer entsprechenden Tonalitätsmetrik auf der Basis der entsprechenden Zufälligkeitsmetrik, wobei jede Tonalitätsmetrik ein Maß des Tongehalts des Audiosignals bei einer Frequenz, die dem der Zufälligkeitsmetrik entsprechenden Frequenzkoeffizienten entspricht, widerspiegelt; und

c) Erzeugen einer Menge von entsprechenden rauschmaskierenden Schwellwerten jeweils auf der Basis einer entsprechenden der Tonalitätsmetriken.

2. Verfahren nach Anspruch 1, das das Quantisieren jedes der Frequenzkoeffizienten in der ersten Menge auf der Basis eines entsprechenden der rauschmaskierenden Schwellwerte umfaßt.

3. Verfahren zur Herstellung eines Speichermediums, wobei das Verfahren folgendes umfaßt:

a) ein Verfahren zur Verarbeitung einer geordneten zeitlichen Aufeinanderfolge von Audiosignalen gemäß Anspruch 2,

b) Anlegen eines Aufzeichnungssignals an das Speichermedium, wobei das Aufzeichnungssignal Signale umfaßt, die die quantisierten Frequenzkoeffizienten darstellen, und

c) Aufzeichnen des Signals auf dem Speichermedium.

4. Verfahren nach Anspruch 3, wobei es sich bei dem Speichermedium um eine Compact-Disc handelt.

5. Verfahren nach Anspruch 3, wobei es sich bei dem Speichermedium um ein Digitaltonband handelt.

6. Verfahren zur Übertragung von Audiosignalen, wobei das Verfahren folgendes umfaßt:

a) ein Verfahren gemäß Anspruch 2; und

b) Anlegen eines Übertragungssignals an ein Übertragungsmedium, wobei das Übertragungssignal Signale umfaßt, die die quantisierten Frequenzkoeffizienten darstellen.

7. Verfahren nach Anspruch 6, wobei es sich bei dem Übertragungsmedium um ein Rundsendeübertragungsmedium handelt.

8. Verfahren nach Anspruch 1, 3 oder 6, wobei die Verarbeitung das Erzeugen von Signalen mit einem diskreten Frequenzspektrum umfaßt.

9. Verfahren nach Anspruch 8, wobei das Erzeugen von Signalen mit einem diskreten Frequenzspektrum das Erzeugen von Signalen mit einem diskreten Fourierkoeffizienten umfaßt.