EP3937515A1 - Invarianzgesteuerter elektroakustischer übertrager - Google Patents

Abstract

Die Bestimmung von Par-Hilbert-Invarianten ist ein zuverlässiges Hilfsmittel im Bereich der Echtzeit-Übertragung von räumlichen Audiosignalen. Sogenannte CC-HRTFs ermöglichen ein inverses stabiles Modell der räumlichen Wahrnehmung sowohl auf Kopfhörern als auch auf Lautsprechern bei scharfer Lokalisation im dreidimensionalen Raum.

Description

• Die optimierte Gewinnung, die optimierte Übertragung oder die optimierte Neuberechnung (einschliesslich Kodierung) von räumlichen Audiosignalen sind gemäss Stand der Technik entweder kopfbezogene, mittels akustischer Vermessung der menschlichen Kopfform (Head Related Transfer Functions, HRTFs), oder Lautsprecher-bezogene, durch die Verteilung des Audiosignals auf eine referentielle Ausstellung von Lautsprechern (beispielsweise ITU-R 5.1 Surround oder NHK 22.2) .
• Aufgrund eines erfolgreichen sogenannten MPEG-H 3D Audio Core Experiment per Oktober 2015 bei ISO/IEC JTC1/SC29/WG11 (Moving Pictures Experts Group, MPEG) mit den beiden internationalen Standards ECMA-407 und ECMA-416 sowie weiteren Komponenten, welche in der November-Ausgabe 2016 der "Fernseh- und kinotechnischen Rundschau" ("FKT") samt zugehöriger Bibliographie ausführlich dargestellt sind, bilden den Stand der Technik die folgenden Patentanmeldungen.
• Diese Patentanmeldungen werden hiermit als Referenz eingeführt:
  WO2016030545 ("Comparison or Optimization of Signals Using the Covariance of Algebraic Invariants"), WO2015173422 ("Method and Apparatus for Generating an Upmix from a Downmix Without Residuals"), WO2015128379 ("Coding and Decoding of a Low Frequency Channel in an Audio Multi Channel Signal"), WO2015128376 ("Autonomous Residual Determination and Yield of Low-Residual Additional Signals"), WO2015049332 ("Derivation of Multichannel Signals from Two or More Basic Signals"), WO2015049334 ("Method and Apparatus for Downmixing a Multichannel Signal and for Upmixing a Downmix Signal"), WO2014072513 ("Non-linear Inverse Coding of Multichannel Signals"), WO2012032179 ("Apparatus and Method for the Time-oriented Evaluation and Optimization of Stereophonic or Pseudo-stereophonic Signals"), WO2012032178 ("Apparatus and Method for the Time-oriented Evaluation and Optimization of Stereophonic or Pseudo-stereophonic Signals"), WO2012016992 ("Device and Method for Evaluating and Optimizing Signals on the Basis of Algebraic Invariants"), WO2011009650 ("Device and Method for Optimizing Stereophonic or Pseudo-stereophonic Audio Signals"), WO2011009649 ("Device and Method for Improving Stereophonic or Pseudo-stereophonic Audio Signals"), WO2009138205 ("Angle-dependent Operating Device or Method for Obtaining a Pseudo-stereophonic Audio Signal"), und im weiteren EP1850639 ("Systems for Generating Multiple Audio Signals from at Least One Audio Channel").
• Insbesondere WO2016030545 ("Comparison or Optimization of Signals Using the Covariance of Algebraic Invariants") beschreibt gemeinsam mit WO2012016992 ("Device and Method for Evaluating and Optimizing Signals on the Basis of Algebraic Invariants") die, bei Ecma TC32-TG22 sogenannten, Par-Hilbert-Invarianten, wobei diese Gegenstand orthogonaler Projektionen auf algebraische Kegel bleiben, die durchwegs als Principal Components der Form der menschlichen Ohrmuschel betrachtet werden können, welche den Schall reflektiert.
• Diese Invarianzen sind in jedem Falle Gegenstand des menschlichen angelernten Raumverständnisses und bleiben, da kopfbezogen, an die menschliche Anatomie jedes Individuums geknüpft.
• Mit sogenanntem Head-tracking, das in Bezug auf willkürliche oder unwillkürliche Kopfbewegungen diese nachvollzieht und akustisch auskorrigiert, um eine stabile Ortung zu ermöglichen, lassen sich mit einer Genauigkeit von mehr als 99 Prozent kopfbezogene HRTFs aus ursprünglichen Lautsprechersignalen mittels sogenannter Faltung im Frequenzraum (Frequency domain), zumeist mittels FFT oder QMF, in sukzessiv errechneten Zeitfenstern bestimmen, wobei die Übertragerkurve des benutzten Kopfhörers, ebenfalls nach Stand der Technik, mitberücksichtigt werden muss.
• Dies bedeutet Latenzen von rund 10ms und die Notwendigkeit, etwa bei Rundfunksignalen eine zusätzliche Frequenzkorrektur (sogenanntes Equalizing) für den jeweilig benutzten Kopfhörer durchführen zu müssen, was eine breite Nutzung derartiger Signale im Alltag schlichtweg vereitelt.
• Auch ECMA-416 operiert im Frequenzraum und kann damit die Problematik einer erhöhten Latenz nicht auflösen.
• Der Broadcaster wünschte agnostisch sich ideal ein direkt wiedergabefähiges Stereosignal für alle Anwendungsfälle: für Kopfhörer und zugleich für Lautsprecher, und zwar für Stereo, für Surround und für dreidimensionale Lautsprecheraufstellungen, in Echtzeit.
• Für das Verständnis der Erfindung ist die Tatsache entscheidend, dass näherungsweise die Schallreflexion an der Ohrmuschel jene algebraischen Kegel beinhaltet, die auch WO2016030545 ("Comparison or Optimization of Signals Using the Covariance of Algebraic Invariants") und WO2012016992 ("Device and Method for Evaluating and Optimizing Signals on the Basis of Algebraic Invariants") nennen.
• Im weiteren stellt die z-Transformation $$H\left(s\right)=\frac{s-\frac{1}{\mathit{RC}}}{s+\frac{1}{\mathit{RC}}}=\frac{1-\mathit{sRC}}{1+\mathit{sRCʹ}}$$

  

  umgedeutet ein "Inductor-resistor-capacator problem" dar, somit das sogenannte 6. Hilbertsche Problem, das Rudolf E. Kálmán umfangreich bearbeitete. Eine solche z-Transformation beschreibt zugleich jedoch einen All-pass-Filter, d.h. es liegt bei der Frequenz $$\omega =1/\mathit{RC}$$

  

  eine Phasenverschiebung um 90° vor, was bedeutet, dass näherungsweise sich die Invarianzen der Ordnung 2 (Dreidimensionalität) durch jene der Ordnung 1 (Zweidimensionalität, i.e. Stereo) beschreiben lassen.
• Ersetzt man das Originalsignal nunmehr durch seine polynomiale Näherung (beispielsweise nach Tschebyschew), und simuliert man den All-pass-Filter näherungsweise mit einem um 90° gedrehten Lautsprecher, ist die sogenannte Substitutionsdeterminante unmittelbar erkennbar, um die sich auch das nachträglich einer z-Transformation unterworfene Stereosignal hinsichtlich seiner Dreidimensionalität von seinen ursprünglichen Par-Hilbert-Invarianten der Ordnung 1 unterscheidet.
• Definitionsgemäss unterscheiden sich nach David Hilbert ("Über die vollen Invariantensysteme") bei derartigen Transformationen die entstandenen algebraische Invarianten nur um deren Substitutionsdeterminante.
• Dies ermöglicht nicht nur den direkten Vergleich WO2016030545 ("Comparison or Optimization of Signals Using the Covariance of Algebraic Invariants"), sondern auch die näherungsweise simultane Berechnung und Übertragung für Kopfhörer und zugleich für Lautsprecher, und zwar für Stereo, für Surround und für dreidimensionale Lautsprecheraufstellungen, in Echtzeit, siehe oben.
• Es ist leicht, eine Lautsprecheraufstellung zu finden, die diese Kriterien optimal erfüllt, selbst ohne All-pass-Filter, wobei die notwendige Phasenumkehr bereits aus $$H\left(s\right)=\frac{s-\frac{1}{\mathit{RC}}}{s+\frac{1}{\mathit{RC}}}=\frac{1-\mathit{sRC}}{1+\mathit{sRCʹ}}$$

  

  ableitbar ist. Für das Überleben im natürlichen Lebensraum ist das räumliche Hörvermögen der erste Reiz sich annähernder Gefahr. (Im Volksmund: "Wer nicht hört, muss fühlen.")
• Wie FIG. 5 bis 6 zeigen, entsprechen beide menschlichen Ohrmuscheln (nach langer natürlicher Auslese) einem vorwärts gerichteten Doppelkonus samt dessen Verpolung, somit exakt den algebraischen Kegeln FIG. 1 bis 3.
• Lord Raleighs Experimente zum räumlichen Hörvermögen zeigen jene Unterschiede, die unser Gehirn in Räumlichkeit umsetzt, nämlich die sogenannten Interaural time differences (ITDs) und Interaural intensity differences (IIDs), die anhand der bereits memorierten Invarianzen im Gehirn zum Raumverständnis in Echtzeit führen.
• Im Unterschied zu HRTFs sei hier der Begriff der CC-HRTFs (Critical Cue Head Related Transfer Functions) eingeführt, also jene Anteile der ITDs und IIDs, die unmittelbar diese memorierten Invarianzen ansprechen.
• Für die wahrgenommenen Critical Cues ist zugleich die Struktur der Cochlea entscheidend. Diese ist durch die experimentell festgelegte Bark Scale, siehe FIG. 10 vollständig dargestellt:
  Die Bandbreiten der Bark Scale legen, dies erfindungsgemäss, nahe, anstelle der Vermessung der HRTFs den Diameter des Kopfes zu verringern (beispielsweise um rund 10%), ohne dass sich die Lokalisation dabei kritisch ändert, den Messpunkt der CC-HRTF (Ohröffnung) jedoch nicht zu variieren (dieses Kriterium erfüllt bereits ein ca. 1cm je Ohröffnung überstehender Silikonschlauch). Siehe FIG. 7.
• Eine solche Anordnung ermöglicht nunmehr näherungsweise die Rekonstruktion des Raumes anhand einer Anordnung beispielsweise der Form FIG. 8 für Stereo und ITU-R 5.1 Surround (der Center Kanal ist nicht dargestellt, da er nach ITU-R nur Monosignale in dieser Position überträgt):
  Den Stereolautsprechern FL und FR werden nunmehr, um 90° nach oben versetzt, die Lautsprecher BtFL und BtFR am Boden hinzugefügt. Rückwärtig werden (unter Verpolung bei Stereo) die Lautsprecher BL und BR beispielsweise wie bei ITU-R 5.1 Surround hinzugefügt und, um 90° nach oben versetzt, am Boden mit BtBL und BtBR komplementär ebenso hinzugefügt.
• N.B. Eine Variante ist beispielsweise der Verzicht auf BL und BR und das Anbringen von BtBL und BtBR auf derselben Höhe wie FL und FR, ohne das Wirkungsprinzip im Wesentlichen zu verändern. Sämtliche möglichen Aufstellungsvarianten sind somit Teil des Erfindungsgegenstands.
• Alle Lautsprecher, insbesondere jedoch BtFL und BtFR sowie BtBL und BtBR, können dabei einem Equalizing unterworfen werden, sodass die räumlichen Schallanteile hervorgehoben werden.
• Im Sweetspot werden nunmehr beispielsweise mit einem Kunstkopf der Form FIG. 7 neu die sogenannten CC-HRTFs gemessen.
• Das Ausgangssignal wird nunmehr wie folgt gebildet:
  Es lässt sich experimentell zeigen, dass ein Audiosignal, dies unterhalb von 120 Hz, nur unwesentlich gebeugt durch die Anatomie des Kopfes, hinsichtlich Lokalisation unkritisch bleibt. Dieser Frequenzbereich kann somit ohne weiteres im Ausgangssignal erhalten bleiben über einen Low-pass-Filter.
• Der Toningenieur hebt im weiteren zumeist den hohen Frequenzbereich über Mikrofonierung oder Equalizer an, während die Bark Scale eine Anhebung der CC-HRTF ebenso nahelegt.
• In der Praxis bedeutet dies, dass das ursprüngliche Signal im Frequenzbereich überhalb von 120Hz soweit abgeschwächt wird, dass gegenüber den zum Beispiel über High-pass-Filtern hinzugefügten CC-HRTFs keine Lokalisation innerhalb des Kopfes mehr auftritt (ein Phänomen fast jeden Stereosignals, dass nicht ausschliesslich für Kopfhörer bestimmt ist).
• Die Bark Scale legt abschliessend nahe, die CC-HRTFs hinsichtlich ihrer physikalischen Obertöne noch verstärkt dem Ausgangssignal hinzuzufügen, um deren Robustheit zu erhöhen. Dies leistet beispielsweise bereits ein sogenannter Oktavfilter.
• Das resultierende Ausgangssignal hat dabei im Experiment folgende Eigenschaften: Die hinzugefügten CC-HRTFs erlauben das Bewegen des Kopfes bis über 90° ohne Head-tracking. Sie bilden sich sowohl bei Lautsprecherbetrieb über Stereo ab als auch unabhängig davon über Kopfhörer. Der Einsatz von Dipol-Lautsprechern ist nicht zwingend für ein adäquates Hörerlebnis. Die Lokalisationen und Klangcharakteristik des ursprünglichen Aufnahmeraumes bleiben erhalten.
• Das Raumerlebnis ist jedoch ein dreidimensionales, vergleichbar mit NHK 22.2. Der stille Grund für diese räumliche Rekonstruktion, letztlich im Sinne eines inversen Problems, siehe ECMA-407 sind obige Bemerkungen zu Substitutionsdeterminanten etc.
Beschreibung der Zeichnungen
• FIG. 1 bis 4 zitieren WO2016030545 ("Comparison or Optimization of Signals Using the Covariance of Algebraic Invariants") hinsichtlich algebraischen Kegeln, welche eine Konstruktion der Par-Hilbert-Invarianten für die Ordnung 1 (Zweidimensionalität) ermöglichen.
• FIG. 5 stellt einen Kunstkopf ("Manikin") dar und zeigt zugleich anhand von FIG. 2, dass die menschliche Ohrform FIG. 1 bis 3 zur Detektierung von Invarianten nachgebildet bleibt, dies zweidimensional je Ohrmuschel. Die Legende zeigt die Elemente der Lokalisation eines Schallereignisses im Raum.
• FIG. 6 zeigt in einer eigenen Skizze das Aussenohr dar und veranschaulicht nochmals das Auftreten der algebraischen Kegel FIG. 1 bis 3 als Principal Components des Aufbaus der Ohrmuschel. Es bleibt dabei zu beachten, dass FIG. 4 sich auf die kritische Ebene der abgebildeten Invarianten bezieht und nicht mit der Ohrmuschel, sondern unseren cerebralen Funktionen sowie der Cochlea in Verbindung zu bringen ist.
• FIG. 7 zeigt das Abnehmen von CC-HRTFs über einen ca. 1cm herausragenden Silikonschlauch in einem Kunstkopf. Δ erweist sich bei einem Wert von 1cm, sofern der Kunstkopf im Sweetspot platziert ist gemäss der folgenden FIG. 8, als entsprechend robust, wie in der Beschreibung oben dargestellt.
• FIG. 8 zeigt eine mögliche Anordnung zur Gewinnung der CC-HRTFs, wie in der Beschreibung oben dargestellt.
• FIG. 9 zeigt einen All-pass-Filter gemäss Stand der Technik, siehe auch oben in der Beschreibung.
• FIG. 10 zeigt die sogenannte Bark Scale, welche experimentell die kritischen Frequenzen anhand der Struktur der Cochlea erfasst.
Ausführungsbeispiel der Erfindung
• Eine Ausführungsform der Erfindung besteht in einer Vorrichtung zur analogen Gewinnung der CC-HRTF in Echtzeit.
• Hierbei wird ein Kunstkopf, dessen Diameter unter Wahrung der Bark Scale ca. 10% verringert wurde, als ihn der menschliche Kopf aufweist, siehe FIG. 7, mit zwei Silikonschläuchen bestückt, die zum Abgreifen der CC-HRTFs ca. 1cm über die Ohrmuscheln hinausragen. Das Diaphragma des menschlichen Ohres bleibt dabei in gewohnter Weise wie beim Kunstkopf durch ein Mikrofon entsprechender Impedanz ersetzt.
• Der Kunstkopf wird im Sweetspot eines nicht-schalltoten Raumes mit einer Lautsprecheranordnung beispielsweise der Form FIG. 8 platziert. In einer Ausführungsform wird beispielsweise ein Stereosignal durch ECMA-407 als Monosignal zuzüglich 2kbps Payload kodiert, und dieses nach der Dekodierung direkt über einen linken vorderen Lautsprecher FL und einen linken vorderen Lautsprecher FR ausgegeben.
• Der Frequenzverlust der 1. Hauptreflexion gegenüber dem Originalsignal wird über ein Equalizing nachgebildet, und das resultierende linke ECMA-407-Ausgangssignal nach solchem Equalizing direkt über einen linken unteren, gegenüber FL um 90° nach oben versetzten, auf den Boden gelegten, Lautsprecher BtFL nach oben abgestrahlt. Gleichermassen wird das resultierende rechte ECMA-407-Ausgangssignal nach solchem Equalizing direkt über einen rechten unteren, gegenüber FR um 90° nach oben versetzten, auf den Boden gelegten, Lautsprecher BtFR nach oben abgestrahlt.
• Der Frequenzverlust der 1. oder 2. Hauptreflexion gegenüber dem Originalsignal wird über ein Equalizing nachgebildet, und das resultierende linke ECMA-407-Ausgangssignal wird, nach Equalizing und Anpassen der Lautstärke, verpolt dem rückwärtigen linken Lautsprecher BL in Ohrhöhe zugeführt, welcher gegenüber FL um 180° gedreht wurde. Gleichermassen wird das resultierende rechte ECMA-407-Ausgangssignal, nach solchem Equalizing und Anpassen der Lautstärke, verpolt dem rückwärtigen rechten Lautsprecher BR in Ohrhöhe zugeführt, welcher gegenüber FR um 180° gedreht wurde.
• Der Frequenzverlust der 1. oder 2. Hauptreflexion gegenüber dem Originalsignal wird über ein Equalizing nachgebildet, und das resultierende verpolte, hintere linke ECMA-407-Ausgangssignal nach solchem Equalizing und Anpassen der Lautstärke direkt über einen linken unteren, gegenüber BL um 90° nach oben versetzten, auf den Boden gelegten, Lautsprecher BtBL nach oben abgestrahlt. Gleichermassen wird das resultierende verpolte, hintere rechte ECMA-407-Ausgangssignal nach solchem Equalizing und Anpassen der Lautstärke direkt über einen rechten unteren, gegenüber BR um 90° nach oben versetzten, auf den Boden gelegten, Lautsprecher BtBR nach oben abgestrahlt.
• Mit unserem Anwendungsbeispiel mit ECMA-407, dessen agnostisch standardisierte "Signal analysis" eine Invariantenbestimmung gemäss WO2016030545 ("Comparison or Optimization of Signals Using the Covariance of Algebraic Invariants") konform zulässt, lässt sich zugleich über obige Interpretation der z-Transformation bzw. des All-pass-Filters leicht einsehen, weshalb diese Invarianten, enthalten in den CC-HRTFs, die über unseren Kunstkopf extrahiert wurden, für den gesamten Hörprozess bestimmend bleiben.
• Diese werden in einem nächsten Schritt anhand der Bark Scale, beispielsweise anhand eines Oktavfilters, erweitert, indem gezielt die Obertöne der CC-HRTFs verstärkt werden.
• Das resultierende Stereosignal setzt sich wie folgt zusammen: Ein Low-pass-Filter fügt FL und FR unterhalb von 120Hz nahtlos in das resultierende Stereo-Ausgangssignal unserer Anordnung ein. Ein High-pass-Filter fügt FL und FR in abgeschwächter Form und unter Equalizing unterhalb jener kritischen Grenze hinzu, bei der, gemeinsam mit den gemessenen CC-HRTFs, Lokalisation im Kopf bei Kopfhörerbetrieb aufträte.
• Abschliessend werden die gemessenen CC-HRTFs so hinzugefügt, dass sie dem Bestreben des Toningenieurs, die Höhen bevorzugt abzubilden, restlos Genüge tun.
• N.B. Alle diese Schritte lassen sich, wie unschwer anhand von Grenzwerten zu erkennen ist, in Echtzeit automatisieren. Eine solche Verfahren oder eine solche Vorrichtung sind somit als Teil des Erfindungsgegenstandes zu betrachten.
• N.B. Anstelle der Lautsprecherdrehungen lässt sich pro um 90° gedrehte Lautsprecher auch ein All-pass-Filter einfügen. Hier gelten hinsichtlich der Invarianzen gleiche Überlegungen wie oben.
• N.B. Nach Stand der Technik lassen sich HRTFs durch Faltung, siehe oben, berechnen. Gleiches gilt somit auch für CC-HRTFs, sodass eine Anordnung nach FIG. 8 bei entsprechender Berechnung und Automatisierung, siehe oben, a forteriori entfallen kann. Derartige Berechnungen und Automatisierungen sind somit Teil des Erfindungsgegenstandes.

Claims (14)

1. Vorrichtung zur Ableitung eines räumlichen Audiosignals aus einem Mono-, Stereo- oder Multikanalsignal, gekennzeichnet durch die Verwendung oder Messung oder Berechnung von CC-HRTFs.
   (FIG. 8).
2. Vorrichtung gemäss Anspruch 1, gekennzeichnet durch die Verwendung oder Messung oder Berechnung von wenigstens einem, um 90°versetzten, Referenz-Lautsprecher oder Verwendung von wenigstens einem All-pass-Filter.
   (FIG. 9).
3. Vorrichtung gemäss Anspruch 1 oder 2, gekennzeichnet durch das Mischen von Mono-, Stereo- oder Multikanalsignalen mit CC-HRTF-Signalen.
4. Vorrichtung gemäss einem der Ansprüche 1 bis 3, gekennzeichnet durch die Anhebung von Oktaven oder Obertönen der CC-HRTFs.
   (FIG. 10).
5. Vorrichtung gemäss einem der Ansprüche 1 bis 4, gekennzeichnet durch die Signalumsetzung in Echtzeit.
6. Vorrichtung gemäss einer der Ansprüche 1 bis 5, gekennzeichnet durch die Berechnung der CC-HRTFs in Echtzeit.
7. Vorrichtung gemäss einer der Ansprüche 1 bis 6, gekennzeichnet durch die zusätzliche Bestimmung der Par-Hilbert-Invarianten.
   (FIG. 1 bis 3).
8. Verfahren zur Ableitung eines räumlichen Audiosignals aus einem Mono-, Stereo- oder Multikanalsignal, gekennzeichnet durch die Verwendung oder Messung oder Berechnung von CC-HRTFs.
   (FIG. 8).
9. Verfahren gemäss Anspruch 1, gekennzeichnet durch die Verwendung oder Messung oder Berechnung von wenigstens einem, um 90°versetzten, Referenz-Lautsprecher oder Verwendung von wenigstens einem All-pass-Filter.
   (FIG. 9).
10. Verfahren gemäss Anspruch 1 oder 2, gekennzeichnet durch das Mischen von Mono-, Stereo- oder Multikanalsignalen mit CC-HRTF-Signalen.
11. Verfahren gemäss einem der Ansprüche 1 bis 3, gekennzeichnet durch die Anhebung von Oktaven oder Obertönen der CC-HRTFs.
    (FIG. 10).
12. Verfahren gemäss einem der Ansprüche 1 bis 4, gekennzeichnet durch die Signalumsetzung in Echtzeit.
13. Verfahren gemäss einer der Ansprüche 1 bis 5, gekennzeichnet durch die Berechnung der CC-HRTFs in Echtzeit.
14. Verfahren gemäss einer der Ansprüche 1 bis 6, gekennzeichnet durch die zusätzliche Bestimmung der Par-Hilbert-Invarianten.
    (FIG. 1 bis 3).

Images