-
Die
vorliegende Erfindung betrifft ein System zur Spatialisation von
Schallquellen mit verbesserten Leistungen, die insbesondere die
Herstellung eines Spatialisationssystems erlauben, das mit einer
modularen Avionik-Einrichtung zur Informationsverarbeitung vom Typ
IMA (Abkürzung
des englischen Ausdrucks "Integrated
Modular Avionics")
kompatibel ist, auch EMTI (für
Equipement Modulaire de Traitement de l'Information – modulare Informationsverarbeitungseinrichtung)
genannt.
-
Auf
dem Gebiet der Bord-Aeronautik führen die
meisten der Überlegungen
betreffend das zukünftige
Cockpit zur Notwendigkeit eines kopfgetragenen Helm-Sichtgeräts zusammen
mit einer Sichtbarmachung in sehr großem Format, die beim Blick
nach unten präsentiert
wird. Diese Einheit muss es ermöglichen,
die Wahrnehmung der globalen Situation ("situation awareness") zu verbessern und gleichzeitig mit
Hilfe einer Darstellung einer Echtzeitsynthese der von vielen Quellen
(Sensoren, Datenbank) stammenden Informationen die Belastung des
Piloten zu verringern.
-
Der
3D-Ton gehört
zur gleichen Vorgehensweise wie das Helm-Sichtgerät, indem
er es den Piloten ermöglicht,
Informationen der räumlichen
Situation (Position der Besatzungsmitglieder, der Bedrohungen, ...)
in seinem eigenen Koordinatensystem über einen anderen als visuellen
Kommunikationskanal zu erfassen, indem er einer natürlichen
Modalität folgt.
Allgemein bereichert der 3D-Ton das übertragene Signal um eine statische
oder dynamische Situationsinformation im Raum. Seine Verwendung,
abgesehen von der Lokalisierung von Besatzungsmitgliedern oder von
Bedrohungen, kann andere Anwendungen wie die Verständlichkeit
von mehreren Sprechern abdecken.
-
In
der französischen
Patentanmeldung
FR 2 744 871 hat
die Anmelderin ein Spatialisationssystem für Schallquellen beschrieben,
das für
jede Quelle spatialisierte monophone Kanäle (links/rechts) erzeugt,
die dazu bestimmt sind, von einem Hörer mit Hilfe eines Stereo-Helms
empfangen zu werden, so dass die Quellen von dem Hörer so wahrgenommen werden,
als ob sie von einem bestimmten Punkt des Raums kämen, wobei
dieser Punkt die tatsächliche Position
der Schallquelle oder auch eine willkürliche Position sein kann.
Das Prinzip der Schall-Spatialisation beruht auf der Berechnung
der Faltung der zu spatialisierenden Schallquelle (monophones Signal) mit Übertragungsfunktionen,
kopfbezogenen Übertragungsfunktionen
(oder HRTF gemäß dem englischen
Ausdruck "Head Related
Transfer Functions") genannt,
die dem Hörer
eigen sind und die während einer
vorhergehenden Aufzeichnungsphase gemessen wurden. So weist das
in der oben erwähnten
Anmeldung beschriebene System insbesondere für jede zu spatialisierende
Quelle einen binauralen Prozessor mit zwei Faltungspfaden auf, dessen
Aufgabe es einerseits ist, durch Interpolation die kopfbezogenen Übertragungsfunktionen
(links/rechts) an dem Punkt zu berechnen, an dem die Schallquelle
angeordnet sein wird, und andererseits das spatialisierte Signal
in zwei Kanälen
ausgehend von dem ursprünglichen
monophonen Signal zu erzeugen.
-
Es
ist das Ziel der vorliegenden Erfindung, ein Spatialisationssystem
zu definieren, das derart verbesserte Leistungen aufweist, dass
es insbesondere in der Lage ist, sich in eine modulare Avionik-Einrichtung zur Informationsverarbeitung
(EMTI) zu integrieren, die insbesondere bezüglich der Anzahl der Prozessoren
und ihres Typs Beschränkungen
auferlegt.
-
Hierzu
schlägt
die Erfindung ein Spatialisationssystem vor, bei dem es nicht mehr
notwendig ist, eine Interpolationsberechnung der kopfbezogenen Übertragungsfunktionen
durchzuführen.
Es ist dann zur Durchführung
der Faltungsoperationen, um die spatialisierten Signale zu erzeugen,
möglich,
nur noch einen einzigen Rechner anstelle der n binauralen Prozessoren
zu haben, die im System des Stands der Technik notwendig sind, um
n Quellen zu spatialisieren.
-
Genauer
betrifft die Erfindung ein System zur Spatialisation mindestens
einer Schallquelle, das für jede
Quelle zwei spatialisierte monophone Kanäle erzeugt, die dazu bestimmt
sind, von einem Hörer
empfangen zu werden, mit
- – einer Filterdatenbank, die
eine Einheit von kopfbezogenen Übertragungsfunktionen
aufweist, die dem Hörer
eigen sind, - einem Prozessor der Datendarstellung, der die von
jeder Quelle stammende Information empfängt und insbesondere ein Modul
zur Berechnung der relativen Positionen der Quellen bezüglich des
Hörers
aufweist,
- – einer
Einheit zur Berechnung der monophonen Kanäle durch Faltung jeder Schallquelle
mit kopfbezogenen Übertragungsfunktionen
der Bank von geschätzten
Daten in der Position der Quelle,
wobei das System dadurch
gekennzeichnet ist, dass der Prozessor der Datendarstellung ein
Modul der Auswahl der kopfbezogenen Übertragungsfunktionen mit einer
variablen Auflösung
aufweist, die an die relative Position der Quelle zum Hörer angepasst
ist.
-
Die
Verwendung der Banken von auf den Kopf des Piloten bezogenen Übertragungsfunktionen,
die für
die erforderliche Präzision
für eine
gegebene zu spatialisierende Information geeignet sind (Bedrohung,
Position einer Drohne, usw.), verbunden mit einer optimalen Nutzung
der räumlichen
Informationen, die in jeder der Positionen dieser Banken enthalten
sind, erlaubt es, die Anzahl von für die Spatialisation durchzuführenden
Operationen deutlich zu verringern, ohne dadurch die Leistungen
zu beeinträchtigen.
-
Weitere
Vorteile und Merkmale gehen klarer aus der nachfolgenden Beschreibung
hervor, die von den beiliegenden Figuren veranschaulicht wird. Es zeigen:
-
1 ein
allgemeines Schaltbild eines Spatialisationssystems gemäß der Erfindung;
-
2 ein
Funktionsschaltbild eines Ausführungsbeispiels
des erfindungsgemäßen Systems;
-
3 das
Schaltbild einer Recheneinheit eines Spatialisationssystems gemäß dem Beispiel
der 2;
-
4 ein
Schaltbild des Einsetzens des erfindungsgemäßen Systems in eine modulare
Avionik-Einrichtung vom Typ IMA.
-
Die
Erfindung wird nachfolgend unter Bezug auf ein audiophones Flugzeugsystem
beschrieben, insbesondere eines Kampfflugzeugs, aber selbstverständlich ist
sie nicht auf eine solche Anwendung beschränkt und kann ebenso gut bei
anderen Fahrzeugtypen (Landfahrzeugen oder Wasserfahrzeugen) wie
auch bei ortsfesten Anlagen verwendet werden. Der Benutzer dieses
Systems ist im vorliegenden Fall der Pilot eines Flugzeugs, aber
es kann gleichzeitig mehrere Benutzer geben, insbesondere, wenn
es sich um ein ziviles Transportflugzeug handelt, wobei dann erfindungsgemäß getrennte
Vorrichtungen für
jeden Benutzer in ausreichender Anzahl vorgesehen sind.
-
1 stellt
ein allgemeines Schaltbild eines Spatialisationssystems von Schallquellen
gemäß der Erfindung
dar, dessen Aufgabe es ist, einen Hörer Schallsignale (Töne, Sprache,
Alarme, usw.) mit Hilfe eines Stereo-Helms hören zu lassen, derart, dass
sie vom Hörer
so wahrgenommen werden, als ob sie von einem bestimmten Punkt im
Raum kämen,
wobei dieser Punkt die tatsächliche
Position der Schallquelle oder auch eine willkürliche Position sein kann.
Zum Beispiel kann die Erfassung eines Lenkflugkörpers durch ein Gegenmaßnahme-Gerät einen
Schall erzeugen, dessen Ursprung vom Ursprung des Angriffs zu kommen
scheint, was es dem Piloten ermöglicht, schneller
zu reagieren. Diese Töne
(monophone Schallsignale) werden zum Beispiel in digitaler Form in
einer Datenbank "Töne" aufgezeichnet. Außerdem wird
die Veränderung
der Position der Schallquelle in Abhängigkeit von den Bewegungen
des Kopfs des Piloten und den Bewegungen des Flugzeugs berücksichtigt,
So muss ein Alarm, der in der Azimutrichtung "3 Uhr" erzeugt wird, sich auf "Mittag" befinden, wenn der
Pilot den Kopf um 90° nach
rechts dreht.
-
Das
erfindungsgemäße System
weist hauptsächlich
einen Prozessor CPU1 der Datendarstellung und eine Recheneinheit
CPU2 auf, die die spatialisierten monophonen Kanäle erzeugt. Der Prozessor der
Datendarstellung CPU1 weist insbesondere ein Modul 101 zur
Berechnung der relativen Positionen der Quellen bezüglich des
Hörers
auf, d. h. im kopfbezogenen Koordinatensystem des Hörers. Diese
Positionen werden zum Beispiel ausgehend von Informationen berechnet,
die von einem Detektor 11 der Haltung des Kopfes des Hörers und
von einem Modul 12 der Bestimmung der Position der wiederherzustellenden
Quelle empfangen werden (wobei dieses Modul ein Trägheitsnavigationsleitsystem, eine
Lokalisierungsvorrichtung wie ein Goniometer, einen Radar usw. aufweisen
kann). Der Prozessor CPU1 ist mit einer Datenbank "Filter" 13 verbunden, die
eine Gruppe von kopfbezogenen Übertragungsfunktionen
(HRTF) aufweist, die dem Hörer
eigen sind. Die kopfbezogenen Übertragungsfunktionen werden
zum Beispiel bei einer vorhergehenden Lernphase erworben. Sie sind
spezifisch für
die interaurale Verzögerung
des Hörers
(Ankunftsverzögerung des
Schalls zwischen den zwei Ohren), für physiognomische Eigenschaften
jedes Hörers.
-
Es
sind diese Übertragungsfunktionen,
die dem Hörer
das Gefühl
der Spatialisation verleihen. Die Recheneinheit CPU2 erzeugt die
monophonen Kanäle
G und D, die durch Faltung jedes monophonen Schallsignals, das für die zu
spatialisierende Quelle charakteristisch und in der Datenbank "Töne" 14 enthalten ist, mit kopfbezogenen Übertragungsfunktionen
der Datenbank 13 spatialisiert werden, die an der Position
der Quelle im kopfbezogenen Koordinatensystem geschätzt werden.
-
In
den Spatialisationssystemen gemäß dem Stand
der Technik weist die Recheneinheit ebenso viele Prozessoren auf,
wie es zu spatalisierende Schallquellen gibt. Es ist bei diesen
Systemen nämlich
notwendig, eine räumliche
Interpolation der kopfbezogenen Übertragungsfunktionen
durchzuführen, um
die Übertragungsfunktionen
an dem Punkt zu kennen, an dem die Quelle angeordnet sein wird. Diese
Architektur erfordert es, die Anzahl von Prozessoren in der Recheneinheit
zu vervielfältigen,
was mit einem modularen Spatialisationssystem inkompatibel ist,
das in eine modulare Avionik-Informationsverarbeitungseinrichtung
integriert werden soll.
-
Das
erfindungsgemäße Spatialisationssystem
weist eine spezifische algorithmische Architektur auf, die es insbesondere
ermöglicht,
die Anzahl von Prozessoren der Recheneinheit zu verringern. Die Anmelderin
hat gezeigt, dass die Recheneinheit CPU2 dann mittels eines programmierbaren
Bauteils vom Typ EPLD (Abkürzung
für "Electronique programmable
par portes logiques" – durch
Logiktore programmierbare Elektronik") hergestellt werden kann. Hierzu weist
der Prozessor der Datendarstellung des erfindungsgemäßen Systems
einen Auswahlmodul 102 der kopfbezogenen Übertragungsfunktionen
mit einer variablen Auflösung
auf, die an die relative Position der Quelle zum Hörer (oder
Position der Quelle im kopfbezogenen Koordinatensystem) angepasst
ist. Durch dieses Auswahlmodul ist es nicht mehr notwendig, Interpolationsberechnungen
durchzuführen,
um die Übertragungsfunktionen an
der Stelle zu schätzen,
wo sich die Schallquelle befinden soll. Man kann also die Architektur
der Recheneinheit beträchtlich
vereinfachen, von der ein Ausführungsbeispiel
nachfolgend beschrieben wird. Da außerdem das Auswahlmodul eine
Auswahl der Auflösung
der Übertragungsfunktionen
in Abhängigkeit
von der relativen Position der Schallquelle bezüglich des Hörers durchführt, kann man mit einer Datenbank 13 der
kopfbezogenen Übertragungsfunktionen
arbeiten, die eine große
Anzahl von Funktionen enthält,
die im ganzen Raum gleichmäßig verteilt
sind, da nur ein Teil von ihnen ausgewählt wird, um die Faltungsberechnungen
durchzuführen.
So hat die Anmelderin mit einer Datenbank gearbeitet, in der die Übertragungsfunktionen
mit einer Teilung von 7° in
Azimutrichtung, von 0 bis 360°,
und mit einer Teilung von 10° in
Elevationsrichtung, von –70° bis +90°, aufgefangen
werden.
-
Außerdem hat
die Anmelderin gezeigt, dass aufgrund des Auflösungs-Auswahlmoduls 102 des erfindungsgemäßen Systems
die Anzahl von Koeffizienten jeder verwendeten kopfbezogenen Übertragungsfunktion
auf 40 begrenzt werden kann (im Vergleich mit 128 oder 256 in den
meisten Systemen des Stands der Technik), ohne Verschlechterung
der Schall-Spatialisationsergebnisse, was die für die Spatialisationsfunktion
notwendige Rechenleistung noch verringert.
-
Die
Anmelderin hat so bewiesen, dass die Verwendung der Banken von auf
den Kopf des Piloten bezogenen Übertragungsfunktionen,
die an die erforderliche Präzision
für eine
gegebene zu spatialisierende Information angepasst ist, in Verbindung
mit einer optimalen Nutzung der in jeder der Positionen dieser Banken
enthaltenen räumlichen
Informationen, es ermöglicht,
die Anzahl von für
die Spatialisation durchzuführenden
Operationen beträchtlich
zu verringern, ohne dadurch die Leistungen zu verschlechtern.
-
Die
Recheneinheit CPU2 kann so zum Beispiel auf ein Bauteil vom Typ
EPLD reduziert werden, selbst wenn mehrere Quellen spatialisiert
werden müssen,
was es ermöglicht,
sich von den Dialogoprotokollen zwischen den verschiedenen binauralen Prozessoren
zu befreien, die notwendig sind, um die Spatialisation mehrerer
Schallquellen in Systemen des Stands der Technik zu verarbeiten.
-
Diese
Optimierung der Rechenleistung in dem erfindungsgemäßen System
ermöglicht
es ebenfalls, andere Funktionen einzuführen, die nachfolgend beschrieben
werden.
-
2 stellt
ein Funktionsschaltbild eines Ausführungsbeispiels des erfindungsgemäßen Systems
dar.
-
Das
Spatialisationssystem weist einen Prozessor der Datendarstellung
CPU1, der die von jeder Quelle stammende Information empfängt, und
eine Recheneinheit CPU2 der rechten und linken spatialisierten monophonen
Kanäle
auf. Der Prozessor CPU1 weist insbesondere das Modul 101 der
Berechnung der relativen Position einer Schallquelle im kopfbezogenen
Koordinatensystem des Hörers
auf, wobei dieses Modul in Echtzeit Informationen über die
Haltung des Kopfes (Position Hörer)
und über
die Position der wiederherzustellenden Quelle empfängt, wie
dies vorher beschrieben wurde. Erfindungsgemäß ermöglicht das Modul 102 der
Auflösungs-Auswahl
der kopfbezogenen Übertragungsfunktionen HRTF,
die in der Datenbank 13 enthalten sind, für jede zu
spatialisierende Quelle in Abhängigkeit
von der relativen Position der Quelle die Übertragungsfunktionen auszuwählen, die
für die
Erzeugung der spatialisierten Töne
verwendet werden. Im Beispiel der 2 ermöglicht ein
Modul 103 der Auswahl der Töne, das mit der Ton-Datenbank 14 verbunden
ist, die Auswahl des monophonen Signals der Datenbank, das an die
Recheneinheit CPU2 gesendet wird, um mit den angepassten linken
und rechten kopfbezogenen Übertragungsfunktionen
gefaltet zu werden. Vorteilhafterweise führt das Tonauswahlmodul 103 eine
Hierarchisierung zwischen den zu spatialisierenden Schallquellen
durch. In Abhängigkeit
von den System-Ereignissen
und den Verwaltungslogik-Auswahlvorgängen der Plattform wird eine
Wahl von benachbarten zu spatialisierenden Tönen durchgeführt. Die
Gesamtheit der Informationen, die es ermöglichen, diese Logik der Priorität der räumlichen
Darstellung zu definieren, geht über
den Hochleistungsbus der EMTI. Das Modul 103 zur Auswahl
der Töne ist
zum Beispiel mit einem Konfigurations- und Parametrierungsmodul 104 verbunden,
in dem dem Hörer eigene
Personalisierungskriterien gespeichert sind.
-
Die
die Wahl der Übertragungsfunktionen HRTF
sowie die zu spatialisierenden Töne
betreffenden Daten werden an die Recheneinheit CPU2 mit Hilfe einer
Kommunikationsverbindung 15 gesendet. Sie werden vorübergehend
in einem Speicher für
Filterungen und digitale Tone 201 gespeichert. Der Teil des
Speichers, der die digitalen Töne, "Earcons" genannt (Name, der
den Tönen
verliehen wird, die als Alarm oder Warnung verwendet werden und
einen starken signifikanten Wert besitzen), enthält, wird zum Beispiel bei der
Initialisierung geladen. Er enthält
die Tastproben von Tonsignalen, die vorher in der Ton-Datenbank 14 digitalisiert
wurden. Auf Anforderung des Host-CPU1 wird die Spatialisation eines oder
mehrerer dieser Signale aktiviert oder ausgesetzt. So lange die
Aktivierung dauert, wird das betroffene Signal in Schleife gelesen.
Die Faltungsrechnungen werden von einem Rechner 202 durchgeführt, zum
Beispiel einem Bauteil vom Typ EPLD, das die spatialisierten Töne erzeugt,
wie oben beschrieben wurde.
-
Im
Beispiel der 2 bildet eine Prozessor-Schnittstelle 203 einen
Speicher, der für
die Filterungsoperationen verwendet wird. Sie besteht aus Pufferspeichern
für die
Töne, die
HTRF-Filter sowie für
Koeffizienten, die für
andere Funktionen wie die sanfte Umschaltung und die Simulation
der atmosphärischen
Absorption verwendet wird, die nachfolgend beschrieben werden.
-
Mit
dem erfindungsgemäßen Spatialisationssystem
können
zwei Typen von Tönen
spatialisiert werden; die Earcons (oder akustisch Alarmsignale) oder
Töne, die
direkt von Radios (UHF/VHF) kommen, die in 2 "Live-Töne" genannt werden.
-
3 zeigt
das Schaltbild einer Recheneinheit eines Spatialisationssystems
gemäß dem Beispiel
der 2.
-
Vorteilhafterweise
weist das erfindungsgemäße Spatialisationssystem
ein Modul 16 zur Eingang/Ausgang-Audioaufbereitung auf, das am Ausgang
die linken und rechten spatialisierten monophonen Kanäle empfängt, um
sie zu formen, ehe sie an den Hörer
gesendet werden. Optional, wenn "Live"-Kommunikationen
spatialisiert werden sollen, werden diese Kommunikationen vom Aufbereitungsmodul
für ihre
Spatialisation durch den Rechner 202 der Recheneinheit
geformt. Als Standard wird ein von einer so genannten Live-Quelle
kommender Ton immer prioritär
gegenüber
den zu spatialisierenden Tönen
sein.
-
Man
hat wieder die Prozessor-Schnittstelle 203, die einen Kurzzeitspeicher
für alle
verwendeten Parameter bildet.
-
Der
Rechner 202 bildet den Kern der Recheneinheit. In Beispiel
der 3 weist er ein Modul 204 der Aktivierung
und Auswahl von Quellen auf, das die Funktion des Mischens zwischen
den Live-Eingängen
und den Tönen
vom Typ Earcons ausführt.
-
Mit
Hilfe des erfindungsgemäßen Systems kann
der Rechner 202 die Rechenfunktionen für die n zu spatialisierenden
Quellen durchführen.
Im Beispiel der 3 können vier Schallquellen spatialisiert werden.
-
Er
weist ein Modul 205 der doppelten Spatialisation auf, das
die angepassten Übertragungsfunktionen
empfängt
und die Faltung mit dem zu spatialisierenden monophonen Signal durchführt. Diese Faltung
wird im zeitlichen Raum durchgeführt,
indem die Verzögerungsfähigkeiten
der Filter FIR (Filter mit endlicher Impulsantwort) genutzt werden,
die den interauralen Verzögerungen
zugeordnet sind.
-
Vorteilhaftweise
weist er ein Modul 206 der sanften Umschaltung auf, das
mit einem Register 207 der Rechenparametrierung verbunden
ist, das die Wahl der Übergangsparameter
in Abhängigkeit von
der Bewegungsgeschwindigkeit der Quelle und des Kopfs des Hörers optimiert.
Das Modul der sanften Umschaltung ermöglicht einen Übergang
ohne hörbares
Schaltgeräusch
beim Übergang
von einem Filterpaar zum nächsten.
Diese Funktion wird von einer doppelten linearen Gewichtungsrampe
durchgeführt.
Sie bedingt eine doppelte Faltung: Jede Tastprobe jedes Ausgangskanals
resultiert aus der gewichteten Summe von zwei Tastproben, wobei
jede durch Faltung des Eingangssignals mit einem Spatialisationsfilter
erhalten wird, das ein Element der Bank HRTF ist. In einem gegebenen
Zeitpunkt gibt es also im Eingangsspeicher zwei Paare von Spatialisationsfiltern
pro zu verarbeitendem Pfad.
-
Vorteilhafterweise
weist er ein Modul 208 der Simulation der atmosphärischen
Absorption auf. Diese Funktion wird zum Beispiel durch eine lineare
Filterung mit 30 Koeffizienten und einer Verstärkung durchgeführt, die
an jedem Kanal (links, rechts) jedes Pfads nach Spatialisationsverarbeitung
durchgeführt wird.
Diese Funktion ermöglicht
es dem Hörer,
die Tiefenwirkung wahrzunehmen, die für seine funktionsfähige Entscheidung
notwendig ist.
-
Schließlich sind
ein dynamisches Gewichtungsmodul 209 und ein Summiermodul 210 vorgesehen,
um die gewichtete Summe der Kanäle
jedes Pfads zu erstellen, um ein einziges stereophones Signal zu
liefern, das mit der Ausgangsdynamik kompatibel ist. Der einzige
zu dieser stereophonen Wiedergabe gehörende Zwang ist mit der Bandbreite
verbunden, die für
die Schall-Spatialisation notwendig ist (typischerweise 20 kHz).
-
4 zeigt
schematisch die Hardware-Architektur einer modularen Avionik-Einrichtung 40 zur Verarbeitung
der Information vom Typ EMTI. Sie weist einen Hochleistungsbus 41 auf,
mit dem die Gesamtheit der Funktionen der Einrichtung verbunden
wird, darunter insbesondere das wie oben beschriebene erfindungsgemäße Schall-Spatialisationssystem 42,
die anderen Mensch-Maschine-Schnittstellenfunktionen 43,
wie zum Beispiel die Sprachsteuerung, die Symbologieverwaltung im
normalen Blickfeld, das Helm-Sichtgerät usw., und eine Systemverwaltungskarte 44,
die als Funktion die Schnittstellenverbindung mit den anderen Einrichtungen
des Flugzeugs hat. Das Schall-Spatialisationssystem 42 gemäß der Erfindung
ist über
den Prozessor der Datendarstellung CPU1 mit dem Hochleistungsbus
verbunden. Es weist außerdem
die Recheneinheit CPU2 auf, wie sie oben beschrieben wurde und zum
Beispiel von einem Bauteil EPLD gebildet wird, das mit den technischen
Anforderungen der EMTI (Anzahl und Typ von Operationen, Speicherbereich,
Codierung der Audiotastproben, digitale Bitrate) kompatibel ist.