-
Die Erfindung betrifft ein Vorrichtung zur Erzeugung von objektabhängigen Audiodaten.
-
Des Weiteren betrifft die Erfindung ein Verfahren zur Erzeugung von objektabhängigen Audiodaten in einem Fahrzeuginnenraum.
-
Fahrzeuge weisen heutzutage eine Vielzahl von Fahrerassistenzsystemen (Advanced Driver Assistance Systems – ADAS) und deren Sensoren auf, die einem Fahrer beim Fahren unterstützen und ihn vor Gefahren warnen. Da fast alle ADAS-Informationen visuell dargestellt werden, ist der visuelle Kanal mit Informationen überladen. Durch die Flut von Informationen wird die Konzentration des Fahrers beeinträchtigt, da die Vielzahl der Bildschirme und Warnleuchten den Fahrer von der Beobachtung des Geschehens um das Fahrzeug herum ablenken.
-
Bisher werden nur im geringen Umfang Geräusche verwendet, um den Fahrer über Gefahrensituationen zu informieren. So ist aus der
DE 10 2014 221 301 A1 ein System bekannt, bei dem ein Audiopanorama mit Mikrophonen aufgenommen und zur Anzeige des Vorliegens von Gefahren oder anderen interessierenden Ereignissen einem Benutzer angezeigt wird.
-
Die Aufgabe der Erfindung besteht daher darin, ohne zusätzliche Sensoren am Fahrzeug, dem Fahrer eines Fahrzeuges Informationen über in der Umgebung des Fahrzeuges vorhandene bewegliche und statische Objekte oder sonstige Warnmeldungen akustisch zu vermitteln.
-
Die Aufgabe der vorliegenden Erfindung wird durch eine Vorrichtung, beziehungsweise eine akustische Mensch-Maschine-Schnittstelle (MMI), zur Erzeugung von objektabhängigen Audiodaten gelöst, umfassend eine Vielzahl von Fahrerassistenzsystemen und deren Sensoren, eine Datenbank mit Audiodaten, einen objektbasierten Audiomanager, einen Renderer (ein Mehrkanaltonsystem) und eine Vielzahl von Lautsprechern, wobei die Vielzahl von Fahrerassistenzsystemen und/oder deren Sensoren mit der Datenbank und dem objektbasierten Audiomanager im Datenaustausch stehen, wobei der objektbasierte Audiomanager mit dem Renderer im Datenaustausch steht und wobei der Renderer mit den Lautsprechern verbunden ist.
-
Vorteil dieser Vorrichtung ist, dass auf bereits bestehende Fahrerassistenzsysteme und deren Sensoren zugegriffen wird, so dass der Einbau von weiteren Sensoren nicht notwendig ist. Im Fahrzeug bereits vorhandene Sensordaten/ADAS-Informationen zur Erzeugung von objektbasierten Audioausgaben können so genutzt werden.
-
Dabei kann jedes detektierte Objekt als räumliches Klangobjekt, basierend auf der Verwendung objektbasierter Audiotechnologie, erzeugt werden.
-
Hierbei wird ein „objektbasiertes Audio“ genutzt, um dem Benutzer eine gerichtete Wahrnehmung der Audio-Signale zu ermöglichen.
-
Um das volle Potential zu nutzen, sollte das audiobasierte System innerhalb des Fahrzeuges möglichst gut mit andern Geräten vernetzt sein, mit Zugang zu allen Fahrzeug- und Sensormodulen, um die notwendigen Informationen für die Erzeugung einer erweiterten Realität zu erhalten.
-
Die Vorrichtung stellt ein objektbasiertes Audiosystem dar, das der Erfassung der Umwelt über Sensoren und deren richtungs- und abstandsrichtigen Wiedergabe im Fahrzeuginnenraum dient.
-
Die Vielzahl von Fahrzeugassistenzsystemen und/oder deren Sensoren, die Datenbank und der objektbasierte Audiomanager stehen vorzugsweise mit einem Effektgerät und einem Equalizer im Datenaustausch.
-
Die Fahrerassistenzsysteme und deren Sensoren sind vorzugsweise ausgewählt aus der Gruppe umfassend V2X-Kommunikationssysteme, wie Fahrzeug-Fahrzeug-Kommunikationssysteme (V2V-Kommunikationssysteme) und Fahrzeug-Infrastruktur-Kommunikationssysteme (V2I-Kommunikationssysteme), Abstandssensoren, Mikrofone, Kommunikationssysteme (beispielsweise Mobilfunksysteme und drahtlose Kommunikationssysteme) für die Kommunikation zwischen mehreren Fahrzeugen, Positionsbestimmungssysteme, Ortsbestimmungssysteme, wie beispielsweise GPS, (Video-)Kamerasysteme, Ultraschallsysteme, Laserentfernungsmesssysteme, Radarsysteme und Navigationssysteme.
-
Die Sensoren sind vorzugsweise in oder an einem Fahrzeug angeordnet, so dass sie die gesamte oder zumindest den für den Fahrer relevanten Teil der Umgebung des Fahrzeuges abdecken.
-
In einer bevorzugten Ausführungsform der Erfindung sind die Lautsprecher im Innenraum eines Fahrzeugs angeordnet.
-
Die objektbasierten Sounds, die durch die Vielzahl der Lautsprecher ausgebbar sind, sind vorzugsweise auf Basis einer Wellenfeldsynthese erzeugbar.
-
In einer weiteren bevorzugten Ausführungsform der Erfindung sind die Lautsprecher in den Kopfstützen eines Fahrzeugsitzes angeordnet.
-
Die objektbasierten Sounds, die durch Lautsprecher in den Kopfstützen eines Fahrzeugsitzes ausgebbar sind, sind vorzugsweise binaural erzeugbar.
-
Eine Ausführungsform, bei der die Lautsprecher in den Kopfstützen eines Fahrzeugsitzes angeordnet sind, ermöglicht es nur einer bestimmten Person oder nur einem bestimmten Personenkreis von Insassen die objektbasierten Audiosignale (Sounds) zu übermitteln, während bei anderen Anordnungsmöglichkeiten der Lautsprecher, beispielsweise durch eine Vielzahl von Lautsprechern, die im Innenraum eines Fahrzeuges, wie der Verkleidung des Fahrzeuginnenraumes oder dem Fahrzeugdach, angeordnet sind, die objektbasierten Audiosignale so wiedergegeben werden, dass alle Fahrzeuginsassen sie hören können. Ein Algorithmus im Audiogenerator bestimmt, ob die ausgegebenen Informationen und/oder Warnungen allen oder nur einem eingeschränkten Personenkreis beziehungsweise nur einer Person im Fahrzeuginnenraum wiedergegeben werden.
-
Der Renderer ist vorzugsweise ein objektbasiertes Audiosystem, das Wellenfelder erzeugt, so das ein räumlicher Klangeindruck beim Fahrer und/oder weiteren Fahrzeuginsassen im Fahrzeuginnenraum erzeugt wird. Die so erhaltene objektbezogene Audioausgabe enthält Informationen über die Position eines Objekts und dessen Geschwindigkeit und Richtung oder über Betriebszustände des Fahrzeuges. Je nach Art des Objektes können aber auch weitere Informationen über das Objekt ausgegeben werden. Die Objekte können dabei dynamisch zwischen den Lautsprechern erstellt werden. Dies erfolgt durch eine Vielzahl von Lautsprechern, die an verschiedenen Positionen im Fahrzeuginnenraum angeordnet sind.
-
Des Weiteren wird die Erfindung durch ein Verfahren der eingangs genannten Art gelöst, bei dem Informationen und Warnsignale, die von Fahrerassistenzsystemen und/oder deren Sensoren stammen, von einem objektbasierten Audiogenerator, der mit einer Datenbank mit Audiodaten im Datenaustausch steht, zu objektbasierten Sounds (Tönen) verarbeitet und diese durch im Innenraum des Fahrzeuges angeordnete Lautsprecher, durch Superposition der Signale (Summensignale), wiedergegeben werden.
-
Ein Algorithmus erstellt die Klangobjekte während der Laufzeit und siedelt sie als innerhalb oder außerhalb des Fahrzeuges, abhängig vom vorliegenden Anwendungsfall der Sound-Augmentation, an. Um eine möglichst optimale Sound-Augmentation zu erzielen, werden Wellenfeldsynthesen- oder binaurale Algorithmen verwendet.
-
Dabei werden Sounds (Töne/akustische Signale) und Geräusche so wiedergegeben, dass der Fahrer das Gefühl hat, sie kämen tatsächlich von einem Objekt (z.B. einem anderen Verkehrsteilnehmer). Dabei werden die von der Position der objektbasierten Sounds (Töne) im Raum ausgehenden Wellenfronten berechnet und entsprechend über Lautsprecher im Fahrzeuginnenraum wiedergegeben. Hierbei werden tatsächliche und künstliche (oder reale) Sounds (Töne) mit der Position und Geschwindigkeit anderer Objekte überlagert. Die Position einer Gefahr außerhalb des Fahrzeuges wird bestimmt und der Sound (Ton) genau auf diese Position gelegt, so dass es sich für den Fahrer und alle anderen Insassen anhört als käme der Sound von diesem Objekt.
-
Dabei wird auf interne Systeme zugegriffen, die die Position von Hindernissen oder anderen Verkehrsteilnehmern mitteilen und diese als akkurate Raumwiedergabe im Fahrzeuginneren wiedergeben.
-
Erfindungsgemäß sind Sounds akustische Signale in Form von Tönen, Geräuschen, Stimmen, etc.
-
Informationen und Warnsignale, die von Fahrerassistenzsystemen und/oder deren Sensoren stammen, werden vorzugsweise von einem Effektgerät und einem Equalizer, der mit der Datenbank mit Audiodaten im Datenaustausch steht, zu objektbasierten Sounds verarbeitet und an den objektbasierten Audiomanager weitergeleitet.
-
Die Informationen und Warnsignale umfassen vorzugsweise Positionsangaben des Fahrzeuges oder eines anderen Fahrzeuges, Navigationsangaben, Informationen von Verkehrszeichen, Verkehrswarnsignale, lokalen Diensten, Spurinformationen, mit dem Fahrzeug verbundenen Diensten, Fahrzeuginformationen, Serviceinformationen, Abstandsangaben zu anderen beweglichen oder ortsgebundenen Objekten, Informationen über andere Fahrzeuge innerhalb einer ausgewählten Gruppe von Fahrzeugen und Sprachinformationen der Fahrer innerhalb der ausgewählten Gruppe von Fahrzeugen.
-
Außerdem ist auch eine Soundmodulation basierend auf Fahrzeugparametern in diesem Zusammenhang denkbar. Beispielsweise um den Fahrer zu warnen, dass Betriebsstoffe nachgefüllt werden müssen, Defekte vorliegen, der Reifendruck nicht optimal ist oder sonstige Störungen am Fahrzeug vorliegen.
-
Die Informationen und Warnsignale werden vorzugsweise über einen Renderer (beziehungsweise ein Mehrkanaltonsystem), der eine Vielzahl von Lautsprechern aufweist, im Innenraum des Fahrzeuges wiedergegeben, so dass eine objektbezogene Audioausgabe erfolgt, die Informationen über die Position des Objekts und dessen Geschwindigkeit und Richtung beinhaltet.
-
In einer bevorzugten Ausführungsform der Erfindung werden die objektbasierten Sounds, die durch die Vielzahl der Lautsprecher ausgegeben werden, auf Basis einer Wellenfeldsynthese erzeugt. Hierzu sind im Fahrzeuginnenraum, zum Beispiel der Fahrzeuginnenraumverkleidung oder dem Fahrzeugdach, eine Anzahl von Lautsprechern angeordnet.
-
In einer weiteren bevorzugten Ausführungsform der Erfindung werden die objektbasierten Sounds binaural durch Lautsprecher in den Kopfstützen eines Fahrzeugsitzes ausgegeben.
-
Weitere Einzelheiten, Merkmale und Vorteile von Ausgestaltungen der Erfindung ergeben sich aus der nachfolgenden Beschreibung von Beispielen mit Bezugnahme auf die zugehörigen Figuren. Im Einzelnen zeigt
-
1 ein Fließschema des Verfahrens zur Erzeugung von objektabhängigen Audiodaten eines Fahrzeuges,
-
2 eine schematische Darstellung der Positionen von Objekten und deren Bewegung außerhalb eines Fahrzeuges in Bezug auf das Fahrzeug,
-
3 eine schematische Darstellung der Positionen von Objekten und deren Bewegung außerhalb eines Fahrzeuges in Bezug auf den Fahrer des Fahrzeuges beziehungsweise einen Fahrzeuginsassen,
-
4 eine schematische Darstellung eines Fahrzeuges mit Lautsprechern,
-
5 eine schematische Darstellung der Anordnung von Lautsprechern an einem Fahrzeugsitz und
-
6 eine schematische Darstellung einer Vorrichtung zur Erzeugung von objektabhängigen Audiodaten.
-
1 zeigt ein Fließschema des Verfahrens zur Erzeugung objektabhängiger Audiodaten in einem Fahrzeug 1, bei dem zunächst auf bereits in Fahrzeugassistenzsystemen des Fahrzeuges 1 vorhandene Daten zugegriffen wird oder durch deren Sensoren 2 die Umgebung des Fahrzeuges 1 detektiert und identifiziert wird (A). Räumliche Informationen, wie Position, Geschwindigkeit und Richtung, werden ermittelt (B). Außerdem können Umfeldinformationen, wie Art des Objekts, Sound (des Objekts), ermittelt werden (C). Anschließend werden aus den in den Schritten B und C ermittelten Daten virtuelle Soundobjekte in einem Audio-MMI-Erzeuger erstellt (D) und diese virtuellen Soundobjekte werden in Bezug zu dem realen Objekt erstellt/gerendert (Position und Umfeld) (E). Die so gewonnenen Audiohinweise werden räumlich im Fahrzeuginneren mit einer Vielzahl von Lautsprechern, durch Wellenfeldsynthese, oder binaural mit Lautsprechern an den Kopfstützen 12 des Fahrersitzes 3, abgespielt (F).
-
2 zeigt eine schematische Darstellung der Datenermittlung außerhalb des Fahrzeuges 1. Der Kreis um das Fahrzeug 1 stellt die Sensorreichweite 4 dar. Innerhalb der Sensorreichweite 4 befinden sich zwei reale dynamische Objekte 5 in der Umgebung, deren Typ, Position, Geschwindigkeit und Richtung (in der 2 verdeutlicht durch die Pfeile 6) bestimmt werden. Durch einen weiteren Pfeil 7 wird die Richtung des Fahrzeuges 1 dargestellt.
-
In der Anwendung eines Kopfstützeneinbaus wird um die Fahrersitze 3 ein persönlicher Audiobereich 8 für Informationen und/oder Warnungen (beziehungsweise virtuelle MMI-Sounds) gebildet. In diesem persönlichen Audiobereich 8 werden nur Informationen und/oder Warnungen wiedergegeben, die sich an einen bestimmten Fahrzeuginsassen, beispielsweise den Fahrer, richten, der auf dem Sitz 3 innerhalb des persönlichen Audiobereichs 8 sitzt.
-
Alternativ werden die objektbasierten Sounds (beziehungsweise Informationen), die mittels Wellenfeldsynthese erzeugt werden, im Fahrzeuginnenraum für alle Fahrzeuginsassen zur Verfügung gestellt.
-
Informationen und/oder Warnungen (beziehungsweise virtuelle MMI-Sounds), die sich an alle Fahrzeuginsassen richten, werden innerhalb eines Innenraum-Audiobereichs 9 wiedergegeben.
-
Die Vorrichtung zur Erzeugung von ortsabhängigen Audiodaten kann somit Informationen und/oder Warnungen direkt an einen Fahrzeuginsassen oder an alle Fahrzeuginsassen übermitteln, je nachdem welcher Audiobereich angesteuert wird (persönlicher Audiobereich 8 oder Innenraum-Audiobereich 9).
-
In der 3 ist ein Benutzer 10, beispielsweise der Fahrer, innerhalb des persönlichen Bereichs 8 dargestellt. Über Lautsprecher 11 an seiner Kopfstütze 12 werden virtuelle dynamische Objekte 13 wiedergegeben, die dem Benutzer 10 objektbasierte (objektabhängige) Sounds (Töne) der Objekte 5 mit Informationen über Art, Geschwindigkeit und Richtung der Objekte 5 vermitteln. Die Audiowiedergabe erfolgt dabei beispielsweise binaural.
-
In der 4 ist eine schematische Darstellung eines Fahrzeuges 1 gezeigt.
-
In dem Fahrzeug 1 ist eine Vielzahl von Lautsprechern 11 zur Wiedergabe virtueller dynamischer Objekte 13 und damit von Daten über die Art, Geschwindigkeit und Richtung von durch Sensoren 2 ermittelte Objekte 5 außerhalb des Fahrzeuges 1, angeordnet. Die virtuellen dynamischen Objekte 13 werden dabei beispielsweise durch Wellenfeldsynthese (WFS) erzeugt.
-
In der 5 wird ein Sitz 3 mit einer Audiokopfstütze gezeigt, bei der in eine Kopfstütze 12 Lautsprecher 11 integriert sind.
-
In der 6 ist eine Vorrichtung zur Erzeugung von objektabhängigen Audiodaten schematisch dargestellt. Das MMI-System 14 umfasst einen objektbasierenden Audiomanager 17 in dem ein Effektgerät und ein Equalizer 16 (Audio FX) und ein Audioobjektkontrollmodul 15 angeordnet sind, der Sounds plaziert und parametrisiert, wobei das Effektgerät und der Equalizer 16 digitale Audiodaten aus einer Vielzahl von Audioquellen 18 und mindestens einer (Audio-)Datenbank 19 empfangen. Des Weiteren empfängt der objektbasierte Audiomanager 17 Metadaten von einem OBA-Kontrollmodul 20 (objektbasiertes Audio – OBA), das mit einem MMI-Server und einem ADAS-Zugangsmodul (Advanced Driver Assistance System) verbunden ist, wobei die von den Sensoren 2 ermittelten ADAS-Daten 21 an das ADAS-Zugangsmodul übermittelt werden.
-
Das OBA-Kontrollmodul 20 steht mit der Datenbank 19, dem Effektgerät/Equalizer 16 und dem Audioobjektkontrollmodul 15, beziehungsweise mit dem objektbasierten Audiogenerator 17 im (Meta-)Datenaustausch.
-
Der objektbasierte Audiomanager 17 liefert digitale Audiodaten an einen Renderer 22, der eine Vielzahl von Lautsprechern 11 steuert und im (Meta-)Datenaustausch mit dem objektbasierten Audiomanager 17 steht. In den Renderer 22 gehen Daten über die Parameter des Aufbaus der Lautsprecher 11 und die Architektur des Raumes (beziehungsweise des Fahrzeuginnenraumes) ein.
-
Jedes durch die Sensoren des Fahrzeuges 1 detektierte Objekt 5 kann unter Verwendung einer objektbasierten Audiotechnologie als räumliches Soundobjekt dargestellt werden.
-
Als Eingangssignal dienen Signal und Metadaten, die als reproduziertes Audiosignal der virtuellen Schallquelle ausgegeben werden.
-
Bezugszeichenliste
-
- 1
- Fahrzeug
- 2
- (Fahrzeug-)Sensor
- 3
- (Fahrer-)Sitz
- 4
- Sensorreichweite
- 5
- Objekt
- 6
- Pfeil
- 7
- Pfeil
- 8
- persönlicher Audiobereich
- 9
- Innenraum-Audiobereich
- 10
- Benutzer
- 11
- Lautsprecher
- 12
- Kopfstütze
- 13
- virtuelles dynamisches Objekt
- 14
- MMI-System
- 15
- Audioobjektkontrollmodul
- 16
- Effektgerät und Equalizer
- 17
- objektbasierter Audiomanager
- 18
- Audioquelle
- 19
- (Audio-)Datenbank
- 20
- Kontrollmodul
- 21
- ADAS-Daten
- 22
- Renderer
- A
- Fahrzeugsensoren detektieren und identifizieren die Umgebung
- B
- Ermitteln von räumlichen Informationen (Position, Geschwindigkeit, Richtung)
- C
- Ermitteln von Umfeldinformationen (Art des Objekts, Sound)
- D
- virtuelle Soundobjekte werden in einem Audio-MMI-Erzeuger erstellt
- E
- virtuelle Soundobjekte werden in Bezug zu dem realen Objekt erstellt/gerendert (Position und Umfeld)
- F
- Audiohinweise werden räumlich an den Kopfstützen abgespielt
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102014221301 A1 [0004]
