DE10155742A1 - Vorrichtung und Verfahren zur Generierung von räumlich lokalisierten Warn- und Informationssignalen zur vorbewussten Verarbeitung - Google Patents

Abstract

Moderne technische Einrichtungen sind zunehmend mit komplexen Warn- und Informationssystemen ausgestattet. So sind beispielsweise Automobile mit Fahrassistenz- und Sicherheitssystemen ausgestattet, die mit dem Fahrer oder der Fahrerin kommunizieren. Beispielsweise kann dem Fahrer die Unterschreitung von Sicherheitsabständen signalisiert werden. Das Auto gestaltet sich somit zu einer zunehmend komplexeren audiotorischen Szene um; insbesondere bezüglich der äußeren Verkehrssituation, den anhaltenden Belastungen, anderen Fahrgästen, Radio, Telefon oder konkurrierenden Fahrzeuginformationen. Um in dieser den Fahrer umgebenden komplexen Szene bedeutungstragende Signale mit angemessener Dringlichkeit verläßlich zu übermitteln, muß die Psychophysik der Wahrnehmungssysteme berücksichtigt werden. Die Sicherheit im Fahrzeug wird unter diesen Bedingungen durch eine Optimierung der Warn- und Informationssysteme gewährleistet. Dies wird durch ein neuartiges Verfahren und eine neuartige zur Durchführung dieses Verfahrens geeignete Vorrichtung gelöst, bei welcher räumlich lokalisierte akustische Warn- und Informationssignale generiert werden, wobei die Warnsignale aus derjenigen Richtung auf einen Nutzer hin ausgesandt werden, in welcher sich ein Objekt oder eine Gefahrensituation befindet, vor welcher gewarnt oder über welche informiert werden soll. Hierbei werden in erfinderischer Weise zusätzlich zu den akustischen Warn- und Informationssignalen visuelle Signale ausgesandt, wobei ...

Description

• Die Erfindung betrifft ein Verfahren und eine Vorrichtung nach dem Oberbegriff der Patentansprüche 1 und 7.
• Moderne technische Einrichtungen sind zunehmend mit komplexen Warn- und Informationssystemen ausgestattet. So sind beispielsweise Automobile mit Fahrassistenz- und Sicherheitssystemen ausgestattet, die mit dem Fahrer oder der Fahrerin kommunizieren. Beispielsweise kann dem Fahrer die Unterschreitung von Sicherheitsabständen signalisiert werden. Das Auto gestaltet sich somit zu einer zunehmend komplexeren auditorischen Szene um (insbesondere bezüglich der äußeren Verkehrssituation, den anhaltenden Belastungen, den anderen Fahrgästen, von Radio, Telefon oder konkurrierenden Fahrzeuginformationen). Um in dieser, den Fahrer umgebenden komplexen Szene bedeutungstragende Signale mit angemessener Dringlichkeit verläßlich zu übermitteln, muß die Psychophysik der Wahrnehmungssyteme berücksichtigt werden. Die Sicherheit im Fahrzeug wird unter diesen Bedingungen durch eine Optimierung der Warn- und Informationssysteme gewährleistet.
• Das Hörsystem stellt denjenigen menschlichen Sinneskanal dar, der stets in Bereitschaft steht, auf Gefahrenreize zu reagieren. Selbst unter starker Ablenkung, Müdigkeit und im Schlaf erfolgen rasche Reaktionen auf akustische Signale. Diese vorbewußte Funktion wird seit Anfang der 70er Jahre objektiv durch Messung einer definierten EEG- oder MEG-Komponente untersucht. Diese als "Mismatch Negativity" (MMN) bezeichneten Gehirnströme aus der Gehörrinde messen die Erkennung eines abweichenden Reizes (Risto Näätänen and Istvan Winkler. The concept of auditory stimulus representation in cognitive neuroscience. Psychological Bulletin, 125: 825-859, 1999) und können somit als Maß der Störung in einem dynamischen System aus dem Gleichgewichtszustand aufgefaßt werden (K Mathiak, I Hertrich, W Lutzenberger, and H Ackermann. MEG - recordings of syllable perception: pertubations from a stahle state. In Chaos in the Brain?, pages 283-287. World Scientific, Singapore, 2000). Dieser vorbewußte Verarbeitungsschritt stellt die Grundlage der Aufmerksamkeitslenkung auf ein Warngeräusch dar. Als Ergänzung zu Verhaltensexperimenten, die erheblich von der Motivation, Befindlichkeit und Konzentrationsfähigkeit der Versuchsteilnehmer abhängen, kann die MMN erfassen, welche Warnreize zu welchem Grad auch in unkonzentrierten Fahrern Aufmerksamkeit erwecken können. Bei multimodalen simultanen Reizen läßt sich darüber hinaus die gegenseitige Störung oder Verstärkung dieser auf Raum und Modalität verteilten Informationen analysieren.
• Über die "klassische" MMN hinaus, die auch mit Hilfe der Elektroencephalographie gemessen wird, ermöglicht die Magnetencephalographie (MEG) zusätzlich die differentielle Bestimmung der Herkunft der Reaktion. Dadurch können insbesondere Reaktionen auf getrennte Geräuschquellen (K Mathiak, I Hertrich, W Lutzenberger, and H Ackermann; Encoding of temporal speech features during binaural and dichotic stimulus application: a whole-head magnetencephalography study. Cognitive Brain Research, 10: 125-131, 2000) oder Objekte (K Mathiak, I Hertrich, W Lutzenberger, and H Ackermann; Neuronal correlates of duplex perception: a whole-head magnetencephalography study. Neuro Report, 12: 501-506, 2001) separiert werden. Die MEG-Antworten unterscheiden sich nach dem Informationsinhalt der Signale (I Hertrich, K Mathiak, W Lutzenberger, and H Ackermann. Differential impact of periodic and aperiodic speech-like acoustic signals an magnetic M50/M100 fields. NeuroReport, 11: 4017-4020, 2000).
• Aus der nachveröffentlichen deutschen Patentanmeldung ("Vorrichtung und Verfahren zur Messung des Einflusses von Warnsignalen und Informationen auf einen Nutzer einer technischen Einrichtung") ist ein Verfahren und eine Vorrichtung zur Untersuchung der Reaktionsfähigkeit eines Bedieners einer technischen Einrichtung bekannt. Hierbei wird der Einfluß von visuellen Reizen im Raum auf die Wahrnehmungsbereitschaft von akustischen Warnreizen mit konkordanter oder diskordanter räumlicher Verteilung untersucht. Die Vorrichtung ist dabei so ausgebildet, dass sie sowohl visuelle als auch akustische Warnsignale und/oder Information ausgeben kann, und der Nutzer der technischen Einheit mit einem Meßsystem zur Erfassung der der, in Verbindung steht. Dabei bildet die Mismatch Negativity ein Maß, welches den Einfluß von visuellen Reizen im Raum auf die Wahrnehmungsbereitschaft von akustischen Warnreizen mit konkordanter und/oder diskordanter räumlicher Verteilung angibt.
• Aufgabe der Erfindung ist es die wissenschaftlichen Erkenntnisse zur neuronalen Aktivierung der Gehirnströme, insbesondere der Mismatch Negativity (MMN) und deren Analoga, zur Verbesserung der Wahrnehmung von Warn- und Informationssignalen bei technischen Einrichtungen auszunutzen.
• Die Aufgabe wird durch ein Verfahren und eine zur Durchführung dieses Verfahrens geeignete Vorrichtung gelöst, bei welcher räumlich lokalisierte akustische Warn- und Informationssignalen generiert werden, wobei die Warnsignale aus derjenigen Richtung auf einen Nutzer hin ausgesandt werden, in welcher sich ein Objekt oder eine Gefahrensituation befindet vor welcher gewarnt oder über welche informiert werden soll. Hierbei wird in erfinderischer Weise zusätzlich zu den akustischen Warn- und Informationssignalen visuelle Signale ausgesandt, wobei die jeweiligen akustischen und visuellen Signalquellen in einer für die jeweilige Warnung oder Information spezifischen Position angebracht sind.
• Ziel der Erfindung ist es, den Einfluß von visuellen Reizen im Raum auf die Wahrnehmungsbereitschaft von akustischen Warnreizen mit konkordanter oder diskordanter räumlicher Verteilung für die Gestaltung von Warn- und Informationssystemen in und an technischen Einrichtungen auszunutzen. Basierend auf vorausgegangenen neurophysiologischen Untersuchungen (M Eimer and E Schröger. ERP effects of intermodal attention and crossmodallinks in spatial attention. Psychophysiology, 35: 313-327, 1998) kann man annehmen, dass visuelle und akustische Reize schon in frühen kortikalen Verarbeitungsschritten, z. B. primären sensorischen Arealen, zusammentreffen. Dies ist auch im Bereich der Sprachwahrnehmung gut belegt. Vor dem Hintergrund der psycho-akustischen und neurophysiologischen Daten kann erwartet werden, dass eine adäquate visuelle Information die Wirksamkeit der akustischen Warnungen erhöht.
• Wie frühere Untersuchungen mit Hilfe eines Ganzkopf-MEGs gezeigt haben, lassen sich Reaktionen auf links- und rechtsseitige akustische Reize differentiell analysieren. Mittels des neuartigen erfinderischen Verfahrens und unter Rückgriff auf die erfinderische Vorrichtung ist es nun in vorteilhafterweise möglich ein Warn- und Informationssystem dergestalt auszuführen, dass der Einfluß von a) einseitigen visuellen Reizen, b) Flußfeldern (sich nach links bzw. rechts bewegende Punktwolken) und c) seitlicher Blickwendung auf die neuronale Aktivierung der Gehirnströme, insbesondere der Mismatch Negativity (MMN) und deren Analoga, ausgenutzt wird. In diesem Umfeld können beispielsweise gewinnbringende Ausgestaltungen der Erfindung dergestalt ausgeführt werden, dass akustische Warnreize durch optische Signale unterstützt werden können. Dabei ist es sowohl denkbar die Aussendung der optischen Signale statisch als auch bewegt zu realisieren.
• Die Voruntersuchungen zur Wirksamkeit von akustischen Signalen ergaben, dass die einzelnen berücksichtigten Geräusche (Stimme, Bremsquietschen, Gong) unterschiedlich gut zu lokalisieren waren. Falsch lokalisierte Geräusche konnten auch zu unangemessenen Reaktionen oder sogar gefährlichen Schreckreaktionen führen. Aggressiv klingende Stimuli, die zu einen raschen Reaktion führen sollen, müssen somit auch richtig lokalisiert werden. Es zeigt sich also, dass mittels der Erfindung gewinnbringend der Einfluss der Lokalisation einer Warnreizschallquelle auf die vorbewußte Verarbeitung ausnutzen.
• Vorausgegangenen Experimenten zufolge ist die vorbewußte Repräsentation des Ortes einer Stimulusquelle zu erwarten und somit durch die neuronale Aktivierung der Gehirnströme, insbesondere der Mismatch Negativity (MMN) und deren Analoga, zu erfassen. In besonders vorteilhafter Weise läßt sich mittels eines akustischen "Virtual Reality"-Systems (ein System, welches es erlaubt synthetisch akustische Quellen an beliebigen Positionen im Raum zu erzeugen) die Räumlichkeit und Objekthaftigkeit einer Präsentationen akustischer Signale erhöhen und variieren. Dementsprechend ermöglicht ein solches akustisches System das scheinbare Loslösen der Warnung oder Information von der tatsächlich (physikalisch) vorhandenen, gegenständlichen technischen Einrichtung bzw. Lautsprecheranordnung. Soll der Bediener also vor einer von hinten drohenden Gefahr gewarnt werden (im Kraftfahrzeugbereich: ein im Totwinkel des Rückspiegels befindliches Fahrzeug während des Überholvorganges), so kann in diesem Bereich virtuell eine akustisches Warnsignal erzeugt werden, ohne daß an der Stelle explizit ein Lautsprechern angebracht werden muß. Dies erlaubt somit eine absolut flexible virtuelle Positionierung der Schallquellen, ohne aufwendige Verkabelung und Installation.
• Steht die erfindungsgemäße Vorrichtung zudem mit Sensoren zur Erfassung des Umfeldes der technischen Einrichtung in Verbindung, so kann auf diese Weise deren Information bezüglich Objekten vor denen gewarnt oder über welche Informiert werden soll ausgewertet werden kann, was wiederum eine exakte Positionierung der Schallquellen im Raum erlaubt. Besonders vorteilhaft sind hierbei Sensoren zur Erfassung von Bewegungsparametern von Objekten, so dass es möglich wird wirklichkeitsnah eine bewegte Schallquelle zu simulieren. Hierbei ist es auch denkbar die ausgesandte Information im Zusammenhang mit der Bewegung der virtuellen Schallquelle zu variieren (beispielsweise Imitation des Dopplereffekts bei Simulation eines herannahenden Martinshorns eines Einsatzfahrzeuges oder Intensivierung der Lautstärke bei Herannahen eines gefährlichen Objekts). Bei der Anwendung der Erfindung im Kraftfahrzeug kann beispielsweise bei der Simulation eines vorbeifahrenden Fahrzeuges, gewinnbringend die Differenzgeschwindigkeit durch Variation im Klang des Warn- bzw. Informationssignals dargestellt werden. Eine weitere vorteilhafte Verwendung der Erfindung ergibt sich durch deren Integration in ein System zur Fahrspurerkennung. Hierbei kann ein Fahrzeuglenker vor dem Abkommen von einer Fahrspur durch ein Warnsignal (beispielsweise Nagelbandrattern) gewarnt werden, indem aus Richtung des Ortes bei welchen das Fahrzeug die Fahrbahn zu verlassen droht ein Warnsignal eingespielt wird. Unterstützend für die Wahrnehmung und zur Verbesserung der Reaktionsgeschwindigkeit wirkt hierbei synchron oder in einem kurzen Zeitabstand zuvor ein aus der selben Richtung einwirkender Lichtblitz ausgesandt.
• In besonders vorteilhafter Weise ist es denkbar ein bereits in der technischen Anlage befindliches Soundsystem (beispielsweise: Stereoanlage) für die erfindungsgemäße Nutzung als "Virtual-Reality"-System zu adaptieren. Auf diese Weise entfällt zusätzlicher Verkabelungs- und Installationsaufwand. Die Adaption kann hierbei beispielsweise durch Modifikation der Elektronik des vorhanden Soundsystems oder durch Anschluß eines Zusatzmoduls bewerkstelligt werden. Eine solche Ausgestaltung des akustischen Systems läßt sich besonders vorteilhaft zur Warnung und Informationsdarbietung in Kraftfahrzeugen verwenden. Führt hier die Reduktion von Verkabelungs- und Installationsaufwand zu einer signifikanten Kostensenkung und zum anderen erlaubt die erfindungsgemäße Realisierung von bewegter Warninformation eine wirklichkeitsnahe Sensibilisierung des Fahrzeuglenkers (dies ist besonders deshalb wichtig, da in modernen Kraftfahrzeugen die Fahrzeuginsassen sehr gut von den Geräuschen außerhalb des Kraftfahrzeuges, also auch von Signalanlagen von Kraftfahrzeugen, abgeschottet werden).
• In vorteilhafter Weise ermöglicht es der Erfindungsgegenstand insbesondere unter Einbeziehung eines "Virtual-Reality"-Systems das Warn- und Informationssystem der technischen Einrichtung so auszugestalten, dass die räumliche Gestaltung akustischer Reize zur bestmöglichen Aufmerksamkeitssteuerung führt. In diesem Zusammenhang ist ein "Virtual-Reality"-System ein System zur Generierung eines akustischen Raumes mit einer Mehrzahl von Lautsprechern, welche durch deren frequenzabhängige phasen- und amplitudenmodulierte Ansteuerung wenigstens eine virtuelle akustische Quelle erzeugen können. Hierbei kann gewinnbringend die akustische Schallquelle für jeden einzelnen Warn- oder Informationsreiz individuell plaziert werden.
• Im Umgang mit technischen Einrichtungen ist der Nutzer (beispielsweise der Führer eines Kraftfahrzeuges) im allgemeinen einer Vielzahl akustischer Reize ausgesetzt. Durch psychoakustische Studien ist gut belegt, dass unter diesen Bedingungen Maskierungseffekte auftreten, die auch die Lokalisation der Schallquellen beeinträchtigen. Ist andererseits der Reiz zu durchdringend, kann es zu adversiven Fehl- und Schreckreaktionen kommen. Vor diesem Hintergrund ist es von besonderer Bedeutung, den Einfluß von Nebengeräuschen auf die Verarbeitung der Warnreize zu untersuchen, um damit die Intensität und Art der Warnreize nach dem momentanen akustischen Umfeld zu steuern.
• Neben dem akustischen Umfeld treten Wechselwirkungen von Fahrerbelastungen (Reaktion auf visuelle oder auditive Aufgaben) mit der vorbewußten Erkennung von Raum- und Ortsinformationen statt. In diesem Zusammenhang eignet sich die Erfindung vorzüglich zum individuellen Anpassung der Warn- und Informationssignale analog der unterschiedlichen Fahrerbelastungen (visuelle und auditive Aufgaben) und in Konkurrenz mit Nebengeräuschen (Maskierung). In Bezug auf den Fall der Maskierung kann insbesondere die Robustheit der Warnstimuli verbessert und negative Einflußparameter kompensiert werden. Dies wird in vorteilhafter Weise durch die Anpassung der akustischen Warnreize an die aktuelle akustische Umgebung möglich. Beispielsweise lassen sich temporäre laute Nebengeräusche durch Erhöhung der Lautstärke der akustischen Signale oder durch (virtuelle) Annäherung der Position der akustischen Signalquelle kompensieren. Ebenso ist es denkbar die Art und Weise der Darbietung der Warnreize oder Information an die aktuelle Fahrerbelastung anzupassen. Auch ist es denkbar für den Fall, dass ein Nutzer einer technischen Einrichtung den Blick von der Richtung, aus welcher eine Gefahr droht, abgewandt hat, die Intensität und/oder Leuchtdichte der Warn- und Informationssignale zu erhöhen.
• Selbstverständliche beschränkt sich die erfinderische multisensorische Integration nicht nur auf die Integration von akustischen Warnreizen und Information mit visuellen Signalen, sondern läßt sich selbstredend auch auf die Kombination mit somatosensorischer und haptischer Reizen ausdehnen. Des weiteren ist es gewinnbringend denkbar die akustischen Signale auch mit anderen Sinnesmodalitäten (beispielsweise olfaktorische oder vestibulären) zu kombinieren.
• In besonders vorteilhafter Weise eignet sich die erfindungsgemäße Vorrichtung und das erfindungsgemäße Verfahren zur Verwendung für Warn- und Informationssystemen in Kraftfahrzeugen.
• Selbstverständlich bezieht sich die Bezeichnung Warn- und Informationssystem im Rahmen dieser Erfindung nicht nur auf autarke Warn- und Informationssysteme. Für den Fachmann ist es offensichtlich, dass solche Systeme auch als Untereinheit eines wesentlich komplexeren Systems ausgeführt werden können. Beispielsweise die Sprachausgabe eines Dialogsystems oder als Informationsmodul in einem Assistenzsystem in Kraftfahrzeugen, insbesondere zur Information des Fahrers über eine Fehlfunktion oder zur Information des Fahrers, dass das Assistenzsystem die Kontrolle von Teilen eines Fahrzeugs an ihn übergibt.

Claims (13)

1. Vorrichtung zur Generierung von räumlich lokalisierten akustischen Warn- und Informationssignalen, bei welcher Signale aus derjenigen Richtung auf einen Nutzer hin ausgesandt werden, in welcher sich ein Objekt oder eine Gefahrensituation befindet vor welcher gewarnt oder über welche informiert werden soll, dadurch gekennzeichnet, dass die Vorrichtung über ein Mittel zur Aussendung von visuellen Signalen verfügt, wobei die jeweiligen akustischen und visuellen Signalquellen in einer für die jeweilige Warnung oder Information spezifischen Position angebracht sind.

2. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Vorrichtung ein System zur Generierung eines akustischen Raumes ("Virtual-Reality"-System) mit einer Mehrzahl von Lautsprechern umfaßt, welche durch deren frequenzabhängige phasen- und amplitudenmodulierte Ansteuerung wenigstens eine virtuelle akustische Quelle erzeugen kann.

3. Vorrichtung nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass sich das Mittel zur Aussendung der visuellen Signale stationär an einer Position befindet.

4. Vorrichtung nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass das Mittel zur Aussendung der visuellen Signale vorhanden ist, welches es erlaubt die visuellen Signale zumindest in Teilen in veränderliche, sich bewegende Positionen auszusenden.

5. Vorrichtung nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass zusätzliche Mittel zur Aussendung von somatosensorischen und/oder haptischen Reizen vorhanden sind, welche mit den Mitteln zur Aussendung von akustischen und visuellen Signalen zusammenwirken.

6. Vorrichtung nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass zusätzliche Mittel zur Aussendung von olfaktorischen und/oder vestibulären Signalen vorhanden sind, welche mit den Mitteln zur Aussendung von akustischen und visuellen Signalen zusammenwirken.

7. Verfahren zur Generierung von räumlich lokalisierten akustischen Warn- und Informationssignalen, bei welchem Warnsignale aus derjenigen Richtung auf einen Nutzer hin ausgesandt werden, in welcher sich ein Objekt oder eine Gefahrensituation befindet vor welcher gewarnt oder über welche informiert werden soll, dadurch gekennzeichnet, dass visuelle Signale ausgesandt werden, wobei die jeweiligen akustischen und visuellen Signale aus einer für die jeweilige Warnung oder Information spezifischen Position her ausgesandt werden.

8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass die akustischen Warn- und Informationssignale mittels eines Systems zur Generierung eines akustischen Raumes ("Virtual-Reality"- System) mit einer Mehrzahl von Lautsprechern, deren frequenzabhängige phasen- und amplitudenmodulierte Ansteuerung eine virtuelle Quelle erzeugt, ausgesandt werden.

9. Verfahren nach einem der Ansprüche 7 oder 8, dadurch gekennzeichnet, dass die visuellen Signale von einer stationären Position aus ausgesandt werden.

10. Verfahren nach einem der Ansprüche 7 oder 8, dadurch gekennzeichnet, dass die visuellen Signale zumindest in Teilen in veränderliche, sich bewegende Positionen ausgesandt werden.

11. Verfahren nach einem der Ansprüche 7 bis 10, dadurch gekennzeichnet, dass zusätzlich zur Aussendung von akustischen und visuellen Signalen, auch somatosensorische und/oder haptische Reizen dargeboten werden.

12. Vorrichtung nach einem der Ansprüche 7 bis 10, dadurch gekennzeichnet, dass zusätzlich zur Aussendung von akustischen und visuellen Signalen, auch olfaktorische und/oder vestibuläre Signalen ausgesandt werden.

13. Verwendung der Vorrichtung und/oder des Verfahrens nach einem der Ansprüche 1 bis 12, zur Warnung und Information von Insassen in einem Kraftfahrzeug.