DE102009050667A1

DE102009050667A1 - System zur Notifikation verorteter Information

Info

Publication number: DE102009050667A1
Application number: DE200910050667
Authority: DE
Inventors: Roland Haring
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 2009-10-26
Filing date: 2009-10-26
Publication date: 2011-04-28
Also published as: EP2493344A1; CN102573542A; WO2011051009A1

Abstract

Die Erfindung besteht im Wesentlichen darin einen Schutzhelm um Knochenschalllautsprecher und Richtungssensoren zu erweitern, sodass der Träger über auditive Signale räumlich gerichtet - relativ zur Ausrichtung des Schädels - auf verortete Informationen in seinem Umfeld hingewiesen werden kann. Die Notifikation des Benutzers erfolgt dabei über verschiedene kontextabhängige in Echtzeit aus der Position des Benutzers, die Orientierung seines Kopfes sowie der Position der Information berechnete auditive Signale, die über diese Knochenschalllautsprecher ausgegeben werden, wobei die wahrgenommene Schallquelle dabei der Position der Information entspricht. Je nachdem ob der Anwender ein Mobiltelefon, einen PDA, Tablet PC oder sonstigen tragbaren Computer mit sich führt, wird er auf unterschiedliche Weise über einen sich ändernden Zustand der Software oder des Systems notifiziert. Durch die Knochenschallübertragung ist gewährleistet, dass das Signal zur Notifikation unabhängig von Umgebungsgeräuschen wahrgenommen werden kann. Die Erfindung findet voraussichtlich in den Domänen Location Based Services, Augmented Reality, Mensch Maschine Interfaces (HMI) und Industrie ihre Hauptanwendung.

Description

Die Erfindung betrifft ein System zur Notifikation bzw. Bekanntmachung verorteter Information, also Informationen, die einem bestimmten Ort zugewiesen sind bzw. durch diesen adressierbar sind.
Die hier beschriebene Erfindung bezieht sich vor allem auf Location Based Services als mobile, standortbezogene Informationsdienste, die unter Zuhilfenahme von positions-, zeit- und personenabhängigen Daten dem Endbenutzer selektive Informationen auf mobilen Endgeräten, wie bspw. PDA, Tablet PC oder Handy, bereitstellen. Solche Informationen können etwa Benutzerhandbücher zu komplexen Anlagen, Wartungsauf-träge zu Maschinen, Pläne oder auch Warnhinweise sein, die erst am mobilen Endgerät sichtbar werden, wenn man sich tatsächlich in deren Nähe befindet. Denkbare Einsatzgebiete einer solchen Technologie sind neben Großindustrieanlagen, auch Baustellen, Bergwerke, usw.
Aufgrund des sich ändernden Position bzw. des zeitlichen und räumlichen Kontexts des Endbenutzers ist es notwendig, diesen über die neue und aktualisierte Informationen in seinem Umfeld zu notifizieren. Zurzeit angewendete Notifikationsmechanismen werden den Anforderungen eines mobilen, sowie ständig wechselnden Umwelteinflüssen, wie bspw. Lärm, Licht, Gefahrenzonen, Schutzkleidung usw., ausgesetzten Anwenders nicht gerecht. Darüber hinaus stören oder behindern bisherige Notifikationstechnologien den Anwender und sein Umfeld in seinem Arbeitsablauf.
Eine auditive Notifikation erfolgt bislang mittels Warn- oder Hinweiston über Lautsprecher eines Endgeräts. Die Nachteile bestehen hierbei darin, dass eine angemessene Lautstärke und Verständlichkeit abhängig von Umgebungsgeräuschen, der Entfernung des Lautsprechers zum Ohr sowie der Dämpfung durch Kleidung usw. ist. Eine zu leise Notifikation kann entweder überhört, oder nicht verstanden werden. Eine zu laute Notifikation wird vom dem Anwender oder seinem Umfeld als störend und aufdringlich empfunden. Das Tragen von Kopfhörern oder Headsets ermöglicht zwar eine einwandfreie und gerichtete Audiowiedergabe, stellt aber ein Sicherheitsrisiko dar, da Umgebungsgeräusche nicht mehr ausreichend wahrgenommen werden können. Information über räumliche Nähe/Entfernung bzw. Richtung zur Information kann wiederum über Lautsprecher an einem mobilen Geräte nicht ausreichend vermittelt werden.
Eine visuelle Notifikation erfolgt bisher mittels einer Nachricht auf einem Display. Nachteilig ist hierbei, dass sich das Endgerät nicht immer im Sichtfeld des Benutzers befindet bzw. dass das Lesen des Displays in vielen Situationen die Sicherheit des Anwenders gefährdet, etwa als Gabelstaplerfahrer in einer Lagerhalle, auf einem Baugerüst, etc.
Eine Notifikation in Form eines Vibrationsalarms, also mittels Vibration des Endgeräts, hat den Nachteil, dass eine Vibration nur spürbar ist, wenn Endgerät vom Anwender unmittelbar am Körper oder unter Schutz- bzw. Arbeitskleidung getragen wird. Information über räumliche Nähe/Entfernung bzw. Richtung zur Information kann hiermit nicht vermittelt werden.
Bei der Visualisierung innerhalb von Augmented Reality (AR) Displays, also wenn entweder in dem Bild einer Videokamera zusätzliche Information zu sichtbaren Objekten angezeigt oder mithilfe von speziellen See-Through Displays der Blick auf die Realität direkt augmentiert wird, tritt nachteiliger Weise eine physische und visuelle Einschränkung durch Tragen/Benutzen eines AR Displays auf.
Wenn eine Luftschallübertragung nicht möglich oder zweckmäßig ist, wird zur Übertragung von Schall häufig Knochenschall eingesetzt. Dies ist etwa der Fall, wenn ein Gehörschutz getragen wird oder aber auch bei Einsätzen unter Wasser sowie wenn es notwendig ist auch Umgebungsgeräusche einwandfrei wahrzunehmen. Bei Schwerhörigen mit einer Schädigung des Mittelohrs finden entsprechende Hörgeräte ebenfalls Einsatz. Knochenschall bezeichnet die Weiterleitung von Schall-Schwingungen bzw. Vibrationen durch den das Gehörorgan umgebenden Schädelknochen unter Umgehung des Mittelohrs. Durch das Anbringen von zwei Lautsprechern direkt am Schädelknochen können Töne stereoskopisch wiedergegeben werden. Damit wird ein räumlicher Wahrnehmungseffekt erreicht. Zum Einsatz von stereoskopischen Knochenschall vergleiche insbesondere Walker et. al.: Evaluation of bone-conduction headsets for use in multitalker communication environments.
¹ http://sonify.psych.gatech.edu/publications/pdfs/2005HFES-WalkerStanleyIyer.pdf
Darüber hinausgehend wurde am Georgia Institute of Technology das SWAN (System for Wearable Audio Navigation) System entwickelt. Dabei handelt es sich um ein prototypisches, auditives Guidance System für blinde bzw. visuell eingeschränkte Personen, wie z. B. Feuerwehrleute im Rauch. Das System ist dafür ausgelegt Personen durch auditive Informationen, die Echtzeit aufgrund von Sensordaten generiert werden, zu führen. Dazu werden visuelle Sensorinformationen von vier am Kopf montierten Kameras genutzt, um auditive Signale zu erzeugen. Im Wesentlichen wird versucht einen nicht vorhandenen oder beeinträchtigten Körpersinn, also hier Sehen, durch einen anderen, also hier Hören, zu ersetzen.
http://sonify.psych.gatech.edu/publications/pdfs/2005ICAD-WalkerLindsay.pdf
Die der Erfindung zu Grunde liegende Aufgabe besteht nun darin, ein System zur Notifikation verorteter Information anzugeben, bei dem die oben genannten Nachteile möglichst vermieden werden.
Diese Aufgabe wird durch die Merkmale des Patentanspruchs 1 erfindungsgemäß gelöst. Die weiteren Ansprüche betreffen bevorzugte Ausgestaltungen der Erfindung.
Die Erfindung besteht im Wesentlichen darin einen Schutzhelm um Knochenschalllautsprecher und Richtungssensoren zu erweitern, sodass der Träger über auditive Signale räumlich gerichtet – relativ zur Ausrichtung des Schädels – auf verortete Informationen in seinem Umfeld hingewiesen werden kann. Die Notifikation des Benutzers erfolgt dabei über verschiedene kontextabhängige in Echtzeit aus der Position des Benutzers, die Orientierung seines Kopfes sowie der Position der Information berechnete auditive Signale, die über diese Knochenschalllautsprecher ausgegeben werden, wobei die wahrgenommene Schallquelle dabei der Position der Information entspricht. Je nachdem ob der Anwender ein Mobiltelefon, einen PDA, Tablet PC oder sonstigen tragbaren Computer mit sich führt, wird er auf unterschiedliche Weise über einen sich ändernden Zustand der Software oder des Systems notifiziert. Durch die Knochenschallübertragung ist gewährleistet, dass das Signal zur Notifikation unabhängig von Umgebungsgeräuschen wahrgenommen werden kann. Die Erfindung findet voraussichtlich in den Domänen Location Based Services, Augmented Reality, Mensch Maschine Interfaces (HMI) und Industrie ihre Hauptanwendung.
Nachfolgend wird die Erfindung anhand von in der Zeichnung dargestellten Ausführungsbeispielen näher erläutert.
Dabei zeigt
1 eine Darstellung zur Erläuterung der Erfindung bezüglich der Lage der Lautsprecher und des Richtungssensor in einem Schutzhelm,
2 eine schematische Darstellung des erfindungsgemäßen eines Ausführungsbeispiels des Gesamtsystems und
3 eine Prinzipdarstellung zur Erläuterung der Notifikation am Beispiel einer Steuerungsanlage.
1 zeigt in zwei Ansichten einen üblichen Schutzhelm mit drei Quergurten und einem einstellbaren Umfangsgurt. Erfindungsgemäß ist im Bereich oberhalb der Ohren Schutzhelmträgers links und rechts im einstellbaren Umfangsgurt jeweils ein Knochenschall-Lautsprechereinheiten L und im Bereich zwischen dem Helmdach und den Quergurten ist ein Richtungssensor RS eingebaut.
Der Richtungssensor RS enthält einen Digitalkompass und einen Neigungssensor und stellt unter Zuhilfenahme des Erdmagnetfeldes die Ausrichtung des Helmes fest. Der Neigungssensor ist notwendig, da ansonsten aus dem gemessenen Erdmagnetfeld nicht eindeutig die Ausrichtung des Kopfes errechenbar ist.
Mittels der Knochenschalllautsprecher, die direkt am Schädel getragen werden, ist es möglich dem Anwender räumlich über ortsgebundene Informationen in seinem Umfeld zu informieren.
2 zeigt eine schematische Darstellung eines Ausführungsbeispiels des erfindungsgemäßen Gesamtsystems mit einer helmtypischen Anordnung aus den Knochenschall-Lautsprechereinheiten L und dem Richtungssensor RS die mit einer am Körper tragbaren Recheneinheit D entweder über ein Kabel oder über Funk verbunden sind, wobei Knochenschall-Lautsprechereinheiten L im Falle einer Funkverbindung einen Funkempfänger und eine Verstärker miteinschließt oder diese Komponenten auch zwischen dem Helmdach und den Quergurten untergebracht sind. Vom Richtungssensor RS gelangen so Sensordaten zu Recheneinheit D und 2-Kanal-Audiodaten 2 zu den Knochenschall-Lautsprechereinheiten L.
Bei der Recheneinheit D kann es sich um ein Mobiltelefon, einen PDA (Personal Digital Assistant) oder auch um eine am Armgelenk getragene (Wrist Computing Device) bzw. in der Kleidung eingearbeitete (Wearable Computing Device) Einrichtung handeln.
Die Recheneinheit D hat dabei folgende Aufgaben zu erfüllen:

– Ermitteln der absoluten Position des Benutzers, z. B. im Freien mittels GPS-Daten 4 oder in Gebäuden mit WLAN Triangulation
– Auslesen des Richtungssensors, also Neigung und Kompass, im Schutzhelm
– Errechnen der tatsächlichen absoluten Ausrichtung des Kopfes
– Beziehen von Daten 3 für verortete Informationen über eine Datenfunkverbindung zu einem Geoinformationssystem, etwa über UMTS oder WLAN
– Anzeigen von verorteten Informationen wie bspw. Dokumenten und Karten am Display
– Interaktion des Benutzers etwa über Touchdisplay, z. B. eine Bestätigung von Meldungen, ein Abrufen von Information
– Ausgeben eines Stereo-Audiosignals an die Knochenschall-Lautsprechereinheiten L im Schutzhelm. Ggf. ist noch eine Audioverstärker-Einheit vorzuschalten, da Knochenschallautsprecher einen 40 bis 50 dB höheren Audiopegel als Luftschallautsprecher benötigen.
– Erzeugung des Audiosignals. Dieses wird abhängig von der Position des Benutzers und der Ausrichtung seines Kopfes in Echtzeit relativ zu der virtuellen Soundquelle am Ort der zu notifizierenden verorteten Information räumlich richtig berechnet. Mit Hilfe dieses generierten 3D Audio Sounds wird die Orientierung des Trägers gewährleistet.

Diese Signale werden in Echtzeit berechnet, um einen räumlich richtig wahrgenommenen Audioeindruck zu erzeugen.
Optional werden neben der Richtung zu einer verorteten Information noch weitere Informationen über das Audiosignal übertragen. So wird beispielsweise die Entfernung zu einer Information nicht nur über die Lautstärke des Audiosignals, was v. a. im industriellen Umfeld mit entsprechendem Umgebungslärm nicht zielführend ist, sondern auch über dessen Tonhöhe oder die Frequenz eines sich wiederholenden Signals, also analog zu einem Geigerzähler, dargestellt.
Darüber hinaus werden optional verschiedenen Informationskategorien, wie etwa Warnhinweise, virtuelle Absperrungen oder allgemeine Informationen, verschiedene Soundmuster zugeordnet.
Exemplarisch sind im Folgenden noch einige vorteilhafte Anwendungsbeispiele der Erfindung dargestellt:
– Als Erweiterung bestehender Interfaces:
Da die Position eines Anwenders dem System bekannt und dieser dem eindeutig identifiziert ist, können bestehende Steueranlagen um virtuelle Interfaces erweitert werden. Der Anwender bedient eine Steuerung auch über seinen tragbaren Computer. Über das erfinderische System zur Notifikation kann er darauf aufmerksam gemacht werden, dass eine Zustandsänderung auf seinen mobilen Computer, etwa ausgelöst durch eine vorgenommene Regelung, seine Eingabe erfordert, dass weiterführende virtuelle Steuerelemente vorhanden, sowie Informationen, Hand- oder Wartungsbücher verortet sind, etc., siehe 3.
– Als Auditive Ergänzung zu Warnvorrichtungen:
Bestehende Warn- und Hinweislampen können durch ein gerichtetes, auditives Signal erweitert werden. Da eine solche Notifikation räumlich richtig wiedergegeben wird, kann die Aufmerksamkeit des Anwenders zielgerichtet gesteuert werden.
– In Auditiven Navigations- und Leitsystemen:
Mittels auditiven räumlichen gerichteten Signalen kann der Anwender zu einem bestimmten Punkt im Raum geleitet werden bzw. auch mit Warnhinweisen von Sperrgebieten/Gefahrenbereichen ferngehalten werden.
– Zur Notifikation für Location Based Services:
Der Anwender wird über das Vorhandensein verorteter Information notifiziert, wenn er sich in deren Einflussbereich, also bspw. innerhalb eines definierter Radius um eine Information, befindet. Dadurch können Nachrichten und Informationen an einem bestimmten Ort hinterlassen und wieder aufgefunden werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

http://sonify.psych.gatech.edu/publications/pdfs/2005HFES-WalkerStanleyIyer.pdf [0008]
http://sonify.psych.gatech.edu/publications/pdfs/2005ICAD-WalkerLindsay.pdf [0009]

Claims

System zur Notifikation verorteter Information, mit einen Schutzhelm der zwei Knochenschalllautsprecher (L) und einen Richtungssensor (RS) beinhaltet und mit einer Recheneinheit (D), durch die Daten (3) für verortete Informationen, Positionsdaten (4) eines Benutzers und Sensordaten (1) empfangbar und Stereo-Audiosignale (2) an die Knochenschalllautsprecher (L) sendbar sind und bei dem eine Notifikation über verschiedene kontextabhängige aus der Position des Benutzers, der Orientierung seines Kopfes sowie der Position der Information berechnete Stereo-Audiosignale (2) über die Knochenschalllautsprecher so ausgegeben werden, dass die wahrgenommene Schallquelle dabei der Position der Information entspricht.
System nach Anspruch 1, bei dem die Recheneinheit (D) derart vorhanden ist, – dass aus empfangenen GPS-Daten (4) und/oder durch WLAN-Triangulation die absolute Position eines Benutzers ermittelt wird, – dass aus Sensordaten (1) des Richtungssensors (RS) eine tatsächliche absolute Ausrichtung des Kopfes des Benutzers berechnet wird, – dass Daten (3) für verortete Informationen über eine Datenfunkverbindung zu einem Geoinformationssystem empfangbar und auf einer Anzeige darstellbar sind, – dass mindestens eine Interaktion des Benutzers bezüglich der verorteten Information durchführbar ist und – dass die Stereo-Audiosignale (2) erzeugbar und an die Knochenschall-Lautsprechereinheiten (L) ausgebbar sind, wobei dies in Echtzeit abhängig von der Position des Benutzers und der Ausrichtung seines Kopfes relativ zu der virtuellen Schallquelle am Ort der zu notifizierenden verorteten Information berechnet wird.
System nach Anspruch 1 oder 2, bei dem die Recheneinheit (D) derart vorhanden ist, dass die Stereo-Audiosignale (2) eine Information über die Entfernung zwischen dem Benutzer und der zu notifizierenden Information in Form der Tonhöhe eines akustischen Signals oder die Frequenz eines sich wiederholenden akustischen Signals erzeugbar ist.
System nach Anspruch 1 oder 2, bei dem die Recheneinheit (D) derart vorhanden ist, dass verschiedenen Informationskategorien verschiedene Soundmuster zuordenbar sind.
System nach einem der vorhergehenden Ansprüche, bei dem die Recheneinheit (D) derart vorhanden ist, dass der Benutzer automatisch über das Vorhandensein verorteter Information notifiziert, wenn er sich in deren Einflussbereich um eine Information befindet.