DE102009043252A1

DE102009043252A1 - Vorrichtung und Verfahren zur Assistenz für sehbehinderte Personen mit dreidimensional ortsaufgelöster Objekterfassung

Info

Publication number: DE102009043252A1
Application number: DE200910043252
Authority: DE
Original assignee: Siemens AG
Current assignee: Siemens AG; Universidad de La Laguna
Priority date: 2009-09-28
Filing date: 2009-09-28
Publication date: 2011-03-31
Also published as: WO2011036288A1

Abstract

Vorrichtung zur Vermittlung von Informationen aus einem eine sehbehinderte Person (14) zumindest teilweise umgebenden Raum (13) an die sehbehinderte Person (14), mit mindestens einem Abstandsmesssystem zur dreidimensionalen Erkennung von Objekten in dem Raum (13) und mindestens einem Vermittlungssystem zur Umsetzung mindestens einer Umgebungsinformation an die sehbehinderte Person, wobei mindestens ein verbleibender Sinn, wie Tastsinn oder Gehör, angesprochen wird und wobei eine Kombination des mindestens einen Abstandsmesssystems zur dreidimensionalen Erkennung von Objekten mit der Sonifikation des die sehbehinderte Person (14) zumindest teilweise umgebenden Raumes (13) durchgeführt wird.

Description

Die Erfindung betrifft ein Blindenassistenzsystem zur Vermittlung von Umgebungsinformationen an einen sehbehinderten Menschen. Betrachtet wird die räumliche Darstellung und Mitteilung von Objekten an eine sehbehinderte Person.
Die laufenden Aktivitäten der Weltgesundheitsorganisation (WHO) beziffern die sehbehinderten Menschen in Europa auf ca. 30 Millionen. Der Verlust des Sehvermögens ist meist begleitet durch eine verminderte Unabhängigkeit. Für die meisten der sehbehinderten Personen sind der lange Taststock und der Einsatz eines Blindenhundes die wesentlichsten Hilfsmöglichkeiten mit denen sie die Fähigkeit sich mobil zu bewegen oder irgendwie unabhängig zu reisen wieder erlangen können. In der Vergangenheit sind wesentliche Anstrengungen unternommen worden um den Taststock mit elektronischen Ausgestaltungen zu ergänzen oder zu ersetzen. Durch den Einsatz von Elektronik wäre eine wesentliche Kapazität zur Erfassung von Hindernissen vorhanden, bezogen auf die unmittelbare Umgebung, sowie auch zur Navigation in nicht vertrauter Umgebung, wie zu entfernten Zielen.
Die Anforderungen zur Orientierung in der Umgebung erfordern eine Vorrichtung zur Erfassung der Umgebung, insbesondere gefährlicher Hindernisse, und ein Verfahren zur Aufbereitung der Informationen für eine sehbehinderte Person. Insgesamt sind sehr viele Ansätze zur Informationserfassung und zur Informationsübermittlung möglich, wobei jedoch sämtliche Verfahren den Anforderungen von sehbehinderten Personen entsprechen müssen und wobei die verbleibenden Sinne nicht überbeansprucht werden sollten.
In der Offenlegungsschrift WO 2006/074993 A2 wird ein System beschrieben welches einen dreidimensional auflösenden Lichtlaufzeitsensor verwendet, wobei die Zeit gemessen wird die ein Lichtimpuls für den Weg von einer Puls erzeugenden Einheit des Sensors zu einem Objekt und zurück zu einer Empfangseinheit des Sensors benötigt. Zur Abdeckung des größten Teiles des Raumwinkels umfasst der Sensor eine Vielzahl von Sensorelementen welche in einer Reihe angeordnet sind um das Gesichtsfeld von sehenden Personen wiederzugeben. Innerhalb des Erfassungswinkels wird der Abstand des Objektes lediglich in einem vorbestimmten Abstandsbereich gemessen, beispielsweise 0,5 m bis 5 m.
Anhand von Bildbearbeitungsmitteln wird das Signal ausgewertet und die relevanten Informationen werden der sehbehinderten Person zur Verfügung gestellt und beispielsweise durch einen Vibrationsaktor, eine taktile Matrix, der beispielsweise an einem Taststock angeordnet ist, signalisiert. Dies ist eine stressfreie Art zur Informationsübertragung, da der Tastsinn in irgendeiner Form zur Erfassung irgendwelcher Hindernisse und dem entsprechend freien Weg dorthin eingesetzt werden kann. Zudem sei erwähnt, dass die Information durch einen Sprachgenerator oder einen Warnton übermittelt werden kann.
Bisher müssen sehbehinderte Personen jedoch auf die Geräusche vertrauen welche durch die Gegenstände oder durch weitere Personen in der unmittelbaren Nähe generiert werden.
Der Erfindung liegt die Aufgabe zugrunde, eine sehbehinderte Person derart mit Umgebungsinformationen zu versorgen, dass die Umgebung für diese sehbehinderte Person differenzierter erscheint.
Gelöst wird diese Aufgabe durch die jeweilige Merkmalskombination der unabhängig formulierten Patentansprüche. Vorteilhafte Ausgestaltungen sind den Unteransprüchen zu entnehmen.
Im Stand der Technik wird der Gesichtspunkt der Versorgung von sehbehinderten Personen mit einer realen umfassenden Information über den Raum und vorhandene Gegenstände, die sich in dem Raum befinden, nicht zur Verfügung gestellt.
Die Erfindung liegt in der Kombination von dreidimensional abtastender Technologie zur 3D-Erkennung von Objekten und der Sonifikation des entsprechenden Raums.
Die verbleibenden Sinne wie Tastsinn oder Gehör stellen jeweils eine Möglichkeit zur Übertragung der Informationen zu der sehbehinderten Person dar. Der Gehörsinn bietet eine Möglichkeit von ”in den Raum hineinzuhören”. Dies beruht auf dem Ansprechverhalten der Ohren auf einen Abstand, eine Richtung, auf Frequenzen oder auf Geräusche. Schallwellen die sich im Raum bewegen werden an Objekten, beispielsweise Wänden, reflektiert oder verschwinden im Raum. Damit kann der Schall als ein Medium für die Wahrnehmung des Raumes eingesetzt werden. Sämtliche sehbehinderten Personen haben es gelernt ”in den Raum hinein zu hören”, und zwar wesentlich besser als sehende Personen. Damit hören sie den Raum auf ”ihrem Kanal” mit der dritten Dimension.
Die Erfindung beruht auf der Anordnung einer den Raum oder das Gesichtsfeld abtastenden Vorrichtung welche Abstände von der Person, insbesondere vom menschlichen Kopf, zu Objekten in dem Gesichtsfeld der Augen misst. Eine derartige Vorrichtung kann beispielsweise durch die Messung der Laufzeit von Lichtimpulsen realisiert werden, die von dem Ort des menschlichen Kopfes ausgesandt und deren Rückreflexe aufgenommen werden und zur Erfassung der Rauminformation dienen. Auf diese Art werden Objekte wie Personen, Tische, Stühle, Gläser in dem Gesichtsfeld dreidimensional mit realen Raumkoordinaten erfasst.
In Kombination mit der dreidimensionalen Information des umgebenden Raumes, basierend auf Daten des Abstandsmesssystem, ist ein Ton erzeugendes System vorhanden, dass den im Messbereich erfassten Raumkoordiaten virtuell Schallquellen zuordnet, zur Wandlung in binaurale/beidohrige akustische Informationen in Echtzeit, so dass die sehbehinderte Person die Empfindung hat, den Raum zu hören.
Es ist besonders vorteilhaft Kopfhörer zur Erkennung der Schallquellen einzusetzen, so dass der physiologische Aspekt, mit berücksichtigt werden kann.
Im Folgenden werden anhand von schematischen, die Erfindung nicht einschränkenden, Figuren Ausführungsbeispiele beschrieben:
1A und B zeigen die Sensorik mit Sonifikation wobei eine geöffnete Tür (1A), sowie eine geöffnete Tür mit einer Person (1B) dargestellt werden,
2 zeigt ein Beispiel für eine binaurale Technologie mit Sonifikation,
3 zeigt ein Beispiel für eine Produktgestaltung, insbesondere einen 3D-Sensor 4, 5,
4 zeigt die Darstellung einer bekannten Assistenzvorrichtung mit flächig ausgebildetem Gesichtsfeld.
In 1 ist ein Stand der Technik wieder gegeben. Es wird eine sehbehinderte Person 2 dargestellt, die einen langen Blindenstock hält. Detektiert wird in einem Raum 13 eine Tür 3 in einer Wand. Sender und Empfänger sind auf einer Kopfbedeckung der sehbehinderten Person 2 angebracht und erfassen hier in einer waagerechten Ebene.
Auf dem Gebiet der Schallerzeugung für Seh- und Hörhilfen gibt es Untersuchungen um künstlich erzeugten Schall dem menschlichen Wahrnehmungsvermögen bestmöglich zuzuführen. Die Kombination geeigneter Technologien zur Raumvermessung mittels Licht-Laufzeitmessung und die Sonifikation des Raumes, also die klangliche Repräsentation von Raumkoordinaten durch binaurale Schalltechnologie trägt zur Verbesserung der Lebensqualität von sehbehinderten Personen bei und kann die soziale Eingliederung von sehbehinderten Personen aufgrund von verbesserter Mobilität und Wahrnehmung der Umgebung erhöhen.
Es macht eine Verbesserung der Lebensqualität aus ein aktives Mobilitätsunterstützungssystem einzusetzen, welches eine reale Rauminformation anbietet wobei die Fähigkeit des Menschen ”den Raum zu hören” ausgenutzt wird.
In den 1A und 1B ist das Grundprinzip wider gegeben wie die Sonifikation des Raumes 13 realisiert wird. Das Gesichtsfeld ist hier radial vom Ort des Messsystems ausgebildet. Die punktierten Linien 1 entsprechend der 1A und 1B grenzen den Bereich ein, in dem der Abstand gemessen wird. Die gemessenen Profile werden jeweils im oberen Teil der 1A und 1B in dem Kurvendiagramm wiedergegeben. Um den Raum zu sonifizieren wird ein Ton erzeugendes System zur Wandlung in binaurale Informationen eingesetzt. Das menschliche Gehör wird den ”Raum hören” entsprechend der Fähigkeit zur Aufnahme von Richtungen und Abständen von Geräuschquellen im Dreidimensionalen. Der Betrachtungswinkel oder das Gesichtsfeld entspricht etwa dem der Augen der sehbehinderten Person. Am Spitzen Winkel des Gesichtsfeldes ist die Kameraposition 8 angeordnet.
Durch die Verwendung von Kopfhörern 15 und die Erzeugung von Schall, wodurch der Zuhörer die Schallquellen wie beschrieben in dem Diagramm identifizieren kann, können die Raumkoordinaten von der sehbehinderten Person 2 verstanden bzw. gehört werden.
Die Ortsbestimmung eines Tones hängt von der Art ab wie eine Schallwelle sich bei gleicher Quelle von anderen Schallwellen unterscheiden kann, wenn sie das linke oder rechte Ohr trifft. Diese Modifizierung des Tones wird bezeichnet als ”kopfbezogene Transferfunktion (human related transfer function/HRTF)”.
Die HRTF beschreibt wie ein Ton durch Beugung und Reflektionseigenschaften des Kopfes, der Ohrmuschel und des Rumpfes gefiltert wird, bevor der Ton das Übertragungssystem des Trommelfells und des Innenohres erreicht.
Im Zusammenhang mit der HRTF zeichnet sich ein schnell wachsender Bereich für die Erzeugung von binauralen Geräuschen ab, mit Einsatzmöglichkeiten in virtuellen Umgebungen, bei der Tonwiedergabe, in der Unterhaltungsindustrie, für die Mensch/Computer-Schnittstelle, in Flugwarnsystemen und anderes. Aus diesem Grund kann zur Erkennung der Schallquellen unter Verwendung von Kopfhörern dieser beschriebene physiologische Aspekt mit berücksichtigt werden. Dies geschieht durch die Erzeugung einer künstlichen HRTF die spezifisch für jede Person ist, wobei es vorteilhaft ist eine spezielle HRTF für eine typisch geformte und in der Größe ausgebildete Ohrmuschel aufzustellen.
Die 2 stellt eine mehrstufige Entwicklung dar, wobei im oberen Teil der 2 dargestellt wird, wie eine Person eine Abstandsgeräuschquelle hört, indem die Person diese gedanklich als Geräusch 14, welches von einem bestimmten Ort im dreidimensionalen Raum 13 ausgeht, wahrnimmt.
Im mittleren Teil der 2 wird das gleiche Geräusch 14 auf die Kopfhörer 15 gelegt und abgespielt. Die Person wird bemerken, dass das Geräusch sich am Ort der Ohren befindet.
Im unteren Teil der 2 ist dargestellt wie die HRTF in Verbindung mit der binauralen Technologie eingesetzt wird. Die binaurale Technologie basiert auf den HRTF Messungen. Dadurch wird ermöglicht die abzuspielenden Geräusche zu modifizieren. Dies geschieht derart, dass ein räumliches Gehörbild erzielt wird welches möglichst genau dem natürlichen Bild entspricht.
Aufgrund der Geschwindigkeitsbedingungen und zur Einhaltung der Anforderungen zur Realzeitbearbeitung kann es vorteilhaft sein, dass lediglich zwei eindimensionale Abstandssensoranordnungen an der Position des Kopfes der sehbehinderten Person platziert sind; siehe 3. Eine davon tastet lediglich horizontal ab und die andere ist in einem geeigneten Winkel zum Boden ausgerichtet. Die Sensoranordnung kann hinter den Gläsern einer Brille oder in der Nähe der Ohren, siehe 3, positioniert werden.
Die horizontale Sensoranordnung wird sonifiziert um die sehbehinderte Person mit Rauminformationen zu versorgen und der angewinkelte Sensor wird zur Bildbearbeitung eingesetzt um Hindernisse zu extrahieren oder weitere Merkmale welche gefährlich sein könnten. Falls ein Hindernis erfasst wird, wird ein Warnsignal erzeugt.
Die Integration einer bekannten Navigationstechnologie wie beispielsweise die globale Positionierung, Globales Positionier System/GPS, für die geführte Navigation entlang vordefinierter Pfade oder in Richtung auf Benutzerdefinierte Ziele, ist vorteilhaft und wird im täglichen Leben von sehbehinderten Personen ein weiteres nützliches Merkmal darstellen.
Das in 3 angeführte Beispiel für eine Ausgestaltung eines Produktes betrifft eine 3D-Sensor 4, 5, wobei jeweils ausgehend von zwei unterschiedlich positionierten Sensoren in einer Verarbeitungseinheit unterschiedliche Servicemerkmale derart verarbeitet werden, dass entsprechende Hörhilfen generiert werden.
In 3 ist die Signalverarbeitung schematisch dargestellt. Ausgehend von der linken Seite der 3 ist ein 3D-Sensor 4 mit einer Horizontalabtastung angedeutet, wobei der weitere 3D-Sensor 5, unterhalb dargestellt, mit einer Vertikalabtastung des Raumes ausgestattet ist.
Die Auswerteeinheit 9 umfasst eine dreidimensionale Schallwandlung 11, welche Daten von dem 3D-Sensor 4 aufnimmt und eine Merkmalserkennung 12, welche Daten von einem 3D-Sensor 5 erhält. Die jeweiligen Ausgangsdaten werden entsprechend 3 auf mindestens einen Digitalprozessor 15 gelegt, dessen Ausgangssignal zweikanalig auf Hörhilfen 6 gelegt werden.
Weiterhin ist in 3 eine Batterie 7 angedeutet, sowie eine Datenzufuhr von einer GPS(Globales Positionier System)-Einheit mit der Übertragungsmöglichkeit auf einer Kurzstreckenfunkübertragung, wie Bluetooth oder WiFi.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

WO 2006/074993 A2 [0004]

Claims

Vorrichtung zur Vermittlung von Information aus einem eine sehbehinderte Person (14) zumindest teilweise umgebenden Raum (13) an die sehbehinderte Person (14), mit – mindestens einem Abstandsmesssystem zur dreidimensionalen Erkennung von Objekten in dem Raum (13) und – mindestens einem Vermittlungssystem zur Umsetzung mindestens einer dreidimensionalen Information an die sehbehinderte Person, wobei mindestens ein verbleibender Sinn, wie Tastsinn oder Gehör, ansprechbar ist, gekennzeichnet durch eine Kombination des mindestens einen Abstandsmesssystems zur dreidimensionalen Erkennung von Objekten mit einer Sonifikation des die sehbehinderte Person (14) zumindest teilweise umgebenden Raumes (13).
Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass mindestens ein Ton erzeugendes System vorhanden ist, für eine Wandlung der mindestens einen dreidimensionalen Information in binaurale akustische Informationen.
Vorrichtung nach Anspruch 2, dadurch gekennzeichnet, dass das mindestens eine Ton erzeugende System derart ausgelegt ist, dass die Wandlung in Echtzeit durchführbar ist.
Vorrichtung nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass Kopfhörer (15) vorhanden sind, zur Sonifikation der dreidimensionalen Information an die sehbehinderte Person.
Vorrichtung nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass mindestens ein mehrdimensional auflösendes Abstandsmesssystem in einem 3D-Sensor (4, 5) angeordnet ist, wobei mindestens eines davon horizontal abtastet und das mindestens eine andere zur vertikalen Abtastung ausgerichtet und in Richtung auf den Boden angestellt ist.
Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zwei eindimensional auflösende Abstandsmesssysteme in einem 3D-Sensor (4, 5) positioniert sind, wobei eines davon in Blickrichtung im Wesentlichen horizontal abtastet und das andere zur vertikalen Abtastung ausgerichtet und in Richtung nach unten angestellt ist.
Vorrichtung nach Anspruch 6, dadurch gekennzeichnet, dass Signale des im Wesentlichen horizontal abtastenden Abstandsmesssystems sonifiziert werden um die sehbehinderte Person akustisch mit Rauminformationen zu versorgen und das Abstandsmesssystem zur vertikalen Abtastung zur Bildbearbeitung, insbesondere zur Erkennung von Hindernissen, eingesetzt ist.
Vorrichtung nach einem der vorhergehenden Ansprüche, gekennzeichnet durch die Integration einer Navigationstechnologie wie beispielsweise das Globale Positionier System/GPS, für die geführte Navigation entlang einer benutzerdefinierten Route.
Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet dass die Auswerteeinheit (9) derart ausgelegt ist, dass sie zur Sonifikation mindestens einen digitalen Signalprozessor aufweist.
Blindenbrille, welche zur Vermittlung von Umgebungsinformation aus einem eine sehbehinderte Person (14) zumindest teilweise umgebenden Raum (13) an die sehbehinderte Person (14) ausgestattet ist, mit – mindestens einem Abstandsmesssystem zur dreidimensionalen Erkennung von Objekten in dem Raum (13) und – mindestens einem Vermittlungssystem zur Umsetzung mindestens einer Umgebungsinformation an die sehbehinderte Person, wobei mindestens ein verbleibender Sinn, wie Tastsinn oder Gehör, ansprechbar ist, gekennzeichnet durch die Kombination des mindestens einen Abstandsmesssystems zur dreidimensionalen Erkennung von Objekten mit der Sonifikation des die sehbehinderte Person (14) zumindest teilweise umgebenden Raumes (13).
Verfahren zur Vermittlung von Umgebungsinformation aus einem eine sehbehinderte Person (14) zumindest teilweise umgebenden Raum (13) an die sehbehinderte Person (14), wobei eine dreidimensionale Erfassung von Objekten in dem Raum (13) durchgeführt wird, und eine Umsetzung mindestens einer Umgebungsinformation an die sehbehinderte Person geschieht, wobei mindestens ein verbleibender Sinn, wie Tastsinn oder Gehör, angesprochen wird, dadurch gekennzeichnet, dass die dreidimensionale Erfassung von Objekten in dem Raum (13) kombiniert wird mit einer Sonifikation des die sehbehinderte Person zumindest teilweise umgebenden Raumes (13).
Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass mindestens ein Ton erzeugendes System eine Wandlung der dreidimensionalen Raumkoordinaten (13) in binaurale akustische Informationen (15) vollzieht.
Verfahren nach einem der Ansprüche 11 oder 12, dadurch gekennzeichnet, dass die Wandlung von dreidimensionalen Informationen in akustische Informationen unter Einsatz einer kopfbezogenen Transfer-Funktion (HRTF) geschieht.
Verfahren nach Anspruch 12 oder 13, dadurch gekennzeichnet, dass zur Wandlung eine Personen spezifische kopfbezogene Transfer-Funktion (HRTF) verwendet wird.
Verfahren nach Anspruch 13 oder 14, dadurch gekennzeichnet, dass die Personen spezifische kopfbezogene Transfer-Funktion (HRTF) im Wesentlichen nach Form und Größe der Ohrmuschel einer Person aufgestellt wird.