DE102007057924A1

DE102007057924A1 - Verfahren für eine blindengerechte Benutzerschnittstelle zur Navigation und Kontrolle von Computern oder elektronisch- bzw. computergesteuerten Geräten

Info

Publication number: DE102007057924A1
Application number: DE102007057924A
Authority: DE
Inventors: Thomas Deharde
Original assignee: Individual
Current assignee: Individual
Priority date: 2007-06-14
Filing date: 2007-12-01
Publication date: 2008-12-18
Anticipated expiration: 2027-12-02
Also published as: DE102007057924B4

Abstract

Blinde oder stark sehbehinderte Personen haben erhebliche Probleme, moderne elektronisch gesteuerte Geräte oder Informations- oder Kommunikationsmittel wie Personal-Computer (PC) zu bedienen, das diese Geräte im Wesentlichen über optische Darstellung oder optische Eingabegeräte bedient werden. Ein moderner PC ist zum Beispiel ohne (visuelle) Maussteuerung kaum noch zu bedienen. Es ist in der technischen Steuerung von Computern und anderen Geräten durch Blinde oder stark sehbehinderte Personen bekannt, dass in erster Linie Hilfsmittel wie Braille-Tastaturen und so genannte Screen-Reader zum Einsatz kommen. Allerdings wird Blindenschrift - und damit der Einsatz einer Braille-Tastatur - nur von ca 20% aller Blinden erlernt und beherrscht, die in ihrem Leben (durch Unfall oder Krankheit) blind werden. Es besteht daher ein großer Bedarf an einer blindengerechten Benutzerschnittstelle für die Navigation und die Kontrolle von Computern und anderen elektronisch- oder computer-gesteuerten Geräten. Des Weiteren existieren experimentelle Ein- und Ausgabegeräte, die das Ertasten einer virtuellen Bedieneroberfläche ermöglichen sollen. Diese Geräte stehen Blinden allerdings aufgrund der Kosten und/oder dem Prototypenstatus in der Regel nicht zur Verfügung. Die Erfindung ist nun dadurch gekennzeichnet, dass Programme oder Betriebssysteme für Computer oder andere Geräte über eine Kombination aus Force-Feedback-Geräten, die in der Spiele-Industrie eingesetzt werden, und 3-D-Sound ...

Description

Moderne Computer und andere computergesteuerte Geräte werden im wesentlichen durch eine Maus oder vergleichbare Fernbedienung bedient, die die Navigation auf dem Computer-Desktop und die Bedienung von Programmen ermöglicht.
Die Erfindung ist dadurch gekennzeichnet, dass bei der blindengerechten Benutzerschnittstelle die optische Navigation über die Maus durch eine für Blinde fühlbare Rückkopplung über Force-Feedback-Geräte ersetzt wird, die zusätzlich durch 3D-Sound über Kopfhörer unterstützt wird.
Die blindengerechte Benutzerschnittstelle für Computer besteht aus drei Komponenten:

1. Eingabe- und Ausgabegerät: Force-Feedback-Controller (Joystick, Gamepad, Steuerrad oder andere Geräte, die Force-Feedback-Technologie unterstützen).
2. Ausgabegerät: Kopfhörer
3. Steuerungssoftware: Software, die die oben genannten Ein- und Ausgabegeräte kontrolliert und ansteuert und die Benutzung von Programmen (auch das Betriebssystem) für Blinde und stark sehbehinderte Menschen unterstützt und erleichtert.

Die Steuerung von Personal Computern oder anderen computergesteuerten Geräten wird normalerweise durch eine Maus oder vergleichbare Fernbedienung realisiert. Dieses Eingabegerät wird in der blindengerechten Benutzerschnittstelle durch einen Force-Feedback-Controller, z. B. einem Joystick ersetzt.
Force-Feedback-Controller (FFC) sind auf der einen Seite Eingabegeräte, die als Maus-Ersatz dienen können, zum anderen arbeiten sie als Ausgabegeräte, da sie Motoren enthalten, die eine haptische Rückkopplung ermöglichen.
Stand der Technik
Force-Feedback-Technologie
Kontrollgeräte, die ein haptisches Feedback liefern, sind an sich nichts Neues. In der einfachsten Form sind es z. B. Schalter mit einem Schalthebel, die über die Position des Hebels eine Aussage über den Schaltzustand liefern, oder etwa Drehregler, die deutlich einrasten. Werden diese Kontrollelemente motorisch gesteuert, ist auch eine Interaktivität zwischen Gerät und Nutzer denkbar. Ein solcher Ansatz ist z. B. im Verfahren nach DE 199 06 535 A1 zu finden. Ein solches Verfahren genügt zwar einfachen Regelungsansprüchen, erlaubt aber keine weitergehende Interaktivität, wie sie zum Beispiel bei Computern und ihren Benutzerschnittstellen gefordert ist.
Bekannt ist der Einsatz von Force-Feedback-Geräten in PC-Spielen, in der Robotik, in wissenschaftlichen oder medizinischen Anwendungen. So gibt es Beschreibungen zu haptischen Computerschnittstellen, die mit Hilfe einer speziellen Force-Feedback-Maus realisiert werden und fühlbare Signale für den Anwender übertragen (vgl. Patent Nr. US 6,219,034 B1 oder Patent 6,717,573 B1 ). Beide Patente beschreiben allerdings jeweils eine Vorrichtung, die explizit die Interaktion mit einer grafischen Bedieneroberfläche unterstützt. Beide Patente beschreiben damit Verfahren, die nicht für erblindete und sehbehinderte Menschen konzipiert sind, sondern im Gegenteil für sehende Menschen, die mit einer grafischen Benutzeroberfläche arbeiten.
Ein ähnliches Gerät, ein haptischer Trackball, wird in Patent US 0174340 A1 beschrieben. Ein Trackball ist mit einer Maus vergleichbar, deren Ball oben liegt und je nach Konstruktion mit der Handfläche, dem Daumen oder den anderen Fingern bedient wird. Auch dieses Gerät wurde nicht für blinde Anwender konzipiert, sondern soll sehende Anwender bei der Bedienung einer grafischen Oberfläche unterstützen.
Das Verfahren nach DE 198 58 647 A1 geht insofern über die oben genannten Verfahren hinaus, als es in die Maustasten eine „Mini-Braille-Tastatur" einbaut, die einem blinden Anwender Hinweise über das unter dem Mauszeiger liegende Kontrollelement geben.
Problematisch für blinde Benutzer ist bei all diesen Verfahren allerdings, dass eine Maus angehoben und versetzt werden kann. Durch das Anheben und Versetzen einer Maus wird aber eine absolute Positionierung in einem virtuellen Raum oder auf einer virtuellen Oberfläche (das Anheben und Versetzen der Maus ändert die Cursorposition auf dem Bildschirm nicht) verhindert. Damit ist für Blinde keine Korrelation zwischen der Position der Maus auf dem Schreibtisch und der Position im virtuellen Raum erkennbar. Die beschriebenen Technologien der oben genannten Patente sind für Blinde daher ungeeignet (aber dafür ja auch nicht konzipiert). Dies trifft auch für das Verfahren nach DE 198 58 647 A1 zu, da die Maus zwar auf dem Bildschirm über einem Objekt "eingefangen" wird, die Hand des Anwender aber aufgrund des Bewegungsimpulses inzwischen weitergeführt wird.
In ähnlicher Weise wird nach DE 44 00 790 A1 verfahren. Auch hier geht es im wesentlichen um „taktiles, kinästhetisches Feedback" als Unterstützung im Rahmen einer grafischen Benutzeroberfläche. Hier geht es insbesondere um feinmotorische Steuerung und Feedback. Abgesehen davon, das dieses Verfahren nicht für Blinde konzipiert ist, ist eine solche feinmotorische (An-)Steuerung für Blinde nicht unproblematisch, da Blindheit häufig eine Folgeerscheinung anderer Krankheiten, Dispositionen oder Unfälle ist, die zum Teil mit einer verminderten motorischen Kontrolle einhergeht.
Das Problem der absoluten Positionierung ist mit einem FFC wie einem Pantograph (Touching and Hearing GUI's: Design Issues for the PC-Access System, Centre for Information Technology Innovation, Vancouver 1996) gelöst. Allerdings wird der Einsatz dieses Gerätes insbesondere in Zusammenhang mit einer Braille Lese- und Anzeige gesehen, und ist damit nicht wirksam für blinde Menschen, die Braille nicht beherrschen.
Eine andere Möglichkeit, Force-Feedback-Technologie anzuwenden, ist es, zum Beispiel Bildelemente oder eine Benutzeroberfläche mit Hilfe kleiner ausfahrbarer Pins (ähnlich einer Braille-Tastatur) darzustellen. Diese Technologie wird nach DE 195 05 875 A1 als Lesegerät eingesetzt und setzt Braille-Kenntnisse voraus. Ein alternatives Lesegerät für blinde Menschen, die kein Braille beherrschen, beschreibt DE 199 49 636 A1 . Diese Verfah ren beschreiben allerdings nur Lesegeräte und erlauben keine Steuerung des Computers über Force-Feedback-Technologie.
Braille-Tastatur und das Pin-Verfahren zur Darstellung einer Benutzeroberfläche und Elemente wie Bilder werden auch im Patent US 6,278,441 B1 dargestellt, das sich auch an sehende Anwender, aber vorzugsweise an sehbehinderte und blinde Anwender richtet. Das Verfahren ist nicht nur technisch sehr aufwendig und teuer, interessanterweise wird von einer direkten Transkription von Buchstaben und Symbolen auf eine 40-Pin-Matrix ausgegangen. Eine solche Verfahrensweise hat sich in der Blindenschrift als untauglich erwiesen, dort arbeitet man eher „morsekode-artig" in einer 6-Pin-Matrix. Letztendlich handelt es sich bei diesem Patent um ein ähnliches Verfahren wie schon oben beschrieben nach DE 198 58 647 A1 .
Allen oben beschriebenen Patenten und Techniken ist überdies gemeinsam, dass sie von einer haptischen Repräsentation einer vorhandenen grafischen Oberfläche (z. B. Windows) ausgehen. Grafische Bedieneroberflächen sind aber nicht für blinde und sehbehinderte Menschen konzipiert. Insofern können die beschriebenen Identifikationssignale und Rückkopplungseffekte zwar die Bedienung einer grafischen Oberfläche durch einen sehenden Menschen unterstützen, sind aber für blinde Menschen nicht adäquat.
Dies soll an einem Beispiel verdeutlicht werden: Bei grafische Benutzeroberflächen liegen Kontrollelemente in der Regel dicht zusammen, z. B. bei einer Schaltflächenleiste in einem Programmfenster (vgl. 1).
In diesem Beispiel (Programm StarOffice) liegen in zwei Reihen jeweils 13 und 14 Buttons auf einer Fläche von 360×60 Pixel zusammen. Das entspricht einer Größe von ca 30×30 Pixel pro Button. Dies entspricht je nach Maus-Einstellung einem realen "Bewegungsrechteck" zwischen 1,5 × 0,25 und 8,5 × 1,4 cm bei einem Din A4 Grafiktablett (vgl. Zeichnung 1).
Sinn der Maus ist, mit möglichst wenig Bewegung auch größere Entfernungen auf dem Bildschirm bedienen zu können. Weiträumige Mausbewegungen sind auf Schreibtischen weder erwünscht noch sind sie aus ergonomischen und gesundheitlichen Gründen sinnvoll.
Damit wird aber die Identifikation einer solchen feinen Struktur für Blinde nicht mehr nachvollziehbar, insbesondere wenn die Struktur mit einem relativ großen Arbeitsgerät wie Maus, Pantograph oder Joystick übertragen wird.
Typischerweise sind in den beschriebenen Patenten und Techniken auch nur sehr allgemeine Force-Feedback-Signale oder Reaktionen beschrieben. Ein spezifisches, für blinde geeignetes Force-Feedback-Verfahren wird nicht dargestellt. Entsprechend sind dem Antragsteller zur Zeit keine auf Force-Feedback beruhende Benutzerführungen für blinde Anwender bekannt. Stand der Technik ist vielmehr der Einsatz von so genannten Screenreadern, die machmal in Kombination mit dem Navigationssystem „DAISY" eingesetzt werden. DAISY ist allerdings nicht universell einsetzbar und generell ist der Einsatz von Screenreadern sehr umständlich und langwierig, da Screenreader eine Oberfläche mit ihren Bedienelementen in der Regel von links nach rechts und von oben nach unten vorlesen. Dies bedeutet, das der blinde Anwender eventuell durch eine lange Liste von Elementen hindurch geführt wird, bevor er an das Element gelangt, das er bedienen will.
Sound-Feedback-Technologie
Es ist auf relativ einfache Weise möglich, akustisches Feedback zu geben, wenn sich die Maus über einem Kontrollelement befindet. Ein solches Verfahren ist zum Beispiel in Pa tent US 5,461,399 beschrieben. Diese Verfahren sind in der Zwischenzeit durch Screenreader, die „vorlesen", was sich auf der Oberfläche befindet, obsolet geworden. Hinzu kommt, das ein solches Verfahren zwar die Identifikation eines Objektes erleichtern kann, wenn sich der Benutzer über dem Objekt befindet, aber keine Hilfe bietet, das Objekt überhaupt erst einmal zu finden und anzuwählen.
Mittels neuer Soundkartentechnologie ist es in Computern möglich, in Echtzeit dreidimensional ortbaren Sound über einen Kopfhörer zu erzeugen. Hierbei können entweder Soundkarten-Technologien wie EAX-Sound oder die Kunstkopftechnologie eingesetzt werden.
Bekannt ist der Einsatz dieser Technologie in PC-Spielen oder etwa in der Unterhaltungsindustrie, z. B. in der Surround-Technologie in Filmen. 3D-Sound ermöglicht es, in einem virtuellen Raum Bedienelemente zu lokalisieren, wobei folgendes zu beachten ist:
Ein solches Verfahren wird in Ansätzen nach DE 197 55 863 A1 benannt und beschreibt die Möglichkeit, mehrere versprachlichte Tonelemente räumlich akustisch im Raum getrennt zur selben Zeit darzustellen. Dies wird durch eine Tonkulisse unterstützt. Der Autor spricht dabei von dem „Cocktail-Party-Effekt", der es ermögliche, eine Anzahl parallel verlaufender Gespräche in einer Tonkulisse auseinander zu halten und zu verstehen.
Dem muss folgendes entgegengehalten werden.

• Nicht alle blinden und sehbehinderten Menschen sind von Geburt an blind oder sehbehindert. Vor allem spät erblindete Menschen entwickeln nicht mehr den Gehörsinn, wie ihn von Geburt an Blinde entwickeln.
• Viele Blinde haben Mehrfachbehinderungen. Schwerhörigkeit oder der Ausfall eines Ohrs machen würden das Verfahren nach Druckschrift 3 erschweren oder unmöglich machen.
• Bestimmte Töne und Tonkulissen sind schwer zu orten. So sind z. B. tiefere Töne nicht einwandfrei zu orten (von daher funktionieren Surroundsysteme mit nur einem Basslautsprecher). Eine reine Soundorientierung ist daher für blinde und sehbehinderte Menschen unzureichend.
• Eine Geräuschkulisse (Cocktail-Party-Effekt) wie oben beschrieben erschwert eher die Orientierung für Blinde. Auch blinde Menschen orientieren sich nicht nur nach Geräuschen, sie benutzen haptische Gerätschaften, z. B. den Blindenstock, um sich zu orientieren und die Umgebung abzutasten.

Die Orientierung für blinde Menschen innerhalb einer Benutzeroberfläche nur über 3D-Sound erscheint daher nicht möglich. Dem Antragsteller sind zur Zeit keine auf 3D-Sound beruhende Benutzerführungen für blinde Anwender bekannt. Die Technologie ist bislang auch nicht mit den akustischen Funktionen eines Screenreaders oder mit einem System wie DAISY kombiniert worden.
Beschreibung und Funktionsweise der Erfindung
Zusammengefasst erlauben die bislang beschriebenen und verfügbaren Verfahren keine befriedigende Handhabung oder Kontrolle eines Computers oder computerunterstützten Gerätes für sehbehinderte oder blinde Anwender. Hierzu sind insbesondere die in den Patenten und Schriften genannten Force-Feedback-Steuerungen nicht geeignet.
Das neue Verfahren geht dagegen über die bekannte Technologie hinaus und erlaubt eine einwandfreie Orientierung des erblindeten Menschen zur Handhabung und Kontrolle eines Computers oder computer-unterstützten Gerätes.
Das Verfahren des Antragstellers nutzt dabei vorhandene Technologien und ermöglicht durch die Kombination aus Force-Feedback-Technologie und 3D-Sound-Orientierung im virtuellen Raum eine angemessene und leicht bedienbare Benutzersteuerung für blinde oder sehbehinderte Menschen. In Verbindung mit einem absolut positionierbaren FFC wie z. B. einem-Joystick ist es damit möglich, die Richtung und Position der Bedienelemente zusätzlich mittels Force-Feedback anzuzeigen. Dies kann insbesondere auch bei Blinden erforderlich sein, wo eine räumliche akustische Orientierung z. B. aufgrund von Hörschäden nicht möglich ist. Damit entsteht eine blindengerechte, per Force-Feedback ertastbare Benutzeroberfläche, die sich nicht an vorhandenen grafischen Oberflächen orientiert, sondern mittels klarer haptischer und akustischer Signale steuerbar ist.
Force-Feedback-Steuerung
Zentrales Element der Force-Feedback-Steuerung ist ein virtuelles Bedienelement oder Objekt, die aus drei Zonen besteht (vgl. Zeichnung 2):

A) eine äußere Hülle oder Region, die von innen nach außen ein immer schwächeres Force-Feedback-Signal aussendet
B) eine innere Schicht, die ein sehr starkes Force-Feedback-Signal erzeugt
C) ein Kern, der kein Force-Feedback-Signal erzeugt.

Diese Konstruktion kann im Prinzip jede beliebige Form annehmen, sie ist nicht auf eine quadratische oder rechteckige Form beschränkt.
Das Force-Feedback-Signal der Zonen A und B kann dabei entweder nach außen (abstoßende Wirkung) oder nach innen zum Zentrum hin (anziehende Wirkung) gerichtet sein.
Damit lassen sich zunächst einmal grundsätzlich zwei Objekttypen erzeugen, die über einem FFC wie einem Joystick fühlbar sind, aber zugleich völlig unterschiedliche Wirkung und Funktion haben:

1. Objekt mit Zugwirkung: Wenn man sich mit dem Joystick in dem Feld A eines anziehenden Objektes befindet, ertastet man, dass man z. B. ein aktives Objekt berührt hat, da über die Force-Feedback-Zugkraft ein leichter Sog (oder eine gewisse Klebrigkeit) zum Zentrum des Objektes hin entsteht. Der Anwender hat nun die Wahl, den Joystick entweder woanders hin zu führen, oder seine Hand von dem Joystick in das Zentrum des Objektes führen zu lassen. Die Zugkraft wird dabei immer stärker, bis die Hand mit dem Joystick quasi in das kraftlose Feld A der Mitte gezogen wird. Befindet man sich in Feld A, wirken die vormaligen Zugkräfte von Feld B als abstoßende Kräfte und man muss eine gewisse Kraft aufwenden, um das Objekt wieder zu verlassen. Dieses Verfahren hat den Vorteil, dass der Anwender eine klare Position des Objektes erfühlt und dort auch gehalten wird, um Aktionen ausüben zu können. Dieses Verfahren ist eindeutiger und effektiver als z. B. ein einfacher Force-Feedback-Rütteleffekt, der weiter keinen Hinweis auf die Position des Objektzentrums zulässt. Dieses Verfahren ist darüber hinaus auch geeignet, Menschen mit motorischen Problemen (die z. B. aufgrund eines Schlaganfalls nicht mehr einwandfrei Maus oder Tastatur bedienen können) eine einwandfrei Kontrolle zu ermöglichen (vgl. Zeichnung 3).
2. Objekt mit abstoßender Wirkung: Wenn man sich mit dem Joystick in dem Feld A eines abstoßenden Objekts befindet, ertastet man, dass man z. B. ein deaktiviertes Objekt berührt hat, da über die Force-Feedback-Kraft eine leichter Gegendruck entsteht. Der Anwender hat nun die Wahl, den Joystick entweder woanders hin zu führen, oder seine Hand trotz Gegendruck von dem Joystick in das Zentrum des Objektes zu führen. Die Abstoßungskraft wird dabei immer stärker, bis die Hand den Joystick in das kraftlose Feld A der Mitte drückt. Befindet man sich in Feld A, wirken die vormaligen Gegendruckkräfte von Feld B als anziehende Kräfte und man kann das Objekt wieder leicht verlassen. Dieses allgemeine Verhalten lässt sich noch verstärken, indem man den Kern klein hält. Mit diesem Verfahren kann zum Beispiel eine deaktivierte Schaltfläche simuliert werden. In einer visuellen Benutzeroberfläche sind diese Schaltflächen „ausgegraut", bzw. farblos oder leicht transparent dargestellt, um anzuzeigen, dass sie zur Zeit nicht bedient werden können. Wichtig für den Anwender ist aber die Sichtbarkeit und damit das Wissen, das eine solche Schaltfläche mit einer Funktion existiert. In unserem Fall erhält der Anwender über die Force-Feedback-Kraft die Information, dass das Objekt existiert und über die abstoßende Wirkung, dass es sich um ein deaktiviertes Objekt handelt (vgl. Zeichnung 4).
3. Objekt mit kombinierter Kraftwirkung: Die Kraft-Ausrichtungen von Bereich C und B können nicht nur wie oben beschrieben einheitlich in eine Richtung gehen, sondern sie können auch entgegengesetzt ausgeführt werden, um spezielle Schaltflächen zu simulieren. So kann zum Beispiel die Kombination aus anziehenden Bereich C und abstoßenden Bereich B genutzt werden, um eine Schaltfläche darzustellen, deren Bedienung kritisch ist, z. B. die Beenden- oder Exit-Schaltfläche (vgl. Zeichnung 5).

Mit den oben genannten Verfahren können beliebige Objekte dargestellt und simuliert werden, z. B. Schaltflächen und Bedienelemente, aber auch Objekte, die zum Beispiel Dateien oder Verzeichnisse darstellen (in einer grafischen Benutzeroberfläche in der Regel über Icons symbolisiert).
Hierzu muss gesagt werden, das FFCs in der Regel nicht mit Schrittmotoren ausgestattet sind. Es ist daher über die Motorik des FFC nicht ohne weiteres möglich, die Hand des Anwenders zu einer bestimmten Position zu führen. Programmiertechnisch muss daher innerhalb einer Programmschleife kontinuierlich überprüft werden, ob die Position des FFC mit der gewünschten Position übereinstimmt. Bei Nicht-Übereinstimmung wird dann der FFC weiter in die gewünschte Position gebracht. Dieses Verfahren ist nicht trivial, da es aufgrund der Trägheit von FFC und Hand zu einem „Schwingen" zwischen gewünschter Position und realer Position kommen kann, das nicht so schnell aufgehoben werden kann.
Drag&Drop Wirkung: Ein weiteres Merkmal von visuellen Benutzeroberflächen ist die Verschiebbarkeit von Objekten. Man kann so zum Beispiel mit der Maus eine Datei anklicken und „anfassen" und auf ein Diskettensymbol ablegen (Drag&Drop). Die Datei wird mit diesem Vorgang z. B. auf die Diskette kopiert.
Ein ähnliches Verfahren ist über Force-Feedback auch für Blinde möglich:

1. Befindet sich der Anwender nach dem oben genannten Verfahren sicher im Zentrum eines aktiven Objektes, klickt er mit dem Trigger-Button des Joysticks.
2. Ist das Objekt verschiebbar (z. B. eine Datei oder ein Verzeichnis), ändert sich das Force-feedback-Verhalten des Objektes.
3. Das Objekt drückt per Force-Feedback den Joystick einseitig „nach unten", bzw. nach hinten. Damit entsteht für den Anwender eine Art Schwerkraft- oder Schwere-Wirkung des Objektes. Der Anwender weiß damit, dass er das Objekt im schwebenden „Drag-Modus" hält.
4. Der Anwender kann nun das Objekt auf andere Objekte oder Flächen ablegen. Das Auffinden dieser Flächen wird durch die o. g. Sogwirkung von Objekten erheblich erleichtert. Programmtechnisch ist es dabei zum Beispiel möglich, kontextsensitiv zu arbeiten. Wenn der Anwender z. B. eine Datei bewegt, erhalten alle Objekte, die ein Laufwerk symbolisieren, eine größere Sogwirkung als normal (vgl. Zeichnung 6).

Zustandsschalter: Insbesondere Schaltflächen von visuellen Benutzeroberflächen können verschiedene Zustände annehmen. Ein aktiver und deaktiver Zustand wurde schon oben beschrieben. Ein typisches anderes Beispiel sind An/Aus-Schalter wie z. B. eine Checkbox. Ein solcher Schalter, der zwei Zustände darstellt, lässt sich mit Hilfe der oben genannten Verfahren konstruieren. In diesem Fall wird die Tatsache genutzt, dass der Force-Feedback-freie Kern der Objekte in seiner Form durch die abstoßende Kraft von Feld B abgetastet werden kann. Schaltflächen, bzw. Objekte dieser Art lassen sich zum Beispiel so konstruieren, das ein rechteckiger langgezogener Kern je nach Zustand waagerecht oder senkrecht liegt und per Force-Feedback entsprechend abgetastet werden kann (vgl. Zeichnung 7 und 8).
3D-Sound-Steuerung
Die 3D-Sound-Steuerung benutzt dieselbe 3-Zonen-Objektkonstruktion wie bei der Force-Feedback-Steuerung. Jedes Objekt sendet damit einen individuellen Ton aus, der über den 3D-Effekt der Soundkarte die Position des Objektes im virtuellen Raum oder auf der virtuellen Oberfläche hörbar macht. Mit Hilfe der vorhandenen Technologie kann die Orientierung dabei über die vier Richtungen Vorne-Hinten-Links-Rechts oder Oben-Unten-Links-Rechts angegeben werden. Die 3-Zonen-Objektkonstruktion funktioniert dabei folgendermaßen (vgl. Zeichnung 9):

A) Die äußere Hülle oder Region sendet von innen nach außen ein immer schwächeres Ton-Signal aus. Diese Tonsphäre kann weiter reichen als die Force-Feedback-Kraft. Auf diese Weise ist es dem Anwender möglich, ein Objekt zu orten und es anzusteuern, bevor die eigentliche Force-Feedback-Wirkung einsetzt. Theoretisch könnte die Soundsphäre eines Objektes über die ganze virtuelle Oberfläche reichen, d. h., der Anwender würde alle Objekte zugleich akustisch wahrnehmen. Dies würde aber zu dem oben genannten „Cocktail-Party-Effekt" führen und ist daher unerwünscht. Es macht also Sinn, die Reichweite der Soundsphäre zu begrenzen. Sinnvoll kann dabei sein, die Reichweite für den Anwender individuell einstellbar zu gestalten, um den individuellen Hörgewohnheiten und -fähigkeiten eines blinden Anwenders entgegen zu kommen.
B) Die innere Schicht erzeugt ein Tonsignal, das auf der einen Seite anzeigt, dass man die innere Schicht erreicht hat und auf der anderen Seite akustisch anzeigt, um was für ein Objekt es sich handelt.
C) Der innere Kern gibt akustische Hilfestellung ähnlich wie die Sprechblasen oder Tooltips, die über Schaltflächen und Objekte in einer grafischen Oberfläche erscheinen (in der Regel als Mouse-Over-Event).

Die 3D-Sound-Steuerung ist als unterstützendes Element der Force-Feedback-Steuerung gedacht. Eine reine Sound-Steuerung würde ein „Zuviel" an akustischer Informationen (die zudem noch alle abgewartet werden müssen) erzeugen. Zusammen mit der haptischen Force-Feedback-Steuerung ergibt sich aber eine ausgewogene Benutzerführung. Die folgende Zeichnung illustriert z. B. eine Dialogsituation. Zur Erklärung:

1. Das äußere quadratische Feld entspricht dem Bewegungsfeld des Joysticks. Die Joy stickposition, bzw. der Cursor, ist als schwarzer Kreis dargestellt. Die Positionierung ist absolut, d. h., wenn man den Joystick in der Mitte hält, ist der Cursor auch in der Mitte; wenn man den Joystick zum linken oberen Anschlag führt, ist der Cursor in der linken oberen Ecke.
2. Im unteren Bereich befinden sich zwei Schaltflächen, z. B. „Abbrechen" und „Okay".
3. Der obere Bereich enthält ein großes Objekt mit einer großen Force-Feedback-freien Fläche. Dieser Bereich kann wiederum kleinere Force-Feedback-Objekte enthalten. Force-Feedback-Objekte können also ineinander verschachtelt werden. In diesem Fall wird das große Objekt als Container oder Identifikationsrahmen eingesetzt.
4. In dem großen Objekt befinden sich drei Schalter, die z. B. Einstellmöglichkeiten (An/Aus) bieten.
5. Der Anwender würde an der jetzigen Cursorposition noch keine Zug- oder Abstoßungskraft eines Objektes spüren. Allerdings würden er die näheren Objekte akustisch wahrnehmen: vorne/mitte (bzw. oben/mitte) und hinten/links (bzw. unten/links).
6. Bewegt sich der Anwender mit dem Joystick nach oben/vorne, wird der Joystick von dem großen Container zunächst sanft angezogen. Wenn sich der Anwender von dem Joystick führen läßt, wird die Hand des Anwenders in die innere Schicht geführt, der Sound wird dabei lauter.
7. In diesem Beispiel würde die innere Schicht den Anwender in den Force-Feedback-freien Kern „katapultieren". Beim Übergang durch diese innere Schicht würde akustisch ein Rückkopplungssignal ertönen, das den Übergang (oder die Grenze) markiert und gleichzeitig z. B. den Namen des Objektes.
8. Wenn sich der Anwender im Kern des Objektes befindet, wird er durch die nun abstoßende Kraft des inneren Container-Rings in dem Objekt gehalten, bzw. geführt. Dies erleichtert einem blinden Anwender die Navigation innerhalb eines Bereiches.
9. Die Bedienung der Schalter erfolgt ähnlich wie schon beschrieben.

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

- DE 19906535 A1 [0006]
- US 6219034 B1 [0007]
- US 6717573 B1 [0007]
- US 0174340 A1 [0008]
- DE 19858647 A1 [0009, 0010, 0014]
- DE 4400790 A1 [0011]
- DE 19505875 A1 [0013]
- DE 19949636 A1 [0013]
- US 6278441 B1 [0014]
- US 5461399 [0021]
- DE 19755863 A1 [0023]

Claims

Ein Verfahren für ein Force-Feedback-Bedienelement, dadurch gekennzeichnet, dass es aus drei Force-Feedback-Zonen, bzw. Regionen besteht: A) einer weiten äußeren Hülle, die von innen nach außen ein immer schwächeres Force-Feedback-Signal aussendet. B) einer dünnen inneren Schicht, die ein sehr starkes Force-Feedback-Signal aussendet, C) einem inneren „stummen", Kern, der keine Force-Feedback-Signal erzeugt. Die Bedienelemente oder Objekte müssen nicht quadratisch oder rechteckig sein, sie können im Prinzip beliebige Formen annehmen, solange die Bereiche genügend groß sind, um mit einem entsprechenden FFC erfasst zu werden. (Siehe auch Zeichnung 2)
Ein Verfahren für ein aktives Bedienelement nach Anspruch 1, dadurch gekennzeichnet, dass es aus folgenden drei Force-Feedback-Zonen, bzw. Regionen besteht: A) einer weiten äußeren Hülle, die von innen nach außen ein immer schwächeres Force-Feedback-Signal aussendet, welches die Hand des Anwenders zum inneren Kern lenkt. B) einer dünnen inneren Schicht, die ein sehr starkes Force-Feedback-Signal aussendet, welches die Hand des Anwenders in den inneren Kern (zurück) stößt C) einem inneren „stummen", Kern, der keine Force-Feedback-Signal erzeugt. Bewegt sich die Hand des Anwenders mit dem Force-Feedback-Gerät in der Peripherie des aktiven Bedienelements, werden die Motoren des Gerätes so gesteuert, dass die Hand des Anwenders zunächst sanft in Richtung des Zentrums gezogen wird. Aufgrund des Zuges erkennt der Anwender, dass 1. in Richtung der Zugkraft ein Bedienelement zu finden ist, und 2. dass dieses Bedienelement aktiv ist, bzw. mit einer Funktion belegt ist und bedient werden kann. Ein blinder Anwender kann sich so zum eigentlichen Bedienelement (dem Kern) führen lassen. Die Kraft wird um so stärker, je näher er dem Zentrum ist. Im Zentrum selbst wirken keine Feedback-Kräfte. Allerdings wird das Rückkoppelungssignal des inneren Ringes dazu benutzt, die Hand des Anwenders über dem Bedienungselement "festzuhalten", d. h., einen deutlichen Widerstand gegen eine Weiterbewegung zu erzeugen. Dieses erleichtert das Auffinden der für Blinde unsichtbaren Bedienungselemente erheblich. Zugleich ist diese Lösung gut für Menschen geeignet, die aufgrund von nervösen Erkrankungen oder Muskelerkrankungen eine Maus oder ein ähnlich diffiziles Gerät nicht mehr einwandfrei bedienen können. (Siehe auch Zeichnung 3)
Ein Verfahren für ein passives Bedienelement nach Anspruch 1, dadurch gekennzeichnet, dass es aus folgenden drei Force-Feedback-Zonen, bzw. Regionen besteht: A) einer weiten äußeren Hülle, die von innen nach außen ein immer schwächeres Force-Feedback-Signal aussendet, welches die Hand des Anwenders nach außen lenkt. B) einer dünnen inneren Schicht, die ein sehr starkes Force-Feedback-Signal aussendet, welches die Hand des Anwenders nach außen (zurück) stößt C) einem inneren „stummen", Kern, der keine Force-Feedback-Signal erzeugt. Bewegt sich die Hand des Anwenders mit dem FFC in der Peripherie des aktiven Bedienelements, werden die Motoren des Gerätes so gesteuert, dass die Hand des Anwenders zunächst sanft abgestoßen wird. Aufgrund des Widerstandes erkennt der Anwender, dass 1. aus Richtung des Widerstandes ein Bedienelement zu finden ist, und 2. dass dieses Bedienelement deaktiviert ist, bzw. zur Zeit nicht mit einer Funktion belegt ist und daher nicht bedient werden kann. Die insgesamt wirkende Kraft ist allerdings nicht so groß, dass der Anwender nicht zum Kern des Bedienelements vordringen kann (Siehe auch Zeichnung 4)
Ein Verfahren für ein Kombi-Bedienelement nach Anspruch 1–3, dadurch gekennzeichnet, dass es aus folgenden drei Force-Feedback-Zonen, bzw. Regionen besteht: A) einer weiten äußeren Hülle, die von innen nach außen ein immer schwächeres Force-Feedback-Signal aussendet, welches die Hand des Anwenders entweder anzieht oder nach außen lenkt. B) einer dünnen inneren Schicht, die ein sehr starkes Force-Feedback-Signal aussendet, das genau entgegengesetzt der äußeren Hülle wirkt. C) einem inneren „stummen", Kern, der keine Force-Feedback-Signal erzeugt. Diese Kombination dient dazu, „kritische" Bedienelemenente wie z. B. einen „Beenden-Schalter" zu kennzeichnen. (Siehe auch Zeichnung 5)
Ein Verfahren für ein Drag&Drop-Bedienelement nach Anspruch 1–2, dadurch gekennzeichnet, dass das Bedienelement nach Betreten der Force-Feedback-freien Kernzone den Joystick per Force-Feedback einseitig „nach unten", bzw. nach hinten drückt. Damit entsteht für den Anwender eine Art Schwerkraft- oder Schwere-Wirkung des Objektes. Der Anwender weiß damit, dass er das Objekt im schwebenden „Drag-Modus" hält und an anderer Stelle ablegen kann. Sobald das Objekt „abgelegt" wird, wird die Schwere-Wirkung abgestellt. Die Schwerkraft- oder Schwere-Wirkung kann automatisch bei Betreten der Kernzone oder in Kombination mit einem Trigger-Button des Joysticks ausgelöst oder beendet werden. (Siehe auch Zeichnung 6)
Ein Verfahren für ein schaltbares Bedienelement nach Anspruch 1, dadurch gekennzeichnet, dass es aus folgenden drei Force-Feedback-Zonen, bzw. Regionen besteht: A) einer weiten äußeren Hülle, die von innen nach außen ein immer schwächeres Force-Feedback-Signal aussendet, welches die Hand des Anwenders zum inneren Kern lenkt. B) einer dünnen inneren Schicht, die ein sehr starkes Force-Feedback-Signal aussendet, welches die Hand des Anwenders in den inneren Kern (zurück) stößt C) einem inneren „stummen", Kern, der keine Force-Feedback-Signal erzeugt. Der innere Kern ist bei diesem Bedienelement langgezogen ausgeführt (ob rechteckig oder in ovaler Form) Bewegt sich die Hand des Anwenders mit dem FFC in der Peripherie des aktiven Bedienelements, werden die Motoren des Gerätes so gesteuert, dass die Hand des Anwenders zunächst sanft in Richtung des Zentrums gezogen wird. Aufgrund des Zuges erkennt der Anwender, dass 1. in Richtung der Zugkraft ein Bedienelement zu finden ist, und 2. dass dieses Bedienelement aktiv ist, bzw. mit einer Funktion belegt ist und bedient werden kann. 3. aufgrund der Ertastung der länglichen Form, das es sich um ein Schaltelement handelt. Wenn der Anwender nun das Schaltelement durch einen Klick (über einen Schalter am FFC oder anderem Eingabegerät) das Element bedient, ändert sich der Zustand des Bedienelements, es wird quasi „gedreht". Der Anwender kann damit einen anderen Schaltzustand des Kerns ertasten. Die neuen Begrenzungen werden wie bei einem aktiven Bedienelement durch die Rückkoppelungssignale des inneren Ringes angezeigt. Ein erneuter Klick auf das Element ändert den Schaltzustand wieder in den Anfangszustand. (Siehe auch Zeichnung 7, 8)
Ein Verfahren für ein Container-Bedienelement nach Anspruch 1, dadurch gekennzeichnet, dass es weitere Force-Feedback-Objekte enthält und in sich aufnimmt. Diese Objekte können Bedienelemente oder weitere Container-Elemente sein. (Siehe auch Zeichnung 9)
Ein Verfahren zur Sendung eines Identifikationssignals an den FFC nach Anspruch 1 bis 7, dadurch gekennzeichnet, dass spezifische Vibrations- oder andere Rückkopplungssignale als Indikator für den Typ des Bedienungselements gesendet werden.
Ein Verfahren für ein 3D-Sound-Bedienelement, dadurch gekennzeichnet, dass es aus drei Sound-Zonen, bzw. Regionen besteht: A) einer weiten äußeren Hülle, die von innen nach außen ein immer schwächeres 3D-Sound-Signal aussendet. B) einer dünnen inneren Schicht, die ein sehr 3D-Sound-Identifikations-Signal aussendet, C) einem Kern, der eine akustische Hilfe oder Information in 3D-Sound-Technologie erzeugt. Jedes Objekt oder Bedienelement sendet einen individuellen Ton oder eine Tonfolge aus, die über den 3D-Effekt einer Soundkarte die Position des Objektes im virtuellen Raum oder auf der virtuellen Oberfläche hörbar macht. Mit Hilfe der vorhandenen Technologie kann die Orientierung dabei über die vier Richtungen Vorne-Hinten-Links-Rechts oder Oben-Unten-Links-Rechts angegeben werden.
Ein Verfahren aus der Kombination aus Anspruch 1–8 und 9, dadurch gekennzeichnet, dass in Kombination mit dem Force-Feedback-Verfahren eine Orientierung und Information zu den Bedienelementen per 3D-Sound erfolgt. Die 3D-Sound-Steuerung benutzt dabei dieselbe 3-Zonen-Objektkonstruktion wie bei der Force-Feedback-Steuerung. Damit ist eine Synchronisation zwischen beiden Verfahren möglich.