DE19624402A1

DE19624402A1 - Computerised interactive unit for visually-handicapped and blind

Info

Publication number: DE19624402A1
Application number: DE1996124402
Authority: DE
Inventors: Lothar Bunde; Joachim Frank; Walter Frasch
Original assignee: AUDIODATA MEDICHIP MEDIZIN und
Current assignee: AUDIODATA MEDICHIP MEDIZIN und
Priority date: 1996-06-19
Filing date: 1996-06-19
Publication date: 1998-01-02

Abstract

A computer-aided interactive unit for the visually handicapped and blind, uses graphical representations with electronic data processing. A graphics output unit (3) produces a flat display panel (12) carrying e.g. a graphical representation (G). This is laid onto a pressure-sensitive detector plate (2). Where e.g. a blind person touches the this, the co-ordinates are detected, the control unit (1) registering the location. An acoustic interpreter and output (18), makes local information related to the graphical representation perceptible to the ear. Preferably an embossing printer (3) produces a tactical-graphical representation (12). The detector panel employs a surface acoustic wave (SAW) device, with a rubbery homogenous coating. This has a hardness of 55-85 Shore A and is 0.5-1.5 mm thick. The detector panel is also claimed. It preferably has an applied layer of natural, artificial or silicone rubber, or soft polyvinyl chloride.

Description

Die Erfindung betrifft eine computergestützte Interaktionsvorrichtung für Sehbehinderte und Blinde zu deren Unterstützung bei der Erfassung gra phischer Darstellungen.The invention relates to a computer-based interaction device for Visually impaired and blind to help them capture gra phical representations.

Zum Hintergrund der Erfindung ist kurz die aktuelle Situation im Zusam menhang mit den Zugriffsmöglichkeiten von Blinden und stark Sehbehin derten auf Informationen darzustellen. Während textliche Informationen entweder auf Tonträgern oder taktil erfaßbaren Medien eine Hauptrolle bei der Informationsübermittlung an Blinde spielen, treten demgegenüber Bild- und graphische Informationen stark zurück. Als Grund hierfür ist vor al lem anzugeben, daß innerhalb der Ausbildung und Rehabilitation von Blinden kaum graphisches Ausgangsmaterial und Anwendungsbeispiele vor handen sind. Ferner hat die automatische Erzeugung von Taktilgraphiken zu diesem Zweck noch keine weite Verbreitung gefunden.The background of the invention is briefly the current situation together connection with the access possibilities of the blind and the visually impaired to present information. While textual information play a major role either on sound carriers or tactile media play the transmission of information to the blind, image and graphic information strongly back. The reason for this is above al lem to indicate that within the training and rehabilitation of There are hardly any graphic raw materials and examples of use for the blind are available. Also has the automatic generation of tactile graphics not widely used for this purpose.

Zum Thema "Taktilgraphiken" ist zu ergänzen, daß als Trägermedium da für in der Hauptsache Papier zum Einsatz kommt, da verschiedene Ent wicklungen im Bereich taktiler elektronischer Graphik-Arrays bisher keine kostengünstigen und gleichzeitig zuverlässigen Lösungen hervorgebracht haben. Insbesondere zur physischen Speicherung und portablen Nutzung von taktilen Graphiken ist Papier anderen Medien, wie z. B. der soge nannten "Schwellfolie" in wirtschaftlicher Hinsicht überlegen.On the subject of "tactile graphics" it should be added that there is a carrier medium mainly for paper because different ent No developments in the area of tactile electronic graphics arrays cost-effective and at the same time reliable solutions to have. Especially for physical storage and portable use of tactile graphics, paper is other media, such as B. the so-called called "swell film" superior in economic terms.

Ausgehend von dem geschilderten Hintergrund liegt der Erfindung die Auf gabe zugrunde, ein umfassend nutzbares Hilfsmittel für Sehbehinderte und Blinde zur Verfügung zu stellen, das diese bei der Erfassung graphischer Darstellung und darauf fußenden Arbeiten damit unterstützt.Based on the background described, the invention lies on was based on a comprehensive tool for the visually impaired and To provide blind people with this when capturing graphical Presentation and work based on it supported.

Diese Aufgabe wird durch die im Anspruch 1 angegebenen Merkmale ge löst. Demnach ist eine EDV-Steuereinheit beispielsweise in Form eines Personalcomputers vorgesehen, die für die Steuerung der noch zu erläu ternden Vorrichtungskomponenten und die Verarbeitung der dabei anfallen den Daten zuständig ist. Ferner ist eine Graphik-Ausgabeeinheit zur Aus gabe eines flächigen Informationsträgers vorgesehen, auf den eine zu er fassende graphische Darstellung in ertastbarer Weise aufgebracht ist. Es kann sich bei der Graphik-Ausgabeeinheit also z. B. um einen Prägedruc ker handeln, der zur Erstellung von Papier- oder Folienblättern als flä chige Informationsträger mit erhaben geprägten, taktil erfaßbaren graphi schen Darstellungen dient, wie dies in Anspruch 2 angegeben ist.This object is achieved by the features specified in claim 1 solves. Accordingly, an EDP control unit is, for example, in the form of a Personal computers provided for the control of the to be explained terenden device components and the processing of it is responsible for the data. Furthermore, a graphics output unit is off provision of a flat information carrier provided on the one to he comprehensive graphical representation is tactile applied. It So can the z. B. an embossing print act ker, the flä for the creation of paper or foil sheets Information carriers with raised, tactile graphi cal representations, as stated in claim 2.

Zu der erfindungsgemäßen Interaktionsvorrichtung gehört ferner eine tast druck-empfindliche Detektorplatte, auf die der flächige Informationsträger auflegbar ist und die bei Betasten des Informationsträgers durch einen Blinden die Koordinaten des oder der selektierten Tastpunkte detektiert und über die EDV-Steuereinheit dem zugehörigen Teil der graphischen Darstellung selektiert.A touch also belongs to the interaction device according to the invention pressure-sensitive detector plate on which the flat information carrier can be put on and when the information carrier is touched by a Blind the coordinates of the selected touch point (s) are detected and via the computer control unit the associated part of the graphic Representation selected.

Schließlich gehört zur erfindungsgemäßen Interaktionsvorrichtung eine akustische Informationsausgabeeinheit, mittels derer zum jeweils selek tierten Teil der graphischen Darstellung zugehörige Zusatzinformationen ausgebbar sind.Finally, one belongs to the interaction device according to the invention acoustic information output unit, by means of which to select related part of the graphical representation associated additional information are spendable.

Als Beispiel für die erfindungsgemäße Interaktionsvorrichtung kann eine Schulungseinrichtung angegeben werden, mit der Blinde die Möglichkeit haben, graphische Benutzeroberflächen von Computerprogrammen kennenzu lernen und damit zu arbeiten. So kann ein blinder oder stark sehbehin derter PC-Anwender erfassen und verstehen, wie z. B. eine Windows-Ober fläche angelegt ist und wie die einzelnen Bildschirmobjekte arrangiert sind. Zusätzlich besteht dann die Möglichkeit, über die druckempfindliche Detektorplatte, die als sogenanntes "Touchpad" ausgestaltet sein kann, das System interaktiv zu bedienen.As an example of the interaction device according to the invention, a Training facility to be specified with the blind the opportunity have to know graphical user interfaces of computer programs learn and work with it. So a blind or very visually impaired Other PC users understand and understand how. B. a Windows waiter surface and how the individual screen objects are arranged are. In addition, there is then the possibility of using the pressure-sensitive Detector plate, which can be designed as a so-called "touchpad", operate the system interactively.

Ein weiteres Beispiel ist die Erfassung von Landkarten oder Stadtplänen. Es kann ein Stadtplan oder ein Teil davon mit den entsprechenden Umris sen von Straßen, Plätzen, öffentlichen Gebäuden, verkehrstechnischen Ein richtungen und dergleichen von der Graphik-Ausgabeeinheit auf Papier geprägt, vom Blinden auf die Detektorplatte gelegt und schließlich abge tastet werden. Will der Blinde genauere Informationen über einen be stimmten Punkt des Stadtplanes - beispielsweise einen Straßennamen oder die Bezeichnung einer öffentlichen Einrichtung - haben, so drückt er bei Erreichen einer ihn interessierenden Stelle auf den Informationsträger und die darunter befindliche Detektorplatte, wodurch die Koordinaten des se lektierten Tastpunktes detektiert und von der EDV-Steuereinheit einem bestimmten Punkt auf dem Stadtplan zugeordnet werden. Zu diesem Punkt sind weitere Informationen in der EDV-Steuereinheit gespeichert, wie z. B. eben der Straßenname. Letzterer kann dann beispielsweise über eine zu sätzlich vorgesehene Einrichtung zur Erzeugung und Ausgabe synthetischer Sprache als Informationsträger ausgegeben werden (Anspruch 5). Alterna tiv dazu kann die akustische Informationsausgabeeinheit auch Töne unter schiedlicher Frequenzen als Informationsträger ausgeben, wodurch Objekte oder Objekteigenschaften der zu erfassenden graphischen Darstellung be schrieben und klassifiziert werden können. Um auf das Beispiel des Stadtplanes zurückzukommen, können etwa bei Betasten von Flächen auf dem geprägten Stadtplan, die in Realität nicht begehbare Flächen dar stellen (wie z. B. Wasserflächen, private Wohngebäude oder dergleichen), jeweils Töne mit einer bestimmten Frequenz ausgegeben werden (Anspruch 4).Another example is the acquisition of maps or city maps. It can be a city map or part of it with the corresponding outline roads, squares, public buildings, traffic engineering directions and the like from the graphic output unit on paper embossed, placed on the detector plate by the blind man and finally removed be groped. Does the blind want more information about a be agreed point of the city map - for example a street name or the designation of a public institution - he adds Reach a point of interest on the information carrier and the detector plate underneath, whereby the coordinates of the se detected tactile point and detected by the computer control unit specific point on the city map. At this point further information is stored in the computer control unit, such as B. the street name. The latter can then be closed, for example additionally provided device for the generation and output of synthetic Language are output as an information carrier (claim 5). Alterna In addition, the acoustic information output unit can also include sounds different frequencies as information carriers, creating objects or object properties of the graphic representation to be recorded can be written and classified. To take the example of City maps can come back, for example, when touching areas the embossed city map, the areas that are not actually accessible places (such as water surfaces, private residential buildings or the like), sounds with a certain frequency are output (claim 4).

Für den Fall, daß eine nur Schwarzschrift-gedruckte Graphik mit Hilfe der erfindungsgemäßen Interaktionsvorrichtung erfaßt werden soll, ist eine zusätzliche Scanner-Einrichtung vorgesehen, mittels derer diese Schwarzschrift-gedruckten Graphiken in die Interaktionsvorrichtung ein lesbar sind (Anspruch 3). Die Graphik steht also dann in digital erfaßter Weise zur Verfügung und es kann davon mit Hilfe der Graphik-Ausgabe einheit ein entsprechender flächiger Informationsträger erstellt werden, auf den die in Rede stehende graphische Darstellung in ertastbarer Weise aufgebracht und wie beschrieben erfaßt werden kann. Gegebenenfalls sind dabei entsprechenden Bereichen der Graphik zugeordnete Zusatzinformatio nen vorher in die Steuereinheit einzugeben, damit diese bei der Erfassung der graphischen Darstellung durch den Blinden zur Verfügung stehen.In the event that a black-only printed graphic with the help the interaction device according to the invention is to be detected an additional scanner device is provided, by means of which this Black-letter printed graphics into the interaction device are legible (claim 3). The graphic is then digitally captured Way available and it can be done with the help of graphics output a corresponding flat information carrier is created, to the graphical representation in question in a palpable way applied and recorded as described. Where applicable additional information assigned to corresponding areas of the graphic NEN to enter in the control unit beforehand, so that this during detection the graphical representation by the blind person.

Gemäß einer weiteren bevorzugten Ausführungsform der Erfindung nach Anspruch 6 ist vorgesehen, daß mittels der druckempfindlichen Detektor platte nicht nur die Koordinaten des oder der Finger-Tastpunkte auf der Plattenoberfläche detektiert werden, sondern auch die jeweilige Auflage kraft des oder der Finger erfaßt wird. In Abhängigkeit der Auflagekraft können dann verschiedene Zusatzinformationen von der EDV-Steuereinheit zu dem jeweiligen Tastpunkt ausgegeben werden. Durch bestimmte Schwel lenwerte der Auflagekraft selektiert, können gegebenenfalls auch weitere Interaktionen mit dem System ausgelöst werden. Auf das Beispiel "Stadt plan" zurückkommend kann z. B. nach Selektierung eines bestimmten Objek tes durch geringen Tastdruck und der darauffolgenden Ausgabe einer grundsätzlichen Information über das Objekt durch einen verstärkten Tastdruck am gleichen Ort in die Interaktionsvorrichtung ein Steuerbefehl eingegeben werden, aufgrund dessen am Taktildrucker die entsprechende Zusatzinformation und gegebenenfalls weitere Hintergrundinformationen über das Objekt auf Papier in Braille-Schrift ausgegeben werden.According to a further preferred embodiment of the invention Claim 6 is provided that by means of the pressure sensitive detector not only the coordinates of the finger touch point or fingers on the Plate surface can be detected, but also the respective edition by force of the finger or fingers. Depending on the tracking force can then receive various additional information from the computer control unit for the respective touch point. Through certain smoldering selected values of the contact force, other values may also be selected Interactions with the system are triggered. To the example of "City plan "can come back, for example, after selecting a certain object tes with a small push of a button and the subsequent output of a basic information about the object by a reinforced Pushing a control command at the same place in the interaction device are entered, on the basis of which the corresponding on the tactile printer Additional information and possibly further background information can be printed on the object on paper in Braille.

Als besonders geeignete Detektorplatten haben sich Flächensensoren in Form sogenannter SAW-(= Surface-Acoustic-Wave-) Sensoren - also Oberflä chen-Schallwellen-Sensoren - herausgestellt. Derartige Sensoren werden beispielsweise bei sogenannten "Touchscreens" - also Bildschirmen, bei denen auf angezeigten Menüs durch direktes Berühren des entsprechenden Menüfeldes auf dem Bildschirm Steuerbefehle in ein Interaktionssystem (beispielsweise in einen Geldautomaten) eingegeben werden - verwendet. Area sensors have been found to be particularly suitable Form of so-called SAW (= Surface Acoustic Wave) sensors - i.e. surface Chen sound wave sensors - exposed. Such sensors are for example with so-called "touchscreens" - that is, with screens those on the displayed menus by touching the corresponding one directly Menu field on the control commands screen in an interaction system (for example, in an ATM).

Ein typischer Vertreter solcher SAW-Sensoren ist in der EP 0 190 743 B1 angegeben, aus der auch bereits grundsätzlich die Möglichkeit bekannt ist, durch unterschiedlich starkes Drücken auf einen Punkt des Touchpads verschiedene Aktionen zu generieren.A typical representative of such SAW sensors is in EP 0 190 743 B1 specified, from which the possibility is already known in principle by pressing different points on the touchpad to generate different actions.

Ganz allgemein werden SAW-Sensoren vorwiegend als zweidimensionale Zeigeinstrumente oder Eingabeelemente bei Computern eingesetzt. Die Anwendungen reichen von Maus-Ersatz und Keyboard-Emulation bis zum digitalen Zeichenbrett und den bereits erwähnten Touchscreens.In general, SAW sensors are mainly considered two-dimensional Pointing instruments or input elements used in computers. The Applications range from mouse replacement and keyboard emulation to digital drawing board and the touchscreens already mentioned.

Wie beispielsweise der vorgenannten EP-Patentschrift entnehmbar ist, be steht der SAW-Sensor aus einem oder mehreren Ultraschallsendern, die me chanisch mit dem Trägermaterial des Sensors verbunden sind. Der Träger ist meist ein Glassubstrat und überträgt die akustischen Wellen auf seiner Oberfläche, bis sie zu einem entsprechend angeordneten Empfänger gelan gen. Berührt nun die Bedienperson die Trägerplatte, so werden die Ober flächenwellen abhängig von der Andruckstärke der Berührung und von der Beschaffenheit der Haut gedämpft.As can be seen, for example, from the aforementioned EP patent, be the SAW sensor consists of one or more ultrasonic transmitters, the me are mechanically connected to the substrate of the sensor. The carrier is usually a glass substrate and transmits the acoustic waves on it Surface until it reaches an appropriately arranged receiver If the operator touches the carrier plate, the waiters surface waves depending on the contact pressure and the Steamed skin texture.

Beispielsweise durch die in der vorgenannten EP-Patentschrift offenbarte Anwendung von zwei jeweils einer Koordinatenachse der Sensorfläche zuge ordneten Sender- und Empfängerpaaren und einer flächigen Aufspreizung des Ultraschallfeldes mit Hilfe von Reflektoren kann über die Messung des zeitlichen Verlaufes der Intensität der empfangenen Signale eine Bestim mung der Koordinaten und Andruckkraft eines betasteten Punktes der Sen soroberfläche mit Hilfe eines entsprechend programmierten Mikroprozessors ermittelt werden.For example, by the one disclosed in the aforementioned EP patent Applying two coordinate axes each to the sensor surface ordered transmitter and receiver pairs and a wide spread of the ultrasonic field with the help of reflectors can be done by measuring the a time course of the intensity of the received signals measurement of the coordinates and pressure force of a touched point of the sen sor surface using a suitably programmed microprocessor be determined.

Nachteilig bei dieser Art von Flächensensor ist die Tatsache, daß die Dämpfung der Oberflächen-Schallwellen von der Beschaffenheit und Durch blutung der Haut der Finger des Benutzers abhängig ist. Die Dämpfung kann dabei um einen Faktor von bis zu 10 differieren, wodurch die Em pfindlichkeit und Ansprechschwellen des SAW-Sensors stark schwanken und eine eindeutige Steuerung der Ausgabe von Zusatzinformationen schwierig ist. A disadvantage of this type of area sensor is the fact that the Attenuation of the surface sound waves on the nature and through bleeding of the skin of the user's fingers is dependent. The damping can differ by a factor of up to 10, whereby the Em The sensitivity and response thresholds of the SAW sensor fluctuate greatly and it is difficult to clearly control the output of additional information is.

Zur Lösung dieser Problematik schlägt die Erfindung ferner vor, daß auf den eigentlichen Flächensensor eine gummielastische, homogene Zwischen lage aufgebracht ist (Anspruch 8). Die Dämpfung der Oberflächenwellen erfolgt dabei nicht mehr direkt durch die Haut, sondern an der Grenz fläche zwischen Auflage und Trägermaterial. Die Kraft, die nun ein Be nutzer mit seinem Finger auf die Auflage ausübt, wird über die Material dicke der Auflage an die Grenzfläche übertragen, wo sie den Dämpfungs grad für die Oberflächen-Schallwellen bestimmt. Damit ist die Dämpfung von den Materialeigenschaften der Auflage abhängig und nicht mehr von den individuell verschiedenen Eigenschaften der Haut an den Fingern der verschiedenen Benutzer. Wird also die Auflage aus einem homogenen Mate rial mit bekannten Eigenschaften bezüglich der Abhängigkeit der Dämp fung von der Auflagekraft verwendet, so lassen sich benutzerunabhängige Ansprechempfindlichkeiten und -schwellenwerte für das Touchpad zur An steuerung verschiedener, z. B. hierarchisch übereinandergelagerter Infor mationsebenen einstellen. Wie aus Anspruch 9 hervorgeht, ist die Zwi schenlage bevorzugt aus einem gummiartigen Werkstoff, wie z. B. Natur-, Kunstgummi, Silikon oder Weich-PVC, mit einer Härte von 55-85 Shore A und einer Dicke von 0,5-1,5 mm gebildet.To solve this problem, the invention also proposes that the actual area sensor a rubber-elastic, homogeneous intermediate location is applied (claim 8). The damping of surface waves is no longer directly through the skin, but at the border area between support and support material. The force that is now a Be user with his finger on the pad is going over the material thickness of the pad is transferred to the interface where it has the damping degrees determined for the surface sound waves. So that's the damping dependent on the material properties of the edition and no longer on the individually different properties of the skin on the fingers of the different users. So if the edition is made from a homogeneous mate rial with known properties regarding the dependence of the damping used by the tracking force, so can be user-independent Response sensitivities and threshold values for the touchpad on control of various, e.g. B. hierarchically superimposed information Set mation levels. As is apparent from claim 9, the Zwi rule position preferably made of a rubber-like material, such as. B. natural, Artificial rubber, silicone or soft PVC, with a hardness of 55-85 Shore A and a thickness of 0.5-1.5 mm.

Die vorstehend erörterte Auflage auf dem eigentlichen Flächensensor hat gerade im Zusammenhang mit der erfindungsgemäßen Interaktionsvorrich tung bedeutende Vorteile. Bei letzterer wird nämlich auf dem SAW-Sensor der flächige Informationsträger z. B. in Form einer Tiefzieh-Schwellfolie oder einer mit Braille-Drucker erzeugten Papiervorlage belegt und der Flächensensor über diesen zwischengelegten Informationsträger durch die Finger des Benutzers beaufschlagt. Ohne die vorgesehene Auflage findet die Schalldämpfung an der Grenzfläche zwischen dem flächigen Informa tionsträger und dem SAW-Sensor statt. Bedingt durch die hohe Festigkeit der meisten taktil erfaßbaren Informationsträger ist die Dämpfung bei gleicher Andruckkraft wesentlich geringer als bei direkter Fingerauflage auf dem SAW-Sensor. Die Empfindlichkeitsreduktion kann den Faktor 100 erreichen, was zu inakzeptabel hohen Andruckkräften für das Überschrei ten eines Andruck-Schwellenwertes des SAW-Sensors führt.The above-discussed overlay on the actual area sensor has especially in connection with the interaction device according to the invention important advantages. The latter is namely on the SAW sensor the flat information carrier z. B. in the form of a deep-drawn swelling film or a paper template created with a Braille printer and the Area sensor through this interposed information carrier through the Finger of the user. Without the intended edition takes place the sound absorption at the interface between the flat informa tion carrier and the SAW sensor instead. Due to the high strength The damping of most tactile information carriers is same pressure force much less than with direct finger rest on the SAW sensor. The sensitivity reduction can be a factor of 100 achieve, resulting in unacceptably high pressure forces for overriding leads to a pressure threshold of the SAW sensor.

Durch die vorgesehene Auflage auf dem SAW-Sensor wird die wirksame Dämpfungsstelle wiederum auf die Grenzfläche zwischen Auflage und SAW-Sensor verlagert, so daß die verminderte Dämpfungscharakteristik der flächigen Informationsträger keine Rolle mehr spielt.The intended support on the SAW sensor makes the effective one Damping point in turn on the interface between the support and SAW sensor shifted so that the reduced damping characteristics of the flat information carrier no longer plays a role.

Die Ansprüche 10 bis 12 betreffen die druckempfindliche Detektorplatte zur koordinatenorientierten Erfassung von Tastpunkten selbst, wie sie auch unabhängig von der computergestützten Interaktionsvorrichtung eingesetzt werden kann. Analog den Ansprüchen 8 und 9 kann ganz allgemein bei Touchpads, Touchscreens oder dergleichen durch die erfindungsgemäß vor gesehene Auflage auf der Oberfläche des Oberflächen-Schallwellensensors eine Normierung und Vereinheitlichung der Andruckkräfte zur Betätigung des Sensors stattfinden.Claims 10 to 12 relate to the pressure-sensitive detector plate Coordinate-oriented detection of touch points themselves, as they do used independently of the computer-based interaction device can be. Analogous to claims 8 and 9 in general Touchpads, touchscreens or the like through the inventive seen support on the surface of the surface sound wave sensor a standardization and standardization of the pressure forces for actuation of the sensor take place.

Weitere Merkmale, Einzelheiten und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung, in der ein Ausführungsbeispiel des Erfindungsgegenstandes anhand der beigefügten Zeichnungen näher erläu tert wird. Es zeigen:Further features, details and advantages of the invention emerge from the following description, in which an embodiment of the Subject of the invention with reference to the accompanying drawings is tert. Show it:

Fig. 1 eine perspektivische Gesamtansicht einer computergestützten In teraktionsvorrichtung für Blinde, Fig. 1 is a perspective overall view of a computerized In teraktionsvorrichtung for the blind,

Fig. 2 eine schematische Seitenansicht einer druckempfindlichen Detektor platte mit aufgelegtem flächigen Informationsträger, Fig. 2 is a schematic side view of a pressure-sensitive detector plate with hook-area information carriers,

Fig. 3 eine Ansicht analog Fig. 2 ohne den flächigen Informationsträger, und Fig. 3 is a view analogous to Fig. 2 without the flat information carrier, and

Fig. 4 und 5 jeweils Draufsichten auf einen flächigen Informationsträger mit einer taktil erfaßbaren graphischen Darstellung in un terschiedlichen Benutzungsarten. FIGS. 4 and 5 are respectively plan views of a sheet-like information carrier with a tactilely detectable graphical representation in un terschiedlichen usage modes.

In der Gesamtdarstellung gemäß Fig. 1 sind als Grundbausteine der In teraktionsvorrichtung ein Personalcomputer 1, eine druckempfindliche De tektorplatte 2, ein Braille-Drucker 3, ein Scanner 4, eine auf einem schwenkbaren Haltearm 5 positionierte Tastatur 6 sowie ein zusätzliches Steuerpaneel 7 erkennbar. Die vorstehenden Bausteine sind in üblicher Weise untereinander über den Personalcomputer 1 verknüpft, der die An steuerung der einzelnen Komponenten entsprechend der vorgesehenen Be triebsabläufe und Programme, die Datenerfassung sowie -speicherung vor nimmt.In the overall view according to FIG. 1, as the basic building blocks of the in teraktionsvorrichtung a personal computer 1, a pressure-sensitive De tektorplatte 2, a braille printer 3, a scanner 4, a positioned on a pivoting arm 5 keyboard 6 and an additional control panel 7 recognizable. The above building blocks are linked in the usual way to one another via the personal computer 1 , which takes control of the individual components in accordance with the intended operating sequences and programs, the data acquisition and storage before.

Bei der Detektorplatte 2, wie sie in den Fig. 2 und 3 schematisch darge stellt ist, handelt es sich im wesentlichen um einen SAW-Sensor 8 (Ober flächen-Schallwellen-Sensor), wie er beispielsweise aus der bereits er wähnten EP 0 190 734 B1 in Aufbau und Funktion bekannt ist. Nähere Ausführungen hierzu sind dieser Druckschrift aus dem Stand der Technik entnehmbar und erübrigen sich daher. Auf dem eigentlichen SAW-Sensor 8 ist eine gummielastische Auflage 9 aufgebracht, die aus Naturkautschuk mit einer Dicke von 1 mm und einer Shore-A-Härte von 70 besteht. Die De tektorplatte 2 weist ferner einen umlaufenden Anschlagrahmen 10 auf, der den SAW- Sensor 8 und die Auflage 9 umfaßt und über die Oberfläche der Auflage 9 nach oben hinaussteht. Die linke obere Ecke 11 des Anschlag rahmens 10 bildet dabei den Koordinatenursprung der Detektorplatte 2, so daß eine abzutastende Vorlage 12 (Fig. 2) an die obere und linke Schiene 13, 14 des Anschlagrahmens 10 anzulegen ist.The detector plate 2 , as shown schematically in FIGS . 2 and 3, is essentially a SAW sensor 8 (surface sound wave sensor), as described, for example, in EP 0 190, which he already mentioned 734 B1 in structure and function is known. Further details on this can be found in this document from the prior art and are therefore unnecessary. On the actual SAW sensor 8 , a rubber-elastic pad 9 is applied, which consists of natural rubber with a thickness of 1 mm and a Shore A hardness of 70. The De tektorplatte 2 also has a circumferential stop frame 10 , which includes the SAW sensor 8 and the pad 9 and protrudes above the surface of the pad 9 upwards. The upper left corner 11 of the stopper frame 10 forms the origin of the detector plate 2, so that a document to be scanned of the stopper frame 10 is to be applied 12 (Fig. 2) to the upper and left-hand rail 13, 14.

Bei der erwähnten Vorlage 12 handelt es sich vorzugsweise um ein Pa pierblatt, das in dem Braille-Drucker 3 mit entsprechend erhaben vor stehenden Prägungen 15 (Fig. 2) versehen ist, die eine graphische Dar stellung - wie sie beispielsweise in den Fig. 4 und 5 erkennbar ist - er geben. Bei den Braille-Druckern sollte es sich um einen speziellen Taktil- Drucker handeln, der eine geringe Geräuschemission, eine hohe Auflösung zur optimalen Darstellung von kleinen Objekten oder schrägen Linien, die Möglichkeit gleichzeitiger Darstellung von Text und Graphik auf einer Seite, ein Maximalformat von DIN A3 zur besseren Übersicht und eine möglichst schnelle Druckausgabe für interaktive Anwendungen bietet. Im übrigen können bestimmte Einstellungen und Parameter des Braille-Druc kers über das Steuerpaneel 7 eingestellt werden, wie unter Umständen die Prägehöhe, -geschwindigkeit usw.The mentioned template 12 is preferably a paper sheet, which is provided in the Braille printer 3 with correspondingly raised embossments 15 ( FIG. 2), which is a graphical representation - such as that shown in FIG. 4 and 5 is recognizable - he give. The Braille printer should be a special tactile printer that has low noise emissions, high resolution for the optimal display of small objects or slanted lines, the possibility of simultaneously displaying text and graphics on one page, a maximum format of DIN A3 offers a better overview and the fastest possible print output for interactive applications. In addition, certain settings and parameters of the Braille printer can be set via the control panel 7 , such as the height, speed, etc.

Die Funktionsweise und der praktische Einsatz einer erfindungsgemäßen Interaktionsvorrichtung ist wie folgt zu beschreiben:
Es wird davon ausgegangen, daß die in Fig. 4 und 5 gezeigte graphische Darstellung zweier Pinguine von einem Blinden erfaßt werden und er auf Wunsch entsprechende Zusatzinformationen über diese Tiere erhalten soll.The mode of operation and the practical use of an interaction device according to the invention can be described as follows:
It is assumed that the graphical representation of two penguins shown in FIGS. 4 and 5 is recorded by a blind person and that he should receive corresponding additional information about these animals if desired.

Durch eine geeignete Eingabe in den Personalcomputer 1 über die Tastatur 6 oder das Steuerpaneel 7 wird aus einer entsprechenden Graphik-Datei die gespeicherte Graphik abgerufen und über den Braille-Drucker 3 in Form von Prägungen auf einem Papierblatt ausgedruckt. Das ausgegebene Papierblatt wird vom Benutzer auf die Detektorplatte 2 korrekt auf An schlag (bündig in die linke obere Ecke 11) aufgelegt, so daß - wie bei SAW-Sensoren üblich - die Steuereinheit bei Berühren eines bestimmten Koordinatenpunktes auf dem SAW-Sensor zwischen diesem Koordinatenpunkt und dem entsprechenden Punkt der Graphik eine definierte Verknüpfung herstellen kann. Dies ist in der vorstehend erwähnten EP 0 190 734 B1 anhand eines sogenannten "Touchscreens" eingehend beschrieben.With a suitable input into the personal computer 1 via the keyboard 6 or the control panel 7 , the stored graphic is retrieved from a corresponding graphic file and printed out on the paper in the form of embossments via the Braille printer 3 . The output paper sheet is correctly placed by the user on the detector plate 2 on impact (flush in the upper left corner 11 ), so that - as is usual with SAW sensors - the control unit when touching a certain coordinate point on the SAW sensor between this coordinate point and can create a defined link to the corresponding point in the graphic. This is described in detail in EP 0 190 734 B1 mentioned above using a so-called “touch screen”.

Beim Erfassen der graphischen Darstellung der beiden Pinguine wird nun der Benutzer zuerst einmal einen Überblick gewinnen wollen und die Vor lage 12 mit beiden Händen 16, 17 flächig abtasten. Der SAW-Sensor 8 re gistriert also eine Vielzahl von Berührungspunkten mit relativ geringer Auflagekraft. Entsprechend ist also kein Detailobjekt aus der graphischen Darstellung ausgewählt und der Personalcomputer kann z. B. mittels eines Sprachsynthesizers über den Lautsprecher 18 allgemeine Informationen über das Objekt der graphischen Darstellung - hier also Pinguine - aus geben. Nach der vorstehenden Groborientierung des Benutzers kann er be stimmte Bereiche der graphischen Darstellung - beispielsweise Punkte oder Bereiche der graphischen Darstellung, von denen der Benutzer nicht weiß, worum es sich handelt - durch festeren Druck mit einem Finger (Fig. 5) selektieren. Übersteigt die Auflagekraft des Zeigefingers 19 dabei einen bestimmten - aufgrund der Auflage 9 benutzerunabhängig normierten - Schwellenwert, wird dies vom SAW-Sensor 8 erkannt und über den Perso nalcomputer 1 eine entsprechende Zusatzinformation ausgegeben: am Bei spiel des Pinguins in Fig. 5, bei dem der Zeigefinger auf die Flosse deutet, also beispielsweise die sprachliche Benennung dieses Körperteils. Auch die Ausgabe von akustischen Signalen unterschiedlicher Tonhöhen, die abhängig vom jeweils selektierten Körperteil sind, kann für die Übermittlung der angesprochenen Zusatzinformationen verwendet werden.When capturing the graphical representation of the two penguins, the user will now first want to get an overview and sample the area 12 with both hands 16 , 17 . The SAW sensor 8 thus registers a multiplicity of contact points with a relatively low contact force. Accordingly, no detail object is selected from the graphic representation and the personal computer can e.g. B. by means of a speech synthesizer on the loudspeaker 18 give general information about the object of the graphical representation - here penguins - After the above rough orientation of the user, he can select certain areas of the graphic representation - for example points or areas of the graphic representation, of which the user does not know what it is - by pressing more firmly with a finger ( FIG. 5). If the contact force of the index finger 19 exceeds a certain threshold value, which is standardized independently of the user due to the support 9 , this is recognized by the SAW sensor 8 and a corresponding additional information is output via the personal computer 1 : at the example of the penguin in FIG. 5, in which the index finger points to the fin, for example the linguistic name of this part of the body. The output of acoustic signals of different pitches, which depend on the selected body part, can also be used for the transmission of the additional information mentioned.

Falls der Benutzer nun noch weitergehende Zusatzinformationen über die ses Körperteil haben möchte, so wird er mit noch stärkerem Fingerdruck arbeiten, was wiederum vom SAW-Sensor erkannt und die entsprechenden Informationen aus entsprechend zugeordneten Dateien aus dem Personal computer 1 ausgelesen und über Lautsprecher 18 ausgegeben werden. Beim Beispiel gemäß Fig. 5 mit dem selektierten Körperteil "Flosse" bleibend, können z. B. Zusatzinformationen über deren anatomischen Aufbau oder das damit zu erzielende Schwimmverhalten von Pinguinen ausgegeben werden.If the user now wants to have additional information about this part of the body, he will work with even stronger finger pressure, which in turn is recognized by the SAW sensor and the corresponding information is read from corresponding files from the personal computer 1 and output via loudspeaker 18 . In the example shown in FIG. 5 with the selected body part "fin", z. B. Additional information about their anatomical structure or the swimming behavior to be achieved by penguins.

Zusammenfassend zu der vorstehend erörterten Funktionsweise ist also festzuhalten, daß der Personalcomputer 1 mit Hilfe der Detektorplatte 2 durch Auswertung der Berührposition und der Andruckstärke zu taktil ge druckten Objekten weitere Informationen z. B. in Form verbaler Beschrei bungen mittels synthetischer Sprachausgabe oder durch Ausgabe von Tönen unterschiedlicher Höhe mitteilen kann. Die Interaktion mit einer Taktil graphik läßt sich dabei im wesentlichen in folgende Grundschritte glie dern:In summary of the functioning discussed above, it should be noted that the personal computer 1 with the aid of the detector plate 2 by evaluating the touch position and the contact pressure to tactile ge printed objects further information such. B. in the form of verbal descriptions by means of synthetic speech or by outputting sounds of different heights. The interaction with a tactile graphic can essentially be broken down into the following basic steps:

- Tactile detection to search for the flat information carrier Tactile objects
- Rough overview of the tactile object
- Show found objects or areas thereof to trigger the Output of additional information
- Different levels of information can be created by different pressure forces called or other control commands can be entered.

Aus der vorstehenden Erörterung wird im übrigen auch klar, daß bei der Erfindung in vorteilhafter Weise die Ausgabe von akustischer oder an dersartiger Zusatzinformation nur dann von einem Personalcomputer akti viert wird, wenn der Anwender den sogenannten "Zeigemodus" - also stär keren Auflagedruck auf die Detektorplatte 2 an einem bestimmten Punkt - benutzt. Dies hat den Vorteil, daß der Anwender kein zusätzliches Einga beelement bedienen muß, um die Ausgabe von Zusatzinformation zu akti vieren oder zu deaktivieren.From the above discussion it is also clear that in the invention, the output of acoustic or other such additional information is only activated by a personal computer in an advantageous manner when the user uses the so-called "pointing mode" - that is, stronger contact pressure on the detector plate 2 at a certain point - used. This has the advantage that the user does not have to operate an additional input element in order to activate or deactivate the output of additional information.

Falls eine graphische Darstellung nur in Schwarzdruck zur Verfügung steht, so kann diese über den Scanner 4 in den Personalcomputer 1 ein gelesen und anschließend analog der vorstehend erörterten Benutzungs weise erfaßt werden, indem die aufgrund des Einscannens im Personalcom puter gespeicherte graphische Darstellung über den Braille-Drucker 3 aus gegeben und mit der Detektorplatte 2 weiterverarbeitet wird.If a graphic representation is only available in black print, it can be read into the personal computer 1 via the scanner 4 and then recorded analogously to the use discussed above, by the graphic representation stored in the personal computer due to the scanning in via the Braille Printer 3 given and processed with the detector plate 2 .

Anhand von Fig. 3 ist kurz darauf hinzuweisen, daß ein üblicher SAW- Sensor 8, wie er aus der EP 0 190 734 B1 bekannt ist, durch die erfin dungsgemäß vorgesehene Auflage 9 in seiner Funktionsweise dahingehend zu verbessern ist, daß sein Ansprechverhalten unabhängig von den Däm pfungseigenschaften der Haut und des Taktildruckmediums gemacht werden kann. Dies wurde in der Beschreibungseinleitung bereits ausführlich er örtert und bedarf keiner Wiederholung.Referring to Fig. 3 is briefly noted that a conventional SAW sensor 8, as it is known from EP 0190734 B1 is to the effect to be improved by the OF INVENTION dung provided according support 9 in its operation in that its response, irrespective of the damping properties of the skin and the tactile printing medium can be made. This has already been discussed in detail in the introduction to the description and does not require repetition.

Claims

1. Computer-based interaction device for the visually impaired and blind to assist in the acquisition of computer-stored graphic representations with the following features:

- an EDP control unit ( 1 ),
a graphic output unit ( 3 ) for creating and outputting a flat information carrier ( 12 ) onto which a graphic representation (G) to be recorded is applied in a tactile manner,
- a pressure-sensitive detector plate ( 2 ),
- On which the flat information carrier ( 12 ) can be placed, and
- When the information carrier ( 12 ) is touched by a blind person, it detects the coordinates of the selected touch point (s) and assigns it via the control unit ( 1 ) to the associated part of the graphic representation (G), and
- An acoustic information output unit ( 18 ), by means of which for each selected part of the graphic representation associated additional information can be output acoustically perceptible.

2. Interaction device according to claim 1, characterized in that the graphic output unit is an embossing printer ( 3 ) for creating paper or foil templates ( 12 ) with raised embossed, tactile detectable graphic representations (G).

3. Interaction device according to claim 1 or 2, characterized by a scanner device ( 4 ), by means of which black font-printed graphics can be read into the interaction device.

4. Interaction device according to one of claims 1 to 3, characterized in that tones of different frequencies can be output as information carriers by means of the acoustic information output unit ( 18 ).

5. Interaction device according to one of claims 1 to 4, characterized in that the acoustic information output unit ( 18 ) is assigned a device for generating and outputting synthetic speech as information carrier.

6. Interaction device according to one of claims 1 to 5, characterized in that by means of the pressure-sensitive detector plate ( 2 ) in addition to the coordinates of the or the selected touch points on the plat tenfläche also the respective contact force of the fingers can be detected such that different depending on the contact force Additional information can be output and / or further interactions with the system can be triggered.

7. Interaction device according to one of claims 1 to 6, characterized in that the pressure-sensitive detector plate has a surface sensor in the form of a surface sound wave sensor ( 8 ).

8. Interaction device according to claim 7, characterized in that a rubber-elastic, homogeneous pad ( 9 ) is applied to the surface sound wave sensor.

9. Interaction device according to claim 8, characterized in that the pad made of a rubber-like material with a hardness of 55-85 Shore A and a thickness of 0.5-1.5 mm.

10. Pressure-sensitive detector plate ( 2 ) for coordinate-oriented detection of touch points on its surface with a surface sound wave sensor ( 8 ) and an applied to the surface, preferably homogeneous pad ( 9 ) made of a rubber-elastic material.

11. Detector plate according to claim 10, characterized in that the Pad made of a rubber-like material with a hardness of 55-85 Shore A and a thickness of 0.5-1.5 mm.

12. Detector plate according to claim 10 or 11, characterized in that the pad is made of natural, synthetic rubber, silicone or soft PVC.