DE19917820C2 - Method and device for mobile and stationary navigation in promised hypertext-oriented graphical user interfaces (GUIs) - Google Patents

Method and device for mobile and stationary navigation in promised hypertext-oriented graphical user interfaces (GUIs)

Info

Publication number
DE19917820C2
DE19917820C2 DE1999117820 DE19917820A DE19917820C2 DE 19917820 C2 DE19917820 C2 DE 19917820C2 DE 1999117820 DE1999117820 DE 1999117820 DE 19917820 A DE19917820 A DE 19917820A DE 19917820 C2 DE19917820 C2 DE 19917820C2
Authority
DE
Germany
Prior art keywords
sound
objects
user
command
soundscape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE1999117820
Other languages
German (de)
Other versions
DE19917820A1 (en
Inventor
Wolfgang Bock
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anitra Medienprojekte GmbH
Original Assignee
Anitra Medienprojekte GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from DE1997155863 external-priority patent/DE19755863C2/en
Application filed by Anitra Medienprojekte GmbH filed Critical Anitra Medienprojekte GmbH
Priority to DE1999117820 priority Critical patent/DE19917820C2/en
Publication of DE19917820A1 publication Critical patent/DE19917820A1/en
Application granted granted Critical
Publication of DE19917820C2 publication Critical patent/DE19917820C2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum mobilen und stationären Navigieren in versprachlichten hypertextorientierten Graphical User Interfaces (GUIs), das zwei wesentliche Komponenten beinhaltet:
The invention relates to a method and a device for mobile and stationary navigation in promised hypertext-oriented graphical user interfaces (GUIs), which contains two essential components:

  • - eine mit elektroakustischen Wiedergabegeräten erzeugte "dreidimensionale Tonkulisse", in der einzelne Tonobjekte - aus natürlichen und/oder synthetischen Tönen bestehend - so dargestellt werden, dass sie in der Wahrnehmung des Zuhörers aus unterschiedlichen Richtungen zu kommen scheinen, wobei die Tonobjekte einer Benutzeroberfläche und/oder einer von dieser Benutzeroberfläche aus verwalteten Information zugeordnet sind- A "three-dimensional soundscape" generated with electro-acoustic playback devices, in which individual clay objects - consisting of natural and / or synthetic tones - represented in this way be that they come from different directions in the listener's perception seem to be the sound objects of a user interface and / or one of these User interface are assigned from managed information
  • - einem Zeigeverfahren, das vermöge eines "imaginären Zeigers" eine bestimmte Richtung in der Tonkulisse vorgibt, sodass dieser Richtung entsprechende Computerprozesse ausgelöst werden können. Dieser Zeiger ist insofern "imaginär" als seine Richtung nur durch eine entsprechende Änderung in der Tonkulisse nachgewiesen wird, und nicht etwa durch die Anzeige eines Messwertes. Bevorzugt werden hierzu Geräte nach Art eines Joysticks eingesetzt; es werden aber auch andere Verfahren beansprucht, etwa eine Voice-Anweisung die ein direkt richtunggebendes Stichwort beinhaltet oder eine direkt richtunggebende Gestik. Nachstehend steht hierfür immer "Zeigegerät oder Zeigeverfahren"- a pointing method which, by means of an "imaginary pointer", has a certain direction in the Sound setting specifies that corresponding computer processes are triggered in this direction can. This pointer is "imaginary" insofar as its direction is only by a corresponding one Change in the soundscape is detected, and not by displaying a Measured value. Devices in the manner of a joystick are preferably used for this purpose; but there will be other methods are also claimed, such as a voice instruction that gives a direct direction Keyword contains or a direct directional gesture. The following always stands for this "Pointing device or pointing method"

Die Erfindung unterstützt somit, z. B. in PCs und in anderen Geräten, eine rein akustische Alternative oder Ergänzung zu den derzeitigen grafischen Benutzeroberflächen (auch Graphical User Interfaces - GUI - genannt), und zwar ohne dafür ein GUI-orientiertes Informationsangebot nennenswert umbauen zu müssen. Sie ist insbesondere in Situationen vorteilhaft, in denen ein grafisches Display wenig oder nur im stationären Betrieb genutzt werden soll.The invention thus supports, for. B. in PCs and other devices, a purely acoustic alternative or supplement to the current graphical user interfaces (also graphical user interfaces - GUI - called), and without a GUI-oriented information offer worth mentioning to have to rebuild. It is particularly advantageous in situations where a graphic display little or only to be used in stationary operation.

1. Stand der Technik1. State of the art

Die Erstellung von Informationsangeboten für Blinde, die Entwicklung von Mobiltelefon- Freisprechanlagen sowie Verfahren aus dem Bereich der Virtual Reality, stellen Beispiele für die rein (oder vorwiegend) akustische Ausgestaltung von Benutzeroberflächen dar. The creation of information offers for the blind, the development of mobile phone Hands-free systems and procedures from the field of virtual reality provide examples of the (or predominantly) acoustic design of user interfaces.  

  • 1. 1.1 Bekannt sind Verfahren, die es gestatten, natürliche (Sprach-, Geräusch-, Musik-) Tonfolgen bzw. Tonsynthesevorschriften digital abzuspeichern und programmgesteuert wiederzugeben, sodass einem Datenobjekt ein Tonobjekt zugeordnet werden kann, wobei Tonobjekte ebenso wie Datenobjekte parallel und/oder sequentiell abgearbeitet werden können.
    Dabei werden Tonobjekte entsprechend ihrer Semantik (Laut, Wort/Begriff, Ton, Satz, Melodie, gesprochener Absatz usf.) definiert, analog dazu, wie bestimmte Pixelmuster am Bildschirm als visuellen Objekt (Buchstabe, Wort, Absatz, grafische Ikone, visueller Gegenstand etc.) interpretiert werden können, wobei immer unterstellt ist, dass sich der Produzent der Tonkulisse und der Endanwender über die jeweilige Interpretation dieser Objekte einig sind.
    Insbesondere kann mit solchen Verfahren die visuelle Benutzeroberfläche eines PCs teilweise akustisch abgebildet werden, wobei die auswählbaren Tonobjekte sowohl Informations- als auch Navigationselemente in der zu verwaltenden und darzustellenden Information umfassen.
    US 5 461 399 beschreibt eine räumliche Tonkulisse, aus der Objekte mittels einer Computermaus, also mit einem zugeordneten Bildschirm, selektiert werden können.
    Weiters wird in "IBM Tech. Disc. Bull., Vol. 39 No. 3 (März 1996) p. 83" die Darbietung einer dreidimensionalen, aus Informationselementen bestehenden Tonkulisse ohne Bildschirm beschrieben, in welcher ein Nutzer sich virtuell bewegen kann. DE 44 14 360 A1 beschreibt eine zu US 5 461 399 ähnliche Vorrichtung, bei der jedoch statt der Maus/Bildschirm Kombination ein Zeigegerät nach Art eines Laserpointers eingesetzt wird.    1.1.1 Methods are known which allow natural (speech, noise, music) sound sequences or sound synthesis instructions to be digitally stored and reproduced under program control, so that a sound object can be assigned to a data object, sound objects as well as data objects being parallel and / or can be processed sequentially.
    Sound objects are defined according to their semantics (sound, word / concept, sound, sentence, melody, spoken paragraph, etc.), analogous to how certain pixel patterns on the screen as a visual object (letter, word, paragraph, graphic icon, visual object, etc .) can be interpreted, whereby it is always assumed that the producer of the soundscape and the end user agree on the respective interpretation of these objects.
    In particular, the visual user interface of a PC can be mapped acoustically with such methods, the selectable sound objects comprising both information and navigation elements in the information to be managed and displayed.
    US 5 461 399 describes a spatial soundscape from which objects can be selected using a computer mouse, that is to say with an associated screen.
    Furthermore, "IBM Tech. Disc. Bull., Vol. 39 No. 3 (March 1996) p. 83" describes the presentation of a three-dimensional soundscape consisting of information elements without a screen, in which a user can move virtually. DE 44 14 360 A1 describes a device similar to US 5 461 399, in which, however, a pointing device in the manner of a laser pointer is used instead of the mouse / screen combination.
  • 2. 1.2 Ein Tonobjekt nach 1.1. beinhaltet an sich keine Ortsinformation, sondern diese wird ihm extern zugewiesen, indem z. B. eine physische Schallquelle an eine bestimmte Stelle gesetzt wird, oder indem die Ortsinformation mit Rechenverfahren hinzugefügt wird. Insbesondere ordnen bekannte Virtual-Reality-Verfahren einer Tonquelle eine Position und bestimmte Ausbreitungscharakteristika zu, und positionieren beliebig viele solcher Tonquellen in einem virtuellen Tonraum, der per Lautsprecheranlage oder Kopfhörer wahrgenommen wird.
    Es kann dabei ein Tonobjekt aus mehreren Unterobjekten bestehen, die zeitlich nacheinander oder parallel ablaufen, und dabei wahlweise aus verschiedenen Richtungen und/oder Entfernungen zu kommen scheinen. Diese Verfahren haben u. a. in Form von besonders realitätsnahen Computerspielen den Massenmarkt erreicht.
    Aus dem Unterhaltungsbereich kommen analoge und digitale Verfahren zur räumlichen Tonwiedergabe eines Musikstücks, eines Hörspiels oder einer Rundfunksendung, z. B. das Stereoton- Verfahren oder die Quadrophonie sowie, neueren Datums, das Dolby Surround-Sound Verfahren, das sich besonders im Auto anbietet, weil dort der Anwender eine fixe Sitzposition einnimmt.
    Es sind Kopfhörer-Wiedergabeverfahren bekannt, mit denen ein besonders realitätsgetreues räumliches Hörerlebnis erreicht wird, wobei allerdings das in den beiden Hörern wiedergegebene Tonsignal den jeweiligen Kopfbewegungen des Nutzers angepasst werden muss, es ist also am Kopfhörer eine Positions- oder Richtungsmesseinrichtung angebracht.    2. 1.2 A clay object according to 1.1. does not contain any location information, but this is assigned externally, e.g. B. a physical sound source is placed at a certain point, or by adding the location information using calculation methods. In particular, known virtual reality methods assign a position and certain propagation characteristics to a sound source, and position any number of such sound sources in a virtual sound space that is perceived by a loudspeaker system or headphones.
    A sound object can consist of several sub-objects that run in time or in parallel, and seem to come from different directions and / or distances. These processes have reached the mass market in the form of particularly realistic computer games.
    Analogue and digital methods for the spatial sound reproduction of a piece of music, a radio play or a radio broadcast, e.g. B. the stereo sound process or quadrophony and, more recently, the Dolby Surround Sound process, which is particularly useful in the car because the user takes a fixed sitting position there.
    Headphone reproduction methods are known with which a particularly realistic spatial listening experience is achieved, although the sound signal reproduced in the two listeners must be adapted to the respective head movements of the user, so a position or direction measuring device is attached to the headphones.
  • 3. 1.3 Aus der digitalen Tonverarbeitung sind Verfahren bekannt, die ein Tonobjekt verändern, indem dieses wahlweise eine Veränderung seiner vom Benutzer wahrgenommenen Position, Lautstärke, Stimmlage, Klangfarbe, Abspielgeschwindigkeit oder Verhallung erfährt, oder indem ein anderes Tonobjekt an der Position des hervorzuhebenden Tonobjektes oder Unterobjektes hinzugefügt wird; oder indem eine Kombination dieser Massnahmen vorgenommen wird.3. 1.3 Methods are known from digital sound processing that change a sound object, by optionally changing its position as perceived by the user, Volume, pitch, timbre, playback speed or reverberation, or by a other clay object at the position of the clay object or sub-object to be highlighted will be added; or by combining these measures.
  • 4. 1.4 Die Benutzeroberfläche eines PCs unterstützt die Auswahl eines visuellen Objektes, welches eine Information oder einen Prozess darstellen kann, z. B. mittels eines maus- oder tastengesteuerten Cursors.
    Bekannt ist das akustische Äquivalent hierzu als ein zusätzliches, eigens definiertes Cursor- Tonobjekt, das in der Tonkulisse räumlich bewegt erscheint und das die Auswahl eines der übrigen Tonobjekte in der Tonkulisse dann bewirkt, wenn es dieses Objekt räumlich zu treffen scheint. In beiden Fällen ist es möglich, per Taste oder Mausklick einen Prozess auszulösen, welcher dem ausgewählten visuellen oder akustischen Objekt zugeordnet ist.    4. 1.4 The user interface of a PC supports the selection of a visual object, which can represent information or a process, e.g. B. by means of a mouse or key-controlled cursor.
    The acoustic equivalent to this is known as an additional, specifically defined cursor sound object that appears spatially moved in the sound backdrop and that causes the selection of one of the other sound objects in the sound backdrop when it appears to strike this object spatially. In both cases, it is possible to initiate a process that is assigned to the selected visual or acoustic object using a button or a mouse click.

Mit den obigen Verfahren kann eine Tonkulisse dargestellt werden, welche z. B. einem "Windows 95 Schreibtisch" oder ähnlichen Benutzeroberflächen (sog. GUIs) funktional weitgehend entspricht und es folglich gestattet, in einem Informationsangebot visuell oder akustisch zu navigieren, dieses Informationsangebot darzustellen, und es zu bearbeiten.With the above methods, a soundscape can be represented, which, for. B. largely corresponds to a "Windows 95 desk" or similar user interfaces (so-called GUIs) in terms of function and consequently allows to navigate visually or acoustically in an offer of information, to present this offer of information, and to edit it.

Dieses ist nicht nur für Blinde und Sehbehinderte vorteilhaft sondern auch für jede Anwendung, bei der man auf die Navigation und Anzeige von Informationen per Bildschirm möglichst verzichten will.This is not only advantageous for the blind and visually impaired but also for every application who want to avoid the navigation and display of information on the screen as much as possible.

2. Beschreibung der Erfindung2. Description of the invention

Die in der nachfolgenden Beschreibung verwendeten Begriffe sind in dem beigefügten Glossar beispielhaft erläutert, das zum Inhalt der vorliegenden Anmeldung gehört.The terms used in the following description are in the attached glossary exemplified, which belongs to the content of the present application.

Die vorliegende Erfindung zielt darauf ab, die Navigation in einem derartigen akustischen Informa­ tionsangebot zu erleichtern. Dieses Ziel erreicht die Erfindung durch die Gegenstände der Ansprüche 1, 19 sowie 24 bis 26. Bevorzugte Ausführungsbeispiele sind in den jeweils abhängigen Ansprüchen beschrieben.The present invention aims to navigate in such acoustic information offer to facilitate. This object is achieved by the subject matter of the claims 1, 19 and 24 to 26. Preferred embodiments are in the respective dependent claims described.

Danach kombiniert die Erfindung die eingangs beschriebenen Komponenten zu einer Basis für ein Verfahren und eine Vorrichtung zur verbesserten Auswahl von fallweise gleichzeitig, jedoch räumlich getrennt wahrgenommenen Tonobjekten in einer Tonkulisse und zum Auslösen von zugeordneten Prozessen. Die Auswahl von Tonobjekten und/oder Unterobjekten manifestiert sich dadurch, dass diese akustisch hervorgehoben sind, wobei im Normalfall ein solches Tonobjekt ausgewählt und hervorgehoben wird und die übrigen Tonobjekte (2, 3) der Tonkulisse unverändert dargestellt werden.The invention then combines the components described at the outset to form a basis for a method and a device for improved selection of sound objects which are simultaneously perceived simultaneously, but spatially separately, in a sound backdrop and for triggering associated processes. The selection of sound objects and / or sub-objects manifests itself in the fact that these are acoustically highlighted, such a sound object being normally selected and highlighted and the other sound objects ( 2 , 3 ) of the soundscape being displayed unchanged.

Hierfür wird ein in die Tonkulisse gerichtetes Zeigegerät oder ein Zeigerverfahren verwendet, welches die Richtung eines imaginären Zeigers bestimmt.For this purpose, a pointing device directed into the soundscape or a pointer method is used, which shows the direction of a imaginary pointer.

Die Erfindung verspricht insbesondere gegenüber dem Stand der Technik ein einfacher zu realisierendes und handzuhabendes Zeigeverfahren, sowie eine bessere Fehlertoleranz. Die Erfindung ist besonders nützlich für Anwender, die schlecht oder gar nicht sehen können.The invention promises a simpler one in particular compared to the prior art Realizing and manageable pointing method, as well as a better fault tolerance. The invention is particularly useful for users who can see poorly or not at all.

Weitere Vorteile und Ausgestaltungen der Erfindung werden nunmehr anhand bevorzugter Ausführungsbeispiele mit Bezug auf die beigefügte Zeichnung näher erläutert. In der Zeichnung zeigen:Further advantages and refinements of the invention are now more preferred based on Exemplary embodiments explained in more detail with reference to the accompanying drawing. In the drawing demonstrate:

Abb. 1 eine schematische Darstellung des Anwenders mit Zeigegerät in einer durch 4 Lautsprecher erzeugten Tonkulisse; und Fig. 1 is a schematic representation of the user with pointing device in a soundscape generated by 4 speakers; and

Abb. 2 die schematische Darstellung einer Tonkulisse mit Navigationsobjekten und einem Informationsobjekt mit Hyperlink. Fig. 2 shows the schematic representation of a soundscape with navigation objects and an information object with hyperlink.

2.1 Akustische Implementierung in Zeigeverfahrens und Auslösen zugehöriger Prozesse2.1 Acoustic implementation in pointing procedures and triggering associated processes

Die Erfindung nutzt die obigen Verfahren zur Darstellung einer räumlichen Tonkulisse, um ein Zeigeverfahren und das Auslösen von zugehörigen Prozessen zu realisieren.The invention uses the above methods to represent a spatial soundscape to a Realize pointing processes and the triggering of associated processes.

Im nachstehenden Pkt. 2.1.1 wird die Tonkulisse abstrakt diskutiert; 2.1.2 bis 2.1.4 gehen detaillierter auf die Erfindung ein. In section 2.1.1 below, the soundscape is discussed abstractly; 2.1.2 to 2.1.4 go in more detail to the invention.  

2.1.1 Tonkulisse2.1.1 soundscape

Die Erfindung setzt eine Tonkulisse voraus, die räumlich getrennt wahrgenommene - insbesondere nach Richtung aus Sicht des Benutzers getrennt wahrgenommene - Tonobjekte nach 1.1 und 1.2 i. O. enthält. Diese Tonobjekte sind auswählbar (im Gegensatz zu Hintergrundgeräuschen und -musik etc.) und sind funktional der Navigation zugeordnet (2), oder aber der Information (3) in einer Darbietung, oder sie fungieren als akustischer Hyperlink (6) innerhalb eines Informations- Tonobjektes, wobei diese drei Klassen von Objekten unterschiedlich dargeboten und behandelt werden (s. u., Pkt. 2.1.4) und wobei:
The invention requires a soundscape that spatially perceived - especially perceived from the perspective of the user separately - clay objects according to 1.1 and 1.2 i. O. contains. These sound objects can be selected (in contrast to background noises and music etc.) and are functionally assigned to navigation ( 2 ), or to information ( 3 ) in a performance, or they function as an acoustic hyperlink ( 6 ) within an information sound object , whereby these three classes of objects are presented and treated differently (see below, point 2.1.4) and where:

  • a) sie aus einer Gruppe von Unterobjekten bestehen können (sh. Pkt. c) nachstehend). Jedes auswählbare Tonobjekt oder Unterobjekt entspricht dabei einem Prozess, der beispielsweise Soundfiles in einem PC ausliest und wiedergibt, oder als allgemeines Tonsynthese- und Bearbeitungsprogramm für synthetische und natürliche Tonfolgen implementiert ist.a) they can consist of a group of sub-objects (see point c) below). Each selectable sound object or sub-object corresponds to a process that, for example Reads and plays sound files in a PC, or as a general sound synthesis and Editing program for synthetic and natural tone sequences is implemented.
  • b) jedem dieser Objekte bei seiner Erstellung ein Zeitintervall zugeordnet wird, während dessen es dargeboten wird. Es kann zusätzlich eine Rechenvorschrift zugeordnet werden, die unter Kontrolle des Benutzers die Abspielgeschwindigkeit variieren kann. Diese Rechenvorschrift hat dafür Sorge zu tragen, dass die strukturierte Wahrnehmung eines Tonobjektes (Z. B. so, dass die Eigenschaft des gleichzeitigen zeitlichen Anfangs einer Darbietung von Unterobjekten (oder deren gleichzeitiges Ende, usf.) bei Anwendung der Rechenvorschrift invariant bleibt) bei Anpassungen der Abspielgeschwindigkeit erhalten bleibt, z. B. indem eine Anpassung der Abspielgeschwindigkeit sowohl das Objekt als auch seine Unterobjekte in gleichem Masse betrifft.b) each of these objects is assigned a time interval during its creation, during which it is presented. A calculation rule can also be assigned that is under control the user's playback speed can vary. This calculation rule has to take care of that that the structured perception of a sound object (e.g. so that the property of the simultaneous start of a performance of sub-objects (or their simultaneous end, etc.) remains invariant when applying the calculation rule) when adapting the Playback speed is maintained, e.g. B. by adjusting the playback speed affects both the object and its sub-objects to the same extent.
  • c) Tonobjekte können demnach zeitlich nacheinander oder zeitlich überlappend wiedergegeben werden. Die maximale Anzahl der Tonobjekte, die in einer Tonkulisse "gleichzeitig räumlich getrennt dargestellt und dennoch auseinandergehalten werden können (gem. dem bekannten "Cocktail-Party- Effekt") schwankt nach Benutzer und Aufwand bei der Erstellung der Tonkulisse; sie wird noch einmal deutlich herabgesetzt, wenn diese Tonobjekte nur nach ihrer Richtung diskriminiert werden. Ob dieses Maximum wirklich ausgereizt wird, entscheidet die fallweise Anwendung.c) Sound objects can therefore be reproduced sequentially or overlapping in time become. The maximum number of sound objects that are "spatially separated" in a soundscape at the same time can be shown and still kept apart (according to the well-known "cocktail party Effect ") fluctuates according to user and effort when creating the soundscape; it will still once significantly reduced if these clay objects are only discriminated according to their direction. The application on a case-by-case basis determines whether this maximum is really exhausted.
  • d) in Analogie zu einer grafischen Benutzeroberfläche kann
    • - ein Tonobjekt durch seine Bezeichnung in Form einer charakteristischen Ton- und Lautfolge vertreten werden, z. B. durch einen Dateinamen oder durch namensäquivalente Tonfolgen jeder Art, etwa eine dieses Objekt beschreibenden Onomatopeia; insbesondere kann eine Melodie, z. B. als MIDI-File, ein Musikobjekt bezeichnen.
    • - mit einem einfachen Befehl ein Tonobjekt in der Tonkulisse durch seine Bezeichnung ersetzt werden und umgekehrt.
    d) in analogy to a graphical user interface
    • - A clay object is represented by its name in the form of a characteristic tone and sound sequence, e.g. B. by a file name or by name-equivalent tone sequences of any kind, such as an onomatopeia describing this object; in particular, a melody, e.g. B. as a MIDI file, a music object.
    • - With a simple command, a sound object in the soundscape can be replaced by its name and vice versa.
  • e) in dieser Tonkulisse und bezogen auf ihre akustische Umgebung können einzelne Tonobjekte akustisch hervorgehoben sein: dazu nutzt die Erfindung bevorzugt Verfahren die es gestatten, das Objekt aus einer Anzahl gleichzeitig dargebotener Tonobjekte besser herauszuhören, nicht nur z. B. nach seiner Richtung sondern auch gegenüber den anderen Tonobjekten, die es umgeben, oder in seinem zeitlichen Verhalten, oder indem es inhaltlich verändert wird. Die Hervorhebung kann z. B. nach den in Pkt. 1.3 aufgelisteten Massnahmen erfolgen. Z. B. können akustische Hypertext-Links, oder Elemente der bevorzugten Route in einer versprachlichten Strassenkarte, in dieser Weise dargeboten werden.e) in this soundscape and in relation to their acoustic environment, individual sound objects can be acoustically highlighted: for this, the invention preferably uses methods that allow the Better to hear an object from a number of simultaneously presented sound objects, not just e.g. B. in its direction but also in relation to the other clay objects that surround it, or in its temporal behavior, or by changing its content. The highlighting can e.g. B. according to the measures listed in section 1.3. For example, acoustic hypertext links, or elements of the preferred route in a promised road map, in this way are presented.

Diese akustische Hervorhebung eines einzelnen Tonobjektes erfolgt durch
This acoustic highlighting of a single sound object is done by

  • - den Produzenten der Tonkulisse - etwa der Verleger einer akustischen Strassenkarte- the producers of the soundscape - for example the publisher of an acoustic road map
  • - von einem automatisch ablaufenden Programm, etwa einem automatischen Routenplaner- from an automatically running program, such as an automatic route planner
  • - als einfache Transaktion auf Benutzerebene, im Rahmen eines Zeigeverfahrens.- As a simple transaction at the user level, as part of a pointing process.

Abb. 1 und 2 zeigen eine räumlich wahrgenommene Tonkulisse die durch mehrere Lautsprecher (0) erzeugt wird. Diese Lautsprecher bilden ein für den Benutzer starres Bezugssystem, auf das die räumliche Tondarstellung aufsetzen kann. Die Tonkulisse beinhaltet dabei Informationselemente (3), z. B. gesprochene Zeitungsartikel oder Musikstücke die, wie in Abb. 2 gezeigt, bei Bedarf durch räumlich dazu gestellte Navigationselemente (2) ergänzt werden können, welche z. B. die Versprachlichung von Unterpunkten eines Computermenüs mittels text-to-speech beinhalten können, wobei die jeweiligen Elemente parallel dargeboten werden (in Abb. 2 sind das die Befehle OPEN, CLOSE, DELETE, APPEND, DUPLICATE). Fig. 1 and 2 show a spatially perceived soundscape that is generated by several speakers (0). These loudspeakers form a reference system that is rigid for the user, on which the spatial sound representation can be based. The soundscape contains information elements ( 3 ), e.g. B. spoken newspaper articles or pieces of music which, as shown in Fig. 2, can be supplemented if necessary by spatially provided navigation elements ( 2 ), which, for. B. can include the verbalization of sub-items of a computer menu by means of text-to-speech, the respective elements being presented in parallel (in Fig. 2 these are the commands OPEN, CLOSE, DELETE, APPEND, DUPLICATE).

2.1.2 Zeige- und Auswahlverfahren2.1.2 Pointing and selection procedure

Nach dem erfindungsgemässen Verfahren zur Objektauswahl und/oder zum Auslösen eines Prozesses wird ein Zeigegerät (1, 5) oder -verfahren verwendet, welches vorzugsweise genau ein Tonobjekt in der Tonkulisse auswählt, zum Beispiel indem die Auswertung der von einem physischen Zeigegerät abgeleiteten und vom Benutzer aus in die Tonkulisse zeigenden Richtung eines imaginären Zeigers bewirkt, dass per Rechenvorschrift ein in dieser Richtung liegendes oder ein dieser Richtung nächstliegendes oder ein aus mehreren dieser Richtung nächstliegenden Tonobjekten ausgewähltes Tonobjekt (4) in der Tonkulisse ausgewählt und dieses Tonobjekt hierdurch akustisch hervorgehoben wird. Es bleiben also dabei die übrigen Tonobjekte (2, 3) der Tonkulisse unverändert.According to the method according to the invention for object selection and / or for triggering a process, a pointing device ( 1 , 5 ) or method is used, which preferably selects exactly one sound object in the soundscape, for example by evaluating those derived from a physical pointing device and by the user From the direction of an imaginary pointer pointing into the soundscape, a sound object ( 4 ) lying in this direction or one closest to this direction or a sound object ( 4 ) selected from several sound objects closest to this direction is selected in the soundscape by means of a calculation rule and this sound object is thereby acoustically emphasized. The other sound objects ( 2 , 3 ) of the soundscape remain unchanged.

Diese Rechenvorschrift betrifft die Berechnung des Winkels α zwischen der durch den imaginären Zeiger vorgegebenen Richtung und der bei Erstellung vorgegebenen Richtung der einzelnen Tonobjekte in der Tonkulisse, ferner eine (ggf. mit einem Zufallsgenerator vorgenommene) Auswahl zwischen mehreren Tonobjekten für den Fall, dass bei einer gegebenen Richtung des imaginären Zeigers mehrere Tonobjekte dazu den gleichen Winkel α aufweisen.This calculation rule relates to the calculation of the angle α between that through the imaginary Pointer given direction and the direction of the individual given when created Sound objects in the soundscape, as well as a selection (possibly made with a random generator) between several sound objects in the event that for a given direction of the imaginary To this end, several clay objects have the same angle α.

Das erfindungsgemässe Zeigeverfahren wird nun anhand eines bevorzugten, auf der Richtung des Zeigers basierenden Auswahlprozesses diskutiert:
The pointing method according to the invention is now discussed on the basis of a preferred selection process based on the direction of the pointer:

  • a) das zur Auswahl eines Tonobjektes führende Verfahren manifestiert sich für den Benutzer nur dadurch, dass ein Tonobjekt in der Tonkulisse akustisch hervorgehoben wird, und nicht etwa - gem. dem obigen Beispiel - durch die Anzeige eines oder mehrerer Winkel; auch nicht durch einen dem Zeigeverfahren oder -gerät zugeordneten hörbaren Cursor nach dem Stand der Technik.a) the process leading to the selection of a sound object only manifests for the user in that a sound object is acoustically highlighted in the soundscape, and not - according to. the example above - by displaying one or more angles; not even by one State-of-the-art audible cursor associated with pointing method or device.
  • b) Zeigegeräte in diesem Sinne sind insbesondere Joysticks, oder Tasten; Zeigeverfahren beinhalten z. B. die Erkennung einer natürlich gesprochenen Richtungsangabe oder die Vermessung einer Gestik des Benutzers mittels zu einem anderen Zweck vorhandenen Geräts, z. B. dem Richtungs-, Positions- oder Bewegungsmesser an einem Surround-Sound-Kopfhörer, indem die entsprechenden Messungen (durch Umschaltung) nicht mehr zur Nachführung der Tonkulisse, sondern als Richtungsinformation für den imaginären Zeiger interpretiert werden.b) pointing devices in this sense are in particular joysticks or buttons; Pointing procedures include e.g. B. the Detection of a naturally spoken direction or the Measuring a gesture of the user using a device available for another purpose, e.g. B. the direction, position or motion sensor on a surround sound headphone by pressing the corresponding measurements (by switching) no longer for tracking the soundscape, but interpreted as direction information for the imaginary pointer.
  • c) in Sonderfällen können in einer Tonkulisse mehrere Objekte auf einmal (z. B. nach Art eines Pull- Down Menüs und dann sukzessive) ausgewählt werden. Damit lassen sich z. B. verschiedene Tonobjekte miteinander gruppieren, räumlich zusammenschieben usf., wie das z. B. - im visuellen GUI-Bereich - von Konstruktionsprogrammen bekannt.c) In special cases, several objects can be set at once in a soundscape (e.g. in the manner of a pull Down menus and then successively) can be selected. This allows z. B. different Group sound objects together, spatially push them together, etc. B. - in the visual GUI area - known from construction programs.
  • d) bei auf die reine Richtung eines Tonobjektes eingegrenzten Zeigeverfahren muss entweder der Produzent der Tonkulisse dafür Sorge tragen, dass pro Richtung nur ein auswählbares Tonobjekt in der Tonkulisse vorkommt; oder der Anwender muss aus hintereinander liegenden Tonobjekten durch weitere Befehle auswählen können.d) in the case of pointing methods limited to the pure direction of a sound object, either the Producer of the soundscape ensure that there is only one selectable sound object in each direction the soundscape occurs; or the user has to pass through clay objects lying one behind the other can select further commands.
  • e) die Vorgabe einer Richtung kann z. B. in zwei oder mehr Modi geschehen: einen Modus für eine grobe Richtungsbestimmung und weitere Modi für Feineinstellungen, welche auf die zuletzt bestimmte Richtung aufsetzen. Dieses Vorgehen wird dadurch ermöglicht, dass auch eine ungenaue Richtungsbestimmung im ersteren Modus immer ein Tonobjekt selektiert, also eine genaue Richtung bestimmt, sodass das Zeigegerät in weitere Modi versetzt werden kann, welche eine inkrementelle Änderung dieser ersten Richtung ermöglichen.e) the specification of a direction z. B. happen in two or more modes: one mode for one rough direction determination and other modes for fine adjustments, which on the last  set a certain direction. This procedure is made possible by the fact that an inaccurate Direction determination in the former mode always selected a sound object, i.e. an exact direction determined so that the pointing device can be set to other modes, which is an incremental Allow change of this first direction.
Vorteile gegenüber dem Stand der TechnikAdvantages over the state of the art

  • a) die Beschränkung auf die Richtung als Auswahlkriterium für ein Tonobjekt verringert den Rechenaufwand, und macht das Verfahren insgesamt robuster, indem immer ein Tonobjekt ausgewählt wird, und nicht etwa in einer möglicherweise kritischen Tonkulisse die Position eines akustischen Cursors herausgehört und dessen Lage mit der des Zielobjektes verglichen werden mussa) the restriction to the direction as a selection criterion for a sound object reduces the Computational effort, and makes the process more robust overall by always having a clay object is selected, and not the position of a in a potentially critical soundscape heard acoustic cursor and its position must be compared with that of the target object
  • b) die Tonobjekte können bei Verzicht auf einen nach seiner Richtung hörbaren Cursor enger gesetzt werden. Ferner wird die Feineinstellung der Richtung, gem. e) im Obigen, aus der Sicht des Anwenders einfacherb) the sound objects can be narrowed if there is no cursor that is audible in its direction become. Furthermore, the fine adjustment of the direction acc. e) in the above, from the point of view of User easier
  • c) da normalerweise genau ein Tonobjekt ausgewählt wird, reagiert die Kombination aus System und Benutzer in berechenbarer Weise auf Fehler (Insbesondere für Zeigeverfahren mit Spracheingabe sind Situationen bekannt, in denen Fehler und/oder Missverständnisse sich aufschaukeln.) Damit wird auch die Navigation und/oder die Orientierung für den Anwender einfacher.c) since exactly one sound object is normally selected, the combination of system reacts and users in a predictable way for errors (in particular for pointing methods with voice input, situations are known in which errors and / or Misunderstandings will build up.) This will also increase navigation and / or Orientation easier for the user.

Diese Vorteile sind besonders wichtig, wenn der Anwender nebenbei ein Fahrzeug steuern soll.These advantages are particularly important if the user is to control a vehicle on the side.

2.1.3 Auslösen von Prozessen2.1.3 Triggering processes

Während der Darbietung eines ausgewählten und akustisch hervorgehobenen Tonobjektes, und noch für einen benutzerdefinierten Zeitraum danach, kann ein zu diesem Objekt gehöriger Befehl eingegeben werden. Insbesondere kann die Darbietung dieses Tonobjektes durch einen speziellen Befehl ganz oder teilweise wiederholt werden, um einen beliebigen anderen Befehl einzugeben.During the performance of a selected and acoustically highlighted sound object, and still for a custom period after that, a command associated with that object can be can be entered. In particular, the performance of this sound object can be performed by a special Repeat command in whole or in part to enter any other command.

Dieser Befehl kann z. B. per Taste oder Mausklick, per Spracheingabe oder durch eine gem. 2.1.2 gemessene, bestimmte Gestik des Benutzers eingegeben werden, wobei diese Massnahmen beliebig kombiniert werden können. Dadurch, dass die Erfindung auf ein Richtungs-Zeigeverfahren abhebt, ist es auch hier z. B. möglich, zur Befehlserkennung Einrichtungen mit zu nutzen, die aus einem anderen Grund bereits vorhanden sind, etwa die Positionsmesseinrichtung an einem für Surround- Sound ausgelegten Kopfhörer, indem die entsprechenden Messungen (nach Umschaltung) nicht mehr zur Nachführung der Tonkulisse, sondern als Befehle interpretiert werden.This command can e.g. B. by key or mouse click, by voice input or by a gem. 2.1.2 measured, specific gestures of the user can be entered, these measures being arbitrary can be combined. Because the invention is based on a directional pointing method, is it here too? B. possible to use for command detection facilities with a  other reason already exists, such as the position measuring device on a surround Sound designed headphones by taking the appropriate measurements (after switching) no longer to track the soundscape, but to be interpreted as commands.

Der obige Befehl kann einen beliebigen Prozess auslösen; insbesondere - bei Prozessen, die akustischen Hyperlinks zugeordnet sind - einen Sprung in eine ganz andere Darbietung.The above command can trigger any process; especially - in processes that are associated with acoustic hyperlinks - a jump into a completely different performance.

2.1.4 Unterschiedliche Darstellung und Abarbeitung von Tonobjekten2.1.4 Different representation and processing of clay objects

Die drei Kategorien in 2.1.1 angesprochenen Arten von Tonobjekten werden verschieden dargestellt und verwaltet:
The three categories of sound objects mentioned in 2.1.1 are represented and managed differently:

  • - Navigations-Tonobjekte sind nur während eines Navigationsvorganges aktiv und werden bei Bedarf, z. B. beim ersten Aufrufen der Tonkulisse oder per entsprechendem Befehl in die Tonkulisse gestellt, und können auch per Befehl wieder ausgeschaltet bzw. durch ein einziges Tonobjekt ersetzt werden. Sie sind in Gruppen gegliedert, und werden jeweils in einer Schleife für ein vorbestimmes Zeitintervall dargeboten, bis ein Objekt in der Gruppe selektiert wurde, wodurch entweder eine weitere solche Gruppe angezeigt wird, oder ein Befehl gegeben wird, der die Navigations-Tonobjekte ausschaltet. Dieser Befehl wird ferner intern und automatisch gegeben, wenn während eines vorbestimmten Zeitintervalls keine neue Auswahl erfolgt.- Navigation sound objects are only active during a navigation process and are activated at Need, e.g. B. when you first call up the soundscape or with a corresponding command in the Sound set, and can also be switched off by command or by a single Clay object to be replaced. They are divided into groups, and are each in a loop for a predetermined time interval until an object in the group is selected, whereby either another such group is displayed, or a command is given to the Turns off navigation sound objects. This command is also given internally and automatically, if no new selection is made during a predetermined time interval.
  • - Informations-Tonobjekte werden normalerweise bis zu ihrem Ende abgearbeitet, es sei denn, der Benutzer löst durch Auswahl eines akustischen Hyperlinks eine Verzweigung in der Darbietung aus, oder er gibt den Befehl zu einer Wiederholung.- Informational sound objects are usually processed to the end, unless the By selecting an acoustic hyperlink, the user triggers a branch in the performance or he gives the command to repeat.
  • - Akustische Hyperlinks sind Teile eines Informations-Tonobjekts, die akustisch besonders hervorgehoben sind, wenn das Informations-Tonobjekt, zu dem sie gehören, ausgewählt wurde und für die dann gem. 2.1.3 ein Befehl eingegeben werden kann.- Acoustic hyperlinks are parts of an informational sound object that are acoustically special are highlighted when the information sound object to which they belong has been selected and then according to 2.1.3 a command can be entered.
2.2 Bevorzugte Anwendungsbeispiele2.2 Preferred application examples

Es folgt die kurze Diskussion zweier Anwendungsbeispiele für Selbstfahrer, wobei die Tondarbietung über zwei oder mehr Lautsprecher erfolgt:
The following is a brief discussion of two application examples for self-drivers, the sound presentation being carried out via two or more loudspeakers:

  • - Auto-Navigationssysteme ("Navigation" ist in diesem besonderen Abschnitt rein geografisch zu verstehen und nicht, wie im Glossar unter G. 2 dargelegt) sind derzeit überwiegend grafisch implementiert: man zeigt die Position des Autos an, etwa auf einem einer Strassenkarte sehr ähnlichen Plan, wobei die Gestalter sich offensichtlich Mühe geben, die visuelle Inanspruchnahme des Autofahrers möglichst gering zu halten. In einem weitergehenden Ansatz würde man während der Fahrt auf das grafische Display ganz verzichten (z. B. dieses ausschalten) und der Benutzer würde die aktuelle Position als eine Tonkulisse dargeboten bekommen, welche einerseits Informationsobjekte in einem geografischen Sinne, andererseits fallweise, wie im Obigen dargelegt, Steuerungselemente und Hyperlinks beinhalten würde, und die vollständig oder teilweise durch Zeigen im Sinne dieser Schrift bedienbar wäre.- Car navigation systems ("Navigation" in this particular section is to be understood purely geographically and not, as in the glossary below G. 2 set out) are currently mainly implemented graphically: one shows the Position of the car, for example on a map very similar to a road map, with the designer obviously make an effort to minimize the visual demands on the driver to keep. In a more extensive approach, one would go to the graphical while driving Dispense with the display altogether (e.g. switch it off) and the user would view the current position as get a soundscape, which on the one hand contains information objects in one geographical sense, on the other hand, as described in the above, control elements and Hyperlinks would include, and the whole or part by pointing in the sense of this Font would be usable.
  • - Nutzung von akustisch dargebotenen allgemeinen Informationsangeboten, insbesondere Sprache und Musik:- Use of acoustically presented general information, especially language and music:
  • - gesprochener Text aus einer elektronischen Auto-Zeitung, welchen der Benutzer z. B. als von hinten kommend wahrnimmt, wobei - ebenso z. B. - die Börsenkurse synthetisch und der Leitartikel natürlich gesprochen sind; und wobei er die zuschaltbaren Navigations- Tonobjekte z. B. als von vorne kommend (d. h. aus der allgemeinen Richtung des Armaturenbrettes) wahrnehmen und nutzen würde- Spoken text from an electronic car newspaper, which the user z. B. as perceives coming from behind, whereby - also z. B. - Synthetic and stock market prices the editorial is spoken naturally; and whereby the switchable navigation Clay objects z. B. coming from the front (i.e. from the general direction of the Dashboards) would perceive and use
  • - Musik oder Hörspiele, welche die räumlich-akustische Steuerung zur Auswahl von Musikstücken und/oder Interaktion nutzen. Insbesondere kann der Benutzer im Rahmen eines Music-on-Demand Systems, welches auf lokal (im Auto) gespeicherte und/oder per Radio empfangene Daten zugreift, Musikstücke mit dem vorstehend diskutierten Verfahren auswählen. Diese Musikstücke können dabei direkt abgespielt werden, oder es wird gem. 2.1.1 d) ein Tonobjekt in die Tonkulisse gesetzt, welches das Musikstück bezeichnet.- Music or radio plays, which the spatial-acoustic control to choose from Use pieces of music and / or interaction. In particular, the user can a music-on-demand system, which is stored locally (in the car) and / or via Radio received data accesses music pieces with the one discussed above Select procedure. These pieces of music can be played directly or it is acc. 2.1.1 d) a sound object placed in the soundscape, which is the piece of music designated.

In diesen beiden Fällen kann die Vorplanung (Auswahl einer Reiseroute; oder Festlegung der gewünschten Rubriken oder Musikkategorien, Anpassung der Benutzeroberfläche usf.) bei stehendem Auto vorgenommen werden und folglich grafische Hilfsmittel nutzen; während des Fahrens kann die Interaktion mit - im Rahmen der Erfindung - verbesserten akustischen Verfahren erfolgen.In these two cases, pre-planning (choosing an itinerary; or setting the desired rubrics or music categories, adaptation of the user interface, etc.) while standing Be made by car and consequently use graphic aids; while driving, the Interaction with - within the scope of the invention - improved acoustic methods.

Weitere Beispiele beinhalten eine Tondarbietung per Kopfhörer:
Other examples include headphone sound:

  • - Nutzung eines interaktiven Audio-Angebotes in der Bahn oder im Flugzeug: hier ist ein akustischer Navigator seinem visuellen Gegenpart nicht etwa aus Sicherheits- sondern aus Kosten- und Diskretionsgründen vorzuziehen.- Use of an interactive audio offer on the train or plane: here is one acoustic navigator its visual counterpart not from security but from Preferential for reasons of cost and discretion.
  • - Nutzung eines interaktiven akustischen Interfaces in bestimmten mobilen Situationen (z. B. als "interaktiver Walkman"): aus Kosten-, Platz- und Handhabungsgründen.- Use of an interactive acoustic interface in certain mobile situations (e.g. as "Interactive Walkman"): for reasons of cost, space and handling.
3. Beispielhafte Ausführung des Verfahrens3. Exemplary execution of the method

Zur Ausführung und Fortentwicklung des Verfahrens steht eine Standardplattform - der Windows-PC - als fixes und mobiles Gerät zur Verfügung. Zusätzlich werden zwei weitere Plattformen beschrieben.A standard platform is available for executing and developing the process - the Windows PC - available as a fixed and mobile device. In addition, two other platforms described.

3.1 Standard-PCs3.1 Standard PCs

Die Tonkulisse wird hier nach dem Stand der Technik mit Soundkarten erstellt, welche es gestatten, Tonobjekte aus natürlichen und synthetischen Tonquellen zusammenzustellen und diese so wiederzugeben, dass sie ggf. räumlich positionierbar erscheinen. Dabei können einzelne Tonobjekte unter Verwendung von Sprach- und Musiksynthese produziert werden. Als Richtungsgeber und Prozessauslöser bedient man sich bevorzugt eines handelsüblichen Joysticks oder Trackballs. Hierfür gibt es Standard-Applikationsbibliotheken, welche in Anwendungsprogramme eingebunden werden, sodass z. B. das Modell für eine Zeitung, welche in einem Auto wahlweise per GUI oder per akustischer Benutzeroberfläche bedienbar ist, vollständig realisiert werden kann.The soundscape is created here according to the state of the art with sound cards, which allow Compile clay objects from natural and synthetic clay sources and so on reproduce that they may appear to be spatially positionable. Individual clay objects are produced using speech and music synthesis. As a guide and Process triggers are preferably used with a commercially available joystick or trackball. There are standard application libraries for this, which are integrated in application programs be so that e.g. B. the model for a newspaper, which in a car either via GUI or via acoustic user interface is operable, can be fully realized.

3.2 Autoradios und andere portable Terminals3.2 Car radios and other portable terminals

Der Stand der Technik realisiert gegenwärtig vollständige PCs mit Soundfunktionen auf einem einzelnen Chip, sodass man nicht nur entsprechende Funktionalität in einem Autoradio realisieren, sondern auch die nach obigem Vorgehen erstellte Software grösstenteils wiederverwenden kann. Das Autoradio ist für die hier diskutierten Zeigeprozesse eine reizvolle Plattform:
The prior art currently realizes complete PCs with sound functions on a single chip, so that not only can the corresponding functionality be implemented in a car radio, but the software created according to the above procedure can also be largely reused. The car radio is an attractive platform for the pointing processes discussed here:

  • - im Auto steht relativ viel Strom zur Verfügung, etwa um einen One-Chip-PC zeitlich fast unbegrenzt zu betreiben- There is a relatively large amount of electricity available in the car, for example, for a one-chip PC to operate indefinitely
  • - es mutiert derzeit - u. a. unter dem Stichwort PC-Radio, evtl. mit GSM-Telefon und GPS- Positionsmesser - zu einer interaktiven Plattform für Telefonie- und PC-Anwendungen, welche das empfangene Informationsangebot ergänzen- it is currently mutating - u. a. under the keyword PC radio, possibly with a GSM telephone and GPS Position sensor - an interactive platform for telephony and PC applications, which Supplement received information offer
  • - ganz allgemein wird zunehmend die Sprachsynthese zur Steuerung von (noch) nicht sicherheitskritischen Funktionen konzentriert, insbesondere zur Anzeige und Verwaltung von Informationen; die Erfindung kann diese Verfahren vielfach ergänzen und absichern- Generally speaking, speech synthesis for controlling is not (yet) increasing security-critical functions, especially for the display and management of Information; the invention can complement and secure these methods in many ways
  • - zusätzliche Systeme - etwa eine auf den Fahrer gerichteten Videokamera, zur Verbesserung der Sprachsynthese und noch aus anderen Gründen - lassen sich ggf. zur Auswertung einer Gestik im Sinne der vorstehenden Punkte 2.2.2 und 2.2.3 einsetzen- Additional systems - such as a video camera aimed at the driver, to improve speech synthesis and for other reasons - can be used to evaluate gestures in the sense of points 2.2.2 and 2.2.3 above
3.3 Surround-Sound Walkman mit Radio3.3 Surround sound Walkman with radio

Als weitere Plattform bieten sich einerseits handelsübliche Kopfhörer-Hifi-Systeme mit Surround- Sound Funktionalität an, andererseits PCs mit Kopfhörern die für den räumlichen Ton von Computerspielen ausgelegt sind. In beiden Fällen kann man das Positionsmesssystem, unabhängig von seiner Implementierung (z. B. als Beschleunigungssensor, als elektronischer Kompass usf.) zusätzlich zum Zeigen und zum Auslösen von Befehlen einsetzen. Die Miniaturisierung solcher Systeme in einer Art PC-Walkman führt dann zu Anwendungen, welche die Gestik-Steuerung erst richtig reizvoll machen. On the one hand, a further platform offers commercially available headphone hifi systems with surround Sound functionality, on the other hand PCs with headphones for the spatial sound of Computer games are designed. In both cases you can use the position measuring system, regardless of its implementation (e.g. as an acceleration sensor, as an electronic compass, etc.) use for pointing and triggering commands. The miniaturization of such systems in a kind of PC Walkman then leads to applications that make gesture control really appealing do.  

G. 1 Information bezeichnet Daten, die akustisch darstellbar oder referenzierbar sind, inklusive synthetische und natürliche Sprache, Geräusche, Musik, usf.G. 1 Information refers to data that can be presented acoustically or referenced, inclusive synthetic and natural language, sounds, music, etc.

G. 2 Navigation bezeichnet in dieser Schrift die Nutzung von Befehlen im Terminal, sofern diese der Auffindung, Anzeige und Verwaltung der Information dienen. "Navigation" subsumiert hier folglich auch Betriebssystem-FunktionenG. 2 Navigation in this document refers to the use of commands in the terminal, if these serve to find, display and manage the information. "Navigation" subsumes here consequently also operating system functions

G. 3 ein imaginärer Zeiger bezeichnet eine vom Benutzer ausgehende Richtung entsprechend (7). Diese Richtung kann von einer beliebigen Vorrichtung vorgegeben werden und sie muss weder physisch manifestiert sein (z. B. durch einen Lichtstrahl, Kimme/Korn Anordnung) noch muss der Benutzer sie direkt wahrnehmen, genau kennen oder bestimmen. Sondern es dient diese Richtung dazu, per Rechenvorschrift aus einer endlichen Menge auswählbaren Tonelemente genau eines auszuwählen und hervorzuheben (4), also aus der endlichen Menge aller durch die aktuell auswählbaren Tonobjekte bestimmten Richtungen jeweils eine zu wählen. Die Auswahl dieses Tonobjektes bewirkt automatisch dessen akustische Hervorhebung, sie zeigt also dem Benutzer das Ergebnis der Rechenvorschrift an und erst ab diesem Augenblick kann der Benutzer dem imaginären Zeiger eine Richtung zuordnenG. 3 an imaginary pointer designates a direction emanating from the user ( 7 ). This direction can be predetermined by any device and it does not have to be physically manifested (e.g. by a light beam, rear sight / grain arrangement) nor does the user have to perceive, know or determine it directly. Rather, this direction serves to select and emphasize exactly one from a finite set of selectable sound elements ( 4 ), that is to say to select one from the finite set of all directions determined by the currently selectable sound objects. The selection of this sound object automatically causes it to be highlighted acoustically, ie it shows the user the result of the calculation and only then can the user assign a direction to the imaginary pointer

G. 4 die Rechenvorschrift im Sinne von G. 3 wertet z. B. den Abstand zwischen der physisch vom Zeigegerät vorgegebenen Richtung (z. B. Azimutal- und/oder Polarwinkel) und der gespeicherten, den Tonobjekten zugeordneten Richtung aus, und selektiert das Tonobjekt, bei dem diese beiden Richtungen identisch sind, oder am wenigsten voneinander abweichen; in Sonderfällen selektiert die Rechenvorschrift nur ein einziges Tonobjekt aus einer Menge von Tonobjekten, die dem imaginären Zeiger gleich nahe liegen.G. 4 evaluates the calculation rule within the meaning of G. 3. B. the distance between the physical from Pointing device predetermined direction (z. B. azimuthal and / or polar angle) and the saved, the Direction assigned to clay objects, and selects the clay object at which these two Directions are identical, or differ least from each other; in special cases the Arithmetic rule just a single clay object from a set of clay objects that the imaginary Pointers are close at hand.

G. 5 Zeigegerät im Sinne dieser Schrift ist jedes Gerät, aus dem sich eine quantitative Richtung ableiten lässt, also z. B. ein Joystick oder eine sog. "Windrosentaste" oder die i. O. diskutierten, an einem Kopfhörer angebrachten Sensoren.G. 5 pointing device in the sense of this document is any device from which a quantitative direction can be derived, e.g. B. a joystick or a so-called "wind rose button" or the i. Discussed above sensors attached to headphones.

G. 6 Tonkulisse: enthält eine endliche Menge von Tonobjekten, die von normal hörenden Benutzern räumlich getrennt wahrgenommen werden können. Ein Tonobjekt ist einerseits durch seine Semantik definiert ("der aktuell vorgelesene Artikel" oder "die Bläser im Orchester"), andererseits dadurch, das es auswählbar sein kann - also vom Benutzer aus gesehen von einer bestimmten Stelle des Raumes kommt. Tonobjekte entsprechen den aus dem Computerbereich bekannten Software- Objekten insofern, als sie von einem Computerprogramm erzeugt werden können, das natürliche und synthetische Töne aufnimmt/bearbeitet/wiedergibt; und sie von einem solchen Programm in einer Tonkulisse positioniert werden können.G. 6 soundscape: contains a finite number of sound objects by normal hearing Users can be perceived separately. On the one hand, a clay object is characterized by its  Semantics defined ("the article currently read aloud" or "the wind instruments in the orchestra"), on the other hand the fact that it can be selected - that is, seen from the user from a certain point of the room is coming. Sound objects correspond to the software known from the computer area Objects insofar as they can be generated by a computer program that is natural and records / processes / reproduces synthetic sounds; and they from such a program in one Soundscape can be positioned.

G. 7 räumlich dargeboten ist ein Tonobjekt, wenn es vom Benutzer einem bestimmten Bereich des Raumes - hier einem bestimmten Raumwinkel aus Sicht des Benutzers - zugeordnet wird. Diese Zuordnung kann von einem Benutzer zum nächsten abweichen, und sie kann auch unscharf sein, sodass man in einer praktisch realisierbaren Tonkulisse nur wenige Elemente positionieren kann. Sie ist normalerweise eindeutig, d. h. die Tonkulisse wird so ausgelegt, dass jeder räumlichen Winkelposition (nach polarem und azimutalen Winkel bestimmt) nur ein Tonobjekt zugeordnet istG. 7 is spatially presented a sound object when it is used by the user in a certain area of the Room - here a certain solid angle from the user's perspective - is assigned. This Mapping can vary from one user to the next, and it can also be out of focus, so that you can position only a few elements in a practically feasible soundscape. she is usually unique, i. H. the soundscape is designed so that every spatial Angular position (determined by polar and azimuthal angle) is assigned only one sound object

G. 8 Soundfile: eine Computer-Datei, die einem Tonelement oder Teilen von, oder einer ganzen Tonkulisse entspricht. Z. B. kann man eine Soundfile mittels eines Sound-Boards erzeugen, welches natürliche Töne digitalisiert und die Erzeugung synthetischer Töne unterstütztG. 8 Soundfile: a computer file containing a sound element or parts of, or an entire Soundscape corresponds. For example, you can create a sound file using a sound board, which Digitizes natural tones and supports the generation of synthetic tones

G. 9 Sprachsynthese-Programme erzeugen aufgrund eines formalen (z. B. auf Phonemen) basierenden Sprachmodells aus elektronischem Text ein Sprachsignal. Die Erzeugung wirklich natürlich klingender Sprache ist dabei nach dem Stand der Technik noch nicht möglich, u. a. weil diese u. U. ein semantisches Verständnis des Gesprochenen voraussetzt, die synthetische Spracherzeugung reicht aber in vielen Fällen aus und ist in Situationen, in denen Fehler vermieden werden müssen (Ansage von Börsenkursen etc.) sogar vorzuziehenG. 9 generate speech synthesis programs based on a formal (e.g. on phonemes) based speech model from electronic text a speech signal. The generation really natural sounding language is not yet possible according to the prior art, u. a. because this u. U. requires a semantic understanding of what is spoken, the synthetic However, language generation is sufficient in many cases and is in situations where mistakes are avoided even have to be preferred (announcement of stock exchange prices etc.)

Claims (26)

1. Verfahren zur Auswahl von Tonobjekten in einer Tonkulisse, in der die Tonobjekte akustisch so dargestellt werden, dass sie aus unterschiedlichen Richtungen zu kommen scheinen, und/oder zur Auslösung von den Tonobjekten zugeordneten Prozessen, wobei die Tonobjekte einer Benutzeroberfläche und/oder einer Information zugeordnet sind und wobei die Auswahl und/oder Auslösung mittels eines Zeigegerätes oder eines Zeigeverfahrens geschieht, dadurch gekennzeichnet
dass durch das Zeigegerät (1, 5) oder -verfahren die Richtung eines imaginären Zeigers (7) vorgegeben wird,
dass durch den imaginären Zeiger (7) mindestens ein Tonobjekt (4) ausgewählt wird
und dass ausgewählte Tonobjekte (4) in der Tonkulisse akustisch hervorgehoben dargestellt werden.1. A method for selecting sound objects in a sound setting, in which the sound objects are acoustically displayed in such a way that they appear to come from different directions, and / or for triggering processes associated with the sound objects, the sound objects being a user interface and / or information are assigned and wherein the selection and / or triggering takes place by means of a pointing device or a pointing method, characterized
that the direction of an imaginary pointer ( 7 ) is predetermined by the pointing device ( 1 , 5 ) or method,
that at least one sound object ( 4 ) is selected by the imaginary pointer ( 7 )
and that selected sound objects ( 4 ) are acoustically highlighted in the soundscape. 2. Verfahren nach Patentanspruch 1, dadurch gekennzeichnet, dass mehrere Tonobjekte (4) ausgewählt werden, durch mehrfaches Zeigen in die Tonkulisse in Kombination mit einem speziellen Befehl.2. The method according to claim 1, characterized in that a plurality of sound objects ( 4 ) are selected by multiple pointing into the soundscape in combination with a special command. 3. Verfahren nach Patentanspruch 1 oder 2, dadurch gekennzeichnet, dass die Tonobjekte (4) zeitlich nacheinander oder zeitlich überlappend akustisch dargestellt werden.3. The method according to claim 1 or 2, characterized in that the sound objects ( 4 ) are shown acoustically one after the other or overlapping in time. 4. Verfahren nach einem der Patentansprüche 1 bis 3, dadurch gekennzeichnet, dass die Tonobjekte (4) Informations- oder Navigationsfunktionen erfüllen.4. The method according to any one of claims 1 to 3, characterized in that the sound objects ( 4 ) fulfill information or navigation functions. 5. Verfahren nach einem der Patentansprüche 1 bis 4, dadurch gekennzeichnet, dass ein Tonobjekt (4) durch Kombination von Unterobjekten entsteht, welche jeweils Sprache und/oder Musik und/oder andere Lautfolgen beinhalten; wobei jedem Tonobjekt oder Unterobjekt ein zeitliches Intervall zugeordnet ist, während dessen es dargeboten werden soll, und wobei die Abspielgeschwindigkeit des Tonobjektes entsprechend variiert werden kann.5. The method according to any one of claims 1 to 4, characterized in that a sound object ( 4 ) is created by combining sub-objects, each containing language and / or music and / or other sound sequences; wherein each sound object or sub-object is assigned a time interval during which it is to be presented, and the playback speed of the sound object can be varied accordingly. 6. Verfahren nach einem der Patentansprüche 1 bis 5, dadurch gekennzeichnet, dass ein ausgewähltes Tonobjekt oder Unterobjekt akustisch hervorgehoben wird, indem es in der Tonkulisse seine virtuelle Position ändert, oder inhaltlich verändert wird, oder in seiner Wiedergabe eine Veränderung der Lautstärke, Stimmlage, Klangfarbe, Abspielgeschwindigkeit oder Verhallung erfährt, oder indem ein anderes Tonobjekt an der Position des hervorzuhebenden Tonobjektes oder Unterobjektes hinzugefügt wird, oder durch Kombination dieser Massnahmen.6. The method according to any one of claims 1 to 5, characterized in that a selected sound object or sub-object is highlighted acoustically by being in the soundscape its virtual position changes, or its content is changed, or one is reproduced  Change in volume, pitch, timbre, playback speed or reverberation experiences, or by another clay object at the position of the clay object to be emphasized or Sub-object is added, or by combining these measures. 7. Verfahren nach einem der Patentansprüche 1 bis 6, dadurch gekennzeichnet, dass vom Benutzer aus gesehen, ein in der vom Zeigegerät (1, 5) oder -verfahren vorgegebenen Richtung liegendes Tonobjekt, oder ein zu dieser Dichtung nächstliegendes, oder ein aus mehreren zu dieser Richtung nächstliegenden Tonobjekten per geeigneter Rechenvorschrift ausgesuchtes Tonobjekt, ausgewählt und akustisch hervorgehoben dargeboten wird.7. The method according to any one of claims 1 to 6, characterized in that seen from the user, a sound object lying in the direction specified by the pointing device ( 1 , 5 ) or method, or one closest to this seal, or one of several sound objects selected in this direction by means of a suitable calculation rule, selected and presented acoustically highlighted. 8. Verfahren nach einem der Patentansprüche 1-7, dadurch gekennzeichnet, dass der Benutzer einen Befehl eingibt, wodurch das Zeigegerät in einen inkrementellen Modus versetzt wird derart, dass es von der zuletzt eingegebenen, durch die Auswahl eines Tonobjektes bestimmten Richtung ausgeht, und eine zusätzliche Änderung dieser Richtung bewirkt, wodurch eine neue Richtung vorgegeben wird.8. The method according to any one of claims 1-7, characterized in that the user enters a command which places the pointing device in an incremental mode such that it is from the last entered direction determined by the selection of a sound object goes out, and an additional change in this direction causes a new direction is specified. 9. Verfahren nach einem der Patentansprüche 1-8, dadurch gekennzeichnet, dass als Zeigegeräte (1, 5) oder -verfahren Joysticks, oder Tasten, oder die Erkennung einer natürlich gesprochenen Richtungsangabe oder die Vermessung einer richtungsgebenden Gestik des Benutzers verwendet werden.9. The method according to any one of claims 1-8, characterized in that as pointing devices ( 1 , 5 ) or method joysticks, or keys, or the detection of a naturally spoken direction or the measurement of a directional gesture of the user are used. 10. Verfahren nach einem der Patentansprüche 4 bis 9, dadurch gekennzeichnet, dass Tonobjekte mit Navigationsfunktion (2) beim ersten Aufrufen der Tonkulisse oder per entsprechendem Befehl in die Tonkulisse gestellt werden, und in Gruppen gegliedert sind, deren Elemente, jeweils in einer Zeitschleife, zeitüberlappend und/oder nacheinander dargeboten werden, bis ein Element aus der Gruppe selektiert wurde, wodurch entweder eine weitere solche Gruppe angezeigt wird, oder ein Prozess ausgelöst wird, der eine Beendigung des Navigationsvorganges bewirkt, oder die Navigation dann beendet wird, wenn während eines vorbestimmten Zeitintervalls keine neue Auswahl erfolgt.10. The method according to any one of claims 4 to 9, characterized in that sound objects with navigation function ( 2 ) are placed in the soundscape when the soundscape is first called up or by a corresponding command, and are divided into groups, the elements of which, each in a time loop, time overlapped and / or presented in succession until an element from the group has been selected, whereby either another such group is displayed, or a process is triggered which causes the navigation process to be ended, or the navigation is terminated if during a predetermined one Time interval no new selection is made. 11. Verfahren nach einem der Patentansprüche 4 bis 10, dadurch gekennzeichnet, dass Tonobjekte mit reiner Informations-Funktion bis zu ihrem Ende abgearbeitet werden, es sei denn, der Benutzer löst durch Auswahl eines akustischen Hyperlinks eine Verzweigung in der Darbietung aus, oder er gibt den Befehl zu einer Wiederholung 11. The method according to any one of claims 4 to 10, characterized in that Sound objects with a purely information function are processed to the end, unless the The user triggers a branch in the performance by selecting an acoustic hyperlink, or he gives the command to repeat it   12. Verfahren nach einem der Patentansprüche 1 bis 11, dadurch gekennzeichnet, dass während der Darbietung eines akustisch hervorgehobenen Tonobjektes (4) oder Unterobjektes, und noch für ein benutzerseitig festgelegtes Zeitintervall danach, ein Befehl eingegeben werden kann.12. The method according to any one of claims 1 to 11, characterized in that a command can be entered during the performance of an acoustically highlighted sound object ( 4 ) or sub-object, and still for a time interval specified by the user afterwards. 13. Verfahren nach Patentanspruch 12, rückbezogen auf Patentanspruch 4, dadurch gekennzeichnet, dass Informations-Tonobjekte akustische Hyperlinks beinhalten, für die ein Befehl eingegeben werden kann.13. The method according to claim 12, referring back to claim 4, characterized characterized that informational sound objects contain acoustic hyperlinks for which a command can be entered. 14. Verfahren nach Patentanspruch 12 oder 13, dadurch gekennzeichnet, dass im Falle einer erfolgten Eingabe eines solchen Befehls ein zugeordneter Prozess eingeleitet wird.14. The method according to claim 12 or 13, characterized in that in the case of a After entering such a command, an assigned process is initiated. 15. Verfahren nach Patentanspruch 14, dadurch gekennzeichnet, dass durch den zugeordneten Prozess die Darbietung dieses Tonobjektes ganz oder teilweise wiederholt wird.15. The method according to claim 14, characterized in that by the associated Process the performance of this sound object is repeated in whole or in part. 16. Verfahren nach Patentanspruch 14, dadurch gekennzeichnet, dass der zugeordnete Prozess eine Verzweigung in eine andere Darbietung bewirkt.16. The method according to claim 14, characterized in that the associated process branching into another performance. 17. Verfahren nach einem der Patentansprüche 1 bis 16, dadurch gekennzeichnet, dass statt des Inhaltes eines Informations-Tonobjektes ein bezeichnendes Tonobjekt dargeboten wird, das den Namen dieses Informations-Tonobjektes oder eine andere, dessen Inhalt charakterisierende Lautfolge beinhaltet, wobei durch Auswahl dieses bezeichnenden Objektes und einen zugehörigen Befehl zwischen der Darbietung des bezeichnenden Objektes und der Darbietung der Information hin- und hergeschaltet werden kann.17. The method according to any one of claims 1 to 16, characterized in that instead of Content of an information sound object, a characteristic sound object is presented, which the Name of this informational sound object or another sound sequence that characterizes its content includes, by selecting this identifying object and an associated command toggled between the presentation of the designating object and the presentation of the information can be. 18. Verfahren nach einem der Ansprüche 1-17, dadurch gekennzeichnet, dass der Benutzer einen Befehl eingibt, um der Tonkulisse Navigations- oder Menüobjekte hinzuzufügen oder diese Objekte daraus wieder zu entfernen, wobei die Dauer der Darbietung der Navigations-Tonobjekte auf ein einstellbares Zeitintervall begrenzt ist, welches mit der Eingabe des zuletzt eingegebenen Befehls beginnt.18. The method according to any one of claims 1-17, characterized in that the user Enter command to add navigation or menu items or these items to the soundscape remove from it again, the duration of the performance of the navigation sound objects on a adjustable time interval is limited, which is with the entry of the last entered command begins. 19. Vorrichtung zur Auswahl von Tonobjekten in einer Tonkulisse, in der die Tonobjekte akustisch so darstellbar sind, dass sie aus unterschiedlichen Richtungen zu kommen scheinen, und/oder zur Auslösung von den Tonobjekten zugeordneten Prozessen, wobei die Tonobjekte einer Benutzeroberfläche und/oder einer Information zuordenbar sind und wobei zur Auswahl von Objekten und/oder Auslösung von Prozessen ein Zeigegerät oder ein Zeigeverfahren vorgesehen ist, dadurch gekennzeichnet dass das Zeigegerät (1, 5) oder -verfahren so ausgelegt ist, dass damit die Richtung eines imaginären Zeigers (7) vorgebbar ist, durch welchen mindestens ein Tonobjekt (4) auswählbar ist und dass die Vorrichtung ausgewählte Tonobjekte (4) in der Tonkulisse akustisch hervorgehoben darstellt.19. Device for selecting sound objects in a sound setting, in which the sound objects can be represented acoustically in such a way that they appear to come from different directions, and / or for triggering processes associated with the sound objects, the sound objects being a user interface and / or information can be assigned and a pointing device or a pointing method is provided for the selection of objects and / or triggering of processes, characterized in that the pointing device ( 1 , 5 ) or pointing method is designed such that the direction of an imaginary pointer ( 7 ) can thus be predetermined is, by means of which at least one audio object (4) is selectable and that is highlighted in the acoustic sound backdrop, the device selected audio objects (4). 20. Vorrichtung nach Anspruch 19, dadurch gekennzeichnet, dass das Zeigegerät (1, 5) eine mechanische, richtungsgebende Vorrichtung nach Art eines Joysticks ist, oder das Zeigerverfahren eine Messung der Gestik des Benutzers, oder gesprochene Richtungsangaben verwendet.20. The apparatus according to claim 19, characterized in that the pointing device ( 1 , 5 ) is a mechanical, direction-giving device in the manner of a joystick, or the pointer method uses a measurement of the gestures of the user, or spoken directions. 21. Vorrichtung nach Anspruch 19, dadurch gekennzeichnet, dass das Zeigegerät (1, 5) ein am oder Körper des Benutzers angebrachter Richtungs-, Positions- oder Bewegungsmesser ist.21. The apparatus according to claim 19, characterized in that the pointing device ( 1 , 5 ) is a direction, position or movement meter attached to the body of the user. 22. Vorrichtung nach Anspruch 19-21, dadurch gekennzeichnet, dass mit dem Zeigegerät (1, 5) eine Einrichtung verbunden ist, welche über einen Sprachbefehl, ein manuelles Schalten am Zeigegerät und/oder durch Messung der Gestik des Benutzers einen Befehl zur Auslösung eines Computerprozesses eingibt22. The apparatus of claim 19-21, characterized in that a device is connected to the pointing device ( 1 , 5 ) which, via a voice command, a manual switching on the pointing device and / or by measuring the gestures of the user, a command to trigger a Computer process enters 23. Vorrichtung nach einem der Anspüche 19 bis 22, dadurch gekennzeichnet, dass zur Erzeugung der Tonkulisse mehrere Tonquellen (0) vorgesehen sind, die von in einem PC abgelegten Tondateien oder Tonsynthese-Programmen angesteuert werden.23. Device according to one of claims 19 to 22 , characterized in that several sound sources (0) are provided for generating the soundscape, which are controlled by sound files or sound synthesis programs stored in a PC. 24. Verwendung einer Vorrichtung nach einem der vorliegenden Ansprüche als elektronische, mobil nutzbare interaktive Zeitung.24. Use of a device according to one of the present claims as electronic, mobile usable interactive newspaper. 25. Verwendung einer Vorrichtung nach einem der vorliegenden Ansprüche als elektronisches, mobil nutzbares geografisches Navigationssystem.25. Use of a device according to one of the present claims as an electronic, mobile usable geographic navigation system. 26. Verwendung einer Vorrichtung nach einem der vorliegenden Ansprüche als elektronische, mobil nutzbare Music-on-Demand Anwendung.26. Use of a device according to one of the present claims as an electronic, mobile usable music on demand application.
DE1999117820 1997-12-16 1999-04-20 Method and device for mobile and stationary navigation in promised hypertext-oriented graphical user interfaces (GUIs) Expired - Lifetime DE19917820C2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE1999117820 DE19917820C2 (en) 1997-12-16 1999-04-20 Method and device for mobile and stationary navigation in promised hypertext-oriented graphical user interfaces (GUIs)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE1997155863 DE19755863C2 (en) 1997-12-16 1997-12-16 Acoustic user interface for mobile and stationary use
DE1999117820 DE19917820C2 (en) 1997-12-16 1999-04-20 Method and device for mobile and stationary navigation in promised hypertext-oriented graphical user interfaces (GUIs)

Publications (2)

Publication Number Publication Date
DE19917820A1 DE19917820A1 (en) 2000-11-23
DE19917820C2 true DE19917820C2 (en) 2001-04-26

Family

ID=26042500

Family Applications (1)

Application Number Title Priority Date Filing Date
DE1999117820 Expired - Lifetime DE19917820C2 (en) 1997-12-16 1999-04-20 Method and device for mobile and stationary navigation in promised hypertext-oriented graphical user interfaces (GUIs)

Country Status (1)

Country Link
DE (1) DE19917820C2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6757656B1 (en) 2000-06-15 2004-06-29 International Business Machines Corporation System and method for concurrent presentation of multiple audio information sources
FI20010958A0 (en) 2001-05-08 2001-05-08 Nokia Corp Procedure and Arrangements for Designing an Extended User Interface
DE10134227A1 (en) * 2001-07-13 2003-01-30 Bosch Gmbh Robert Method for the acoustic reproduction of information in the context of a driver information system
DE10202110A1 (en) * 2002-01-21 2003-04-24 Siemens Ag Method for teaching the use of a data terminal device, e.g. a mobile phone, so that it can be controlled by head gestures, whereby in response to a user's head movement audible information is generated from an apparent direction

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4414360A1 (en) * 1993-04-28 1994-11-03 Hitachi Ltd Interactive control system with a plurality of displays and method for operating such a system
US5461399A (en) * 1993-12-23 1995-10-24 International Business Machines Method and system for enabling visually impaired computer users to graphically select displayed objects

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4414360A1 (en) * 1993-04-28 1994-11-03 Hitachi Ltd Interactive control system with a plurality of displays and method for operating such a system
US5461399A (en) * 1993-12-23 1995-10-24 International Business Machines Method and system for enabling visually impaired computer users to graphically select displayed objects

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Audio User Interface System, In: IBM Tech. Dis. Bull., Vol. 39, No. 03., März 1996, S. 83 *

Also Published As

Publication number Publication date
DE19917820A1 (en) 2000-11-23

Similar Documents

Publication Publication Date Title
DE102008000942B4 (en) Audio data retrieval support apparatus, sound data reproducing apparatus and program
EP1652405B1 (en) Device and method for the generation, storage or processing of an audio representation of an audio scene
Vickers et al. Sonification Abstraite/Sonification Concr\ete: An'Aesthetic Perspective Space'for Classifying Auditory Displays in the Ars Musica Domain
EP2791622B1 (en) Navigational soundscaping
EP2715935A1 (en) Audio playback device with audio scene simulation
DE102006017791A1 (en) Audio-visual signal reproducer e.g. CD-player, has processing device producing gradient in audio pressure distribution, so that pressure level is increased inversely proportional to angles between tones arrival directions and straight line
US20080204408A1 (en) Audio reproducing apparatus, information processing apparatus and audio reproducing method, allowing efficient data selection
DE19917820C2 (en) Method and device for mobile and stationary navigation in promised hypertext-oriented graphical user interfaces (GUIs)
DE112021003592T5 (en) Information processing apparatus, output control method and program
Hogg et al. Sonification abstraite/sonification concrete: An'aesthetic persepctive space'for classifying auditory displays in the ars musica domain
DE10123823A1 (en) Parallel presentation of several audio information sources involves reconfiguring at least one source selected by speech input to be acoustically distinguished from other sources
DE19755863C2 (en) Acoustic user interface for mobile and stationary use
DE10039663C2 (en) Method and device for reproducing information
DE102013003266A1 (en) Information reproduction system for vehicle has processor to produce video/control signal based on selection signal, to displace/reproduce contents of selected content category as function of information of selectable display location
Nazemi et al. Sound design: a procedural communication model for VE
Pachet et al. MusicSpace: a Constraint-Based Control System for Music Spatialization.
EP1164464B1 (en) Method for controlling a system, in particular an electrical and/or electronic system with at least one application device
DE102016001453B4 (en) Method for operating a motor vehicle, control device and motor vehicle
WO2022080164A1 (en) Information processing system, information processing device, and content playback device
Sikström et al. Designing auditory display menu interfaces-cues for users current location in extensive menus
DE102004029673B4 (en) Method and device for listening to selected contents of an electronic daily newspaper with voice prompting
DE102021116641A1 (en) Method, system and computer program for the interactive selection and playback of audio and/or video sequences generated in real time in a motor vehicle
Delerue Visualization of perceptual parameters in interactive user interfaces: application to the control of sound spatialization
DE112021003645T5 (en) INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHODS AND SOUND OUTPUT DEVICE
DE102021110268A1 (en) Method and system for scene-synchronous selection and playback of audio sequences for a motor vehicle

Legal Events

Date Code Title Description
AF Is addition to no.

Ref country code: DE

Ref document number: 19755863

Format of ref document f/p: P

OP8 Request for examination as to paragraph 44 patent law
AF Is addition to no.

Ref country code: DE

Ref document number: 19755863

Format of ref document f/p: P

D2 Grant after examination
8364 No opposition during term of opposition