-
Die vorliegende Erfindung bezieht
sich auf ein Datenverarbeitungssystem mit vom Benutzer steuerbaren
Anordnungen für
eine gesteuerte Verlagerung eines Cursors über eine graphische Benutzerschnittstelle,
die dem Benutzer des Systems geboten wird. Insbesondere bezieht
sich die vorliegende Erfindung auf ein System mit Mitteln zum Schaffen von
Rückkopplung
zu dem Benutzer, insbesondere aber nicht ausschließlich einer
Berührungs-Rückkopplung,
um den Benutzer mit zusätzlicher
Information über
die aktuelle Cursorlage gegenüber
den Merkmalen der graphischen Benutzerschnittstelle zu versehen.
-
Ein Beispiel eines derartigen Rückkopplungsmechanismus
ist in der Europäischen
Patentanmeldung EP-A-0 607 580 (Selker/IBM) beschrieben worden,
wobei ein Rückkopplungssignal
erzeugt wird über
die Zustandsinformation, die mit einem Cursor assoziiert ist, wobei
derartige Zustandsinformation den Fenstergriff des Cursors enthält. Es wird ein
Anzeigestabmechanismus beschrieben, wobei ein Stab an einem der
Enden eines Betätigungselementes
befestigt ist: ein vorübergehendes
Rückkopplungssignal,
erzeugt von dem Gastgeber-Computersystem auf Basis der Zustandsinformation
aktiviert das Betätigungselement
zum Ausüben
einer Kraft auf den Anzeigestab. Dieser Stab, der in einer Anzeigestockanordnung
unter den Tasten eines Tastenfeldes des Gastgebercomputersystems
oder in einer Maussteuerung eingebaut sein kann, ist derart vorgesehen,
dass er gegen die Fingerspitze eines Benutzer gedrückt wird
bei Aktivierung des Betätigungselementes,
das mit dem anderen Ende des Standes verbunden ist. Durch Aktivierung
auf Basis der Zustandsinformation, wie durch Verlagerung des Stabes
solche Merkmale als Fensterbegrenzungen und Griffe anzugeben, hat
das System nach EP-A-0 607 580 die Aufgabe, die Perzeption eines
Benutzers zu verbessern wenn der Cursor in einer Lage ist, Objekte
durchzuführen
oder zu manipulieren, die an dem Schirm wiedergegeben werden, ohne
dass die Bewegung des Cursors über
den Schirm verlangsamt wird, oder eine Änderung in der Form des wiedergegebenen
Cursors zu beobachten um die Stelle anzugeben oder als Ergebnis
der Rückkopplung
in Form eines physikalischen Widerstandes in Bezug auf die Verlagerung
der Cursorsteuerung.
-
Alternative Formen der Rückkopplung,
welche die Cursorbewegung begleiten, sind in dem US Patent 5.186.629
(Rohen/IBM) beschrieben worden, wobei eine Com puterschnittstelle
für Blinde
und Sehbehinderte beschrieben wird. Die Cursorlage und die Selektion
von Menüs
wird durch Audio-Rückkopplung
mit Tonerzeugung und Sprachsynthese angegeben. Außerdem wird
Berührungsrückkopplung
in Form eines schwachen AC-Stromes
durch die Hand des Benutzers hindurch über ein Feld auf der Maus geschaffen.
Bei diesem System helfen die Audio- und Berührungssignale dem Benutzer
beim Ausbauen eines Bildes der Benutzerschnittstelle.
-
Ähnliche
Systeme mit Eingabeeinrichtungen mit Berührungsrückkopplung sind in der internationalen
Patentanmeldung WO92/00559A (Gemmell/Hewlett-Packard) und in der
Europäischen
Patentanmeldung EP0265011A (Mees/Oce-Nederland B.V.) beschrieben,
wobei die Verwendung eines Cursors auf einer graphischen Benutzerschnittstelle
zum Selektieren oder Verlagern von "selektierbaren Positionen" (Gemmell) oder "selektierbaren Elementen" (Mees) löst die Aktivierung
von Berührungsrückkopplungsmechanismen
innerhalb einer Benutzereingabeeinrichtung, wie eines Lichtstiftes
oder einer Maus aus. Andere ähnliche
Berührungsrückkopplungssysteme
sind in Drain-Elektrode 43 19 795A und Drain-Elektrode 41 40 780A
beschrieben worden.
-
Ein Problem bei den oben genannten
Systemen ist die Zuverlässigkeit
bei spezifischer Authorisierung für die Präsentation der Benutzerschnittstelle,
damit die Cursorzustandsinformation geschaffen wird, wie wenn der
Cursor über
einen Fenstergriff positioniert wird oder ein Ikon aktiviert wird,
damit die Berührungs-
oder andere Rückkopplungserzeugung ausgelöst wird.
Da Berührungs-
und andere Rückkopplungsmechanismen
immer wichtiger werden, werden Software-Pakete mit den erforderlichen
Hinweisen zum Aktivieren derartiger Mechanismen immer mehr verbreitet.
Da zur Zeit das eine dem anderen sehr ähnlich ist, wird die Akzeptanz
von Berührungs-
und anderen Rückkopplungsmechanismen durch
den Benutzer als erwartete oder erforderliche Merkmale allmählich größer.
-
Deswegen ist es u. a. eine Aufgabe
der vorliegenden Erfindung ein Mittel zu schaffen zum Erzeugen von
Rückkopplungshinweise
in Bezug auf eine Cursor-gesteuerte Benutzerschnittstelle unabhängig von
Softwaresteuerfunktionen, welche die Wirkung dieser Schnittstelle
steuern.
-
Nach der vorliegenden Erfindung wird
ein Computersystem geschaffen zur Steuerung eines Cursors über eine
Pixel-Wiedergabeanordnung, wobei das System eine Pixel-Wiedergabeanordnung aufweist
zur Wiedergabe eines Cursors; einen mit der genann ten Pixel-Wiedergabeanordnung
gekoppelten Computer; eine Cursor-Steuereinrichtung zum Erzeugen
von Cursor-Steuersignalen, die mit dem genannten Computer gekoppelt
ist, wobei der genannte Computer die genannten Cursor-Steuersignale
empfängt,
Cursor-Wiedergabesignale
erzeugt und der genannten Wiedergabeanordnung die genannten Wiedergabesignale
zuführt;
und Rückkopplungsmittel
um einem Benutzer der genannten Cursor-Steuereinrichtung eine Parametereinstellung
anzugeben, mit dem Kennzeichen, dass Überwachungsmittel vorgesehen
sind zum Ermitteln eines Tonpegels für wenigstens eines ersten Pixels,
das von dem wiedergegebenen Cursor überlagert ist, und wobei die
genannte durch die genannten Rückkopplungsmittel
dem Benutzer gezeigte Parametereinstellung wenigstens teilweise
mit Hilfe der Rückkopplungsmittel
von dem ermittelten Tonpegel hergeleitet wird.
-
Ach nach der vorliegenden Erfindung
wird eine Cursorsteuereinrichtung zur Steuerung eines Cursors an
einer Pixel-Wiedergabeanordnung geschaffen, wobei die Einrichtung
Cursor-Steuersignale erzeugt und die genannten Signale zu der genannten
Wiedergabeanordnung überträgt, mit
Rückkopplungsmitteln
um einem Benutzer der genannten Einrichtung eine Parametereinstellung
anzugeben, mit dem Kennzeichen, dass die genannte Anordnung weiterhin Überwachungsmittel
und Rückkopplungssteuermittel
aufweist, wobei die Überwachungsmittel einen
Tonpegel für
wenigstens ein erstes Pixel bestimmen, das von dem wiedergegebenen
Cursor überlagert
wird, und wobei die genannte, durch die genannten Rückkopplungsmittel
dem Benutzer gezeigte Parametereinstellung wenigstens teilweise
mit Hilfe der Rückkopplungsmittel
von dem ermittelten Tonpegel hergeleitet wird.
-
Der ermittelte Tonpegel kann der
Graupegel oder der Pegel eines oder mehrerer Pixelfarbanteile für das genannte
wenigstens eine Pixel sein und die Rückkopplungsmittel können funktionieren,
wenn der ermittelte Tonpegel einen ersten Schwellenwert übersteigt,
oder einen sich ständig ändernden
Rückkopplungspegel
liefert, der unmittelbar durch den aktuellen Tonpegel bestimmt wird.
Die Überwachungsmittel können dazu
vorgesehen sein, den Tonpegel in einem oder mehreren weiteren Gebiete
um das erste Gebiet herum zu bestimmen (beispielsweise in jedem
von acht Pixeln, die ein erstes selektiertes Pixel umgeben), um
eine Differenz für
Tonvariation in wenigstens einer Richtung über das erste und weitere Gebiet
zu ermitteln, und um die Rückkopplung
zu dem Benutzer auf einem Pegel zu erzeugen, der durch die aktuelle
Differenz bestimmt wird. In einer derartigen Anordnung sind die Überwachungsmittel auf
geeignete An und vorgesehen um Differenzen in zwei senkrecht aufeinander
stehenden Richtungen über
das erste und weitere Gebiet zu bestimmen, und die Rückkopplungsmittel
können
dann zwei unabhängig
voneinander betriebene Rückkopplungsmittel aufweisen,
welche je die Tonvariation in den zwei Richtungen angeben.
-
In Termen einer typischen auf Fenstern
basierten Computerschnittstelle werden Fensterbegrenzungen auf deutliche
Weise abgegrenzt durch Änderungen
in dem Graupegel (oder dem einzelnen Farbanteilpegel) wie Knöpfe oder
Schieber. Die Differenz mit der aktuellen Cursorlage in nur einer
Richtung oder in den beiden Richtungen X und Y, schafft einen Wert,
der die Größe der Änderung
in dem Graupegel oder Farbanteilpegel angibt, die an sich wieder
Fensterbegrenzungen angeben. In einer alternativen Anordnung können die Überwachungsmittel
Cursor-Pixelspeichermittel aufweisen, vorgesehen zum Beibehalten
einer Aufzeichnung überschriebener
Wiedergabepixelwerte, mit dem Unterschied, dass Tonvariation von
der Tonvariation hergeleitet wird über die jüngste Verlagerungslinie des
Cursors.
-
Die Rückkopplungsmittel können Krafterzeugungsmittel
enthalten, vorgesehen zum Ausüben
einer Kraft auf den Körper
eines Benutzers des Geräts auf
einem Pegel, der durch den bestimmten Tonpegel gesteuert wird. Auf
alternative Weise können
derartige Krafterzeugungsmittel eine Kraft ausüben auf einem Pegel, der durch
einen anderen Faktur bestimmt wird, wobei diese Kraft dann um einen
Betrag geändert
wird (verringert oder erhöht)
um einen Betrag, der von dem bestimmten Tonpegel hergeleitet wird.
-
Die vorliegende Erfindung beschränkt sich nicht
auf zweidimensionale Schnittstellen und kann dort angewandt werden,
wo die Wiedergabe eine dreidimensionale Computer-erzeugte Umgebung darstellt
und der Cursor ein Ikon ist, das unter Ansteuerung des Benutzers
in den genannten drei Dimensionen verlagerbar ist, wobei das Gerät für einen derartigen
Gebrauch auf geeignete Weise Zusammenstoß- (oder Kontakt)detektionsmittel
aufweist, die ermitteln können,
wenn der Cursor mit Elementen der virtuellen Umgebung in Kontakt
ist, wobei die Rückkopplungsmittel
wirksam werden, indem ein derartiger Kontakt beibehalten wird.
-
Ausführungsbeispiele der Erfindung
sind in der Zeichnung dargestellt und werden im vorliegenden Fall
näher beschrieben.
Es zeigen:
-
1 eine
Darstellung eines PCs mit einer zweidimensionalen graphischen Benutzerschnittstelle,
wobei die vorliegende Erfindung angewandt wird,
-
2 eine
expandierte Darstellung eines Teils der Pixel-Wiedergabe nach 1, welche die Wirkung der
vorliegenden Erfindung illustriert,
-
3 ein
Blockschaltbild, das funktionelle Elemente der Ausführungsform
nach 1 zeigt,
-
4 ein
Blockschaltbild von Mitteln zum Erzeugen einer dreidimensionalen
virtuellen Umwelt, und von durch den Benutzer bedienbaren Mitteln
zur Interaktion mit denselben nach einer weiteren Ausführungsform
der vorliegenden Erfindung, und
-
5 bis 8 einige Konfigurationen
von Cursor-Steueranordnungen mit Berührungs-Rückkopplungsmechanismen, die
auf geeignete An und Weise im Zusammenhang mit der vorliegenden
Erfindung verwendet werden können.
-
Zunächst wird eine einfache Implementierung
der vorliegenden Erfindung näher
betrachtet, die Berührungshinweise
im Zusammenhang mit der Präsentation
einer herkömmlichen
zweidimensionalen graphischen Benutzerschnittstelle schafft, wobei 1 einen typischen PC darstellt,
bestehend aus einem PC 10 mit Eingabe von einem Tastenfeld 12 aus
und mit Wiedergabe über
einen Bildschirm 14. Wie dargestellt, ist die graphische
Benutzerschnittstelle von dem durchaus bekannten Fenstertyp, mit zwei
Fensters 16, 18, die in "geöffneter" Lage dargestellt
sind und zwei weiteren Fenstern, die "geschlossen" sind und für den Benutzer als Ikone 20 verfügbar sind.
Die Fenster 16, 18 und die Ikone 20 liegen meistens über eine
Hintergrund "Wallpaper" 22, der einen
einfachen weißen
oder gefärbten
Hintergrund oder ein komplexeres Muster aufweisen kann: vom Benutzer
selektierbare Wahl aus einem Menü von verschiedenen
Wallpapers ist ein Merkmal einer Anzahl durchaus bekannter graphischer
Benutzer-Schnittstellenpakete. Selektion, Aktivierung und Manipulation
von Ikonen und Fenstern (zusammen mit assoziierten Menü-Knöpfen und
Schiebern) durch den Benutzer ist über den Cusor 24,
der über den
Schirm verlagert werden kann durch Betätigung von Richtungstasten
auf einem Tastenfeld 12, oder auf eine mehr benutzerfreundliche
An und Weise, durch Verwendung einer weiteren Benutzer-Eingabeeinrichtung
(UID), wie einer Maus 26, einer Rollkugel oder eines (nicht
dargestellten) Joysticks. Die Maus 26 oder die andere UID
ist typischerweise mit einer oder mehreren Tasten 28, mit
deren Hilfe Ikone, Cursorknöpfe
oder Menü-Items
aktiviert werden, wenn der Cursor 24 über sie gestellt wird. Die
Techniken zum Erzeugen und für
Cursor-Betrieb derarti ger graphischer Benutzer-Schnittstellen werden
dem Fachmann durchaus bekannt sein, und werden, ausgenommen wenn
erforderlich zur Erläuterung
der Wirkungsweise der vorliegenden Erfindung, nicht weiter beschrieben.
-
Im Betrieb, wobei der Cursor 24 über den Schirm
bewegt wird, wird das Zusammentreffen des Cursors mit den Rändern der
Ikone oder den Fensterbegrenzungen dem Benutzer über einen Kraft-Rückkopplungsmechanismus,
wie ein einfacher Aktuator 30 auf der Maus 26 und
positioniert unter die Maus der Hand des Benutzers, wobei der Aktuator 30 gegen
die Hand des Benutzers "tickt" um anzugeben, dass
gerade eine Begrenzung überquert worden
ist. Aus der Lektüre
des Nachfolgenden dürfte
es einleuchten, dass die spezielle Form der Rückkopplungsanordnung für die Wirkung
der vorliegenden Erfindung nicht relevant ist: in der einfachsten Implementierung
soll es einfach möglich
sein, dem Benutzer anzugeben, dass eine Begrenzung überquert
worden ist, und sie kann Berührungsmittel
enthalten, wie Betätigungselemente
und/oder Audio-Rückkopplung,
wie einfache Piepsen. Komplexere Formen der Anordnung können benutzt
werden und zur Erläuterung
werden einige verschiedene Konfigurationen von Rückkopplungsmitteln und nützlichen
(aber nicht unbedingt notwendigen) Merkmale davon nachstehend beschrieben.
-
2 zeigt
schematisch die Wirkungsweise einer Ausführungsform der vorliegenden
Erfindung, und zeigt einen Teil der Wiedergabeanordnung nach 1 um die rechte untere Ecke
des Fensters 18. Das Fenster hat einen dunklen Rand, der
eine Breite von zwei Pixeln hat, wobei verschiedene Hintergrundfarben
innerhalb des Fensters 18 und für die "Schirmtapete" (Wallpaper) 22 verwendet worden sind.
Verlagerung des Cursors 24 über die Ecke des Fensters 18 wird
im Allgemeinen durch den Pfeil 38 angegeben. Eine Reihe
von 3 × 3
Pixelflächen
A bis G sind längs
der Strecke des Cursors dargestellt. Für jede der drei Flächen wird
die Änderung
in dem Graupegel und/oder einem oder mehreren Farbanteilpegeln (im
Allgemeinen nachstehend als Farbtonpegel bezeichnet) benutzt um
eine Berührungsrückkopplung
zu dem Benutzer auszulösen
und vorzugsweise außerdem
um den Pegel dafür
einzustellen. Dort, wo nur eine einfache Berührungsrückkopplungseinrichtung, wie
der Aktuator 30 auf der Maus 26 nach 1, vorgesehen ist, können die
abweichenden Gesamttonpegel in jeder der Flächen A bis G benutzt werden
um einen betreffenden Kraftpegel für den Aktuator einzustellen,
wenn der Cursor sich in der Lage in der Mitte der betreffenden Fläche befindet.
In Termen des Beispiels, der Aktuator 30 wird aktiviert, wenn
der Cursor sich an den Stellen Bügelmaschine Cm
E und F befindet, mit im Allgemeinen einer größeren Applikationskraft an
den Stellen B und F (durch den größeren Tonkontrast zwischen
der Begrenzung 30 und der Wallpaper 22, im Vergleich
zu dem zwischen der Begrenzung und dem Hintergrund des Fensters 18):
an den Stellen A, D und G, mit konstante, Ton über die Fläche, wird keine Rückkopplung
erzeugt.
-
Zur Verbesserung der zu dem Benutzer
rückgekoppelten
Hinweise wird die Rückkopplung
hergeleitet und in zwei senkrecht aufeinander stehenden Richtungen
(auf geeignete Weise die Y- und Y-Koordinaten des Schirms) zugeführt um dem
Benutzer kennbar zu machen, wenn horizontale und vertikale Begrenzungen überquert
werden. Wenn wir nun zu der 2 zurückkehren,
dann wird dies dadurch erreicht, dass das Differential des Tonpegels über jede der
Flächen
A bis G in Drain-Elektrode X und Y Richtung genommen wird, damit
eine unabhängige
Rückkopplung
für jede
dieser Richtungen geschaffen wird. In Termen des Beispiels wird
es an den Stellen A, D oder G wieder keine Rückkopplung in den beiden Richtungen
geben, an den Stellen B und C wird es eine Rückkopplung in der Y-Richtung
geben, aber durch den horizontalen Rand, ist der Ton über die Flächen in
der X-Richtung konstant und folglich wird keine horizontale Rückkopplung
erzeugt. Im Gegensatz dazu ist an der Stelle E und F der Ton in
der Y-Richtung konstant, was keine Rückkopplung in dieser Richtung
ergibt, aber hat einen Tongradienten, der zu der Erzeugung von Rückkopplung
in der horizontalen X-Richtung führt.
-
3 ist
ein Blockschaltbild der PC-basierten Ausführungsform nach 1. Auf eine im Allgemeinen
herkömmliche
An und Weise ist eine zentrale Verarbeitungseinheit 40 mit
einem ROM und einem RAM 40 bzw. 42 gekoppelt,
und zwar über
einen Daten- und Adressierungsbus 46. Dateneingabe erfolgt über das
Tastenfeld 12 und die UID 26 (wie die Maus aus 1 oder eine Rollkugel bzw. über einen
Joystick-Mechanismus). Es sei bemerkt, dass die UID 26 eine
relativ einfache Einrichtung sein kann, wobei der Hauptteil der
Elementvorgänge
zum Herleiten von Rückkopplungspegeln
innerhalb des PCs durchgeführt
wird, oder es kann eine komplexere Einrichtung sein mit einem Grad
von Einzel-Fähigkeiten
und die einige oder all diese Komponenten aufweist, die innerhalb
der gestrichelten Linie 26' enthalten
sind.
-
Bilder zur Wiedergabe werden in digitaler Form
in einem Framespeicher 50 zusammengestellt, aus denen die
Daten von dem Wiedergabeprozessor 52 zur Zuführung zu
der Wiedergabeanordnung 14 ausgelesen werden. Zum Erzeugen
der Rückkopplungspegel
liefert die CPU 40 eine Flächenadresse PADDR über die
Leitung 54 zu einem Flächen puffer 56:
diese Flächenadresse
identifiziert die 3 × 3
Pixel der Fläche,
die in der Mitte der aktuellen Cursorstelle liegt. Bei Empfang dieser
Flächenadresse
liest der Flächenpuffer 56 die
Pixelwerte aus dem Framespeicher 50, wonach sie synchron
aus dem Flächenpuffer 56 jeder
eines Paares Filterstufen 58, 60 zugeführt werden
(je einen Wert für
die X- und die Y-Richtung). In
einer alternativen (nicht dargestellten) Ausführungsform speziell geeignet
für eine
einzelne UID-Anordnung, kann der Flächenpufferinhalt dadurch erhalten
werden, dass der analoge Ausgang von dem Wiedergabeprozessor 52 abgetastet
wird und danach zur Lieferung zu den Filterstufen digitalisiert
wird. Nach der Filterung können
zum Erhalten der betreffenden Gradienten Dx und Dy die gefilterten
Werte über
einen seriellen Port zu dem Kraftrückkopplungsmechanismus 62 innerhalb
der Benutzer-Schnittstelleneinrichtung 26 weitergeleitet
werden oder die Werte können
zunächst
einer oder mehreren möglichen
weiteren Behandlungen ausgesetzt werden. Eine mögliche Behandlung (nicht dargestellt)
ist die Werte von Dx und Dey zu mischen oder zu summieren zum Schaffen
eines einzigen Rückkopplungspegelwertes:
dies wäre
erforderlich, beispielsweise, für
die Maus 26 aus 1,
die nur eine einzige Kraftrückkopplungseinrichtung
hat. Eine weitere mögliche
Behandlung ist, Dx und Dy durch betreffende Schwellenstufen 64, 66 hindurch
zu führen, damit
Werte von Dx und Dy unterhalb betreffender vorbestimmter Schwellenwerte
gesperrt werden. Das Durchführen
einer Schwellenwertbehandlung, was ein Ein- und Abschalten mit Hilfe
eines Kippschalters 68 erfolgen kann, und wobei der Pegel
gesteuert variiert werden kann (und zwar unter Ansteuerung der CPU über die
Leitung 69), kann dort erforderlich sein, wo beispielsweise
die Schirmtapete 22 fein strukturiert ist. Um Aktivierung
der Rückkopplungsmittel
zu vermeiden, wenn der Cursor über
eine große
Fläche der
Tapete 22 gezogen wird, kann der Benutzer wählen, die
Berührungsrückkopplung
abzuschalten oder es kann ein Schwellenwert eingestellt werden,
der etwas über
dem mittleren Texturgradienten derartiger Tapete liegt. In dem letzteren
Fall werden die Begrenzungen der Fenster und Ikone genügend Kontrast gegenüber dem
Hintergrund haben, dass der Benutzer diese sehen kann und folglich
genügend
Tongradienten um über
die Schwelle hinaus zu steigen.
-
In anderen Situationen kann es erwünscht sein,
Rückkopplung
für alle
Pegel des Tongradienten zu schaffen und eine besondere Instanz dabei
ist eine Interaktion mit dreidimensionalen Computer-modellierten
Umwelten (sog. virtuellen Landschaften), wo der Cursor in Form einer
Darstellung der Hand des Benutzers oder in einer anderen Form von
Manipulator sein kann, der in drei Dimensionen innerhalb der virtuellen
Landschaft in Reaktion auf das Funktionieren einer oder mehrerer
Benutzereingabeanordnungen verlagerbar ist. Im Betrieb wird der
Benutzer auf geeignete An und Weise mit Kraftrückkopplungsmitteln versehen
zum Beschränken von
Bewegung oder wenigstens um anzugeben, wenn der Cursor mit einem
etwaigen "festen" Gegenstand in Berührung kommt,
der innerhalb der virtuellen Landschaft modelliert worden ist. Auf
traditionelle Weise wird es, zum Erteilen des Eindrucks einer Textur
mittels Kraftrückkopplung,
beispielsweise wenn der Cursor (die virtuelle Hand) über die
Darstellung einer Ziegelmauer innerhalb der virtuellen Landschaft
gleitet, notwendig gewesen sein, dass die einzelnen Ziegelsteine
und die Zwischenräume
zwischen denselben ein komplettes dreidimensionales Modell erhalten
haben, auf dem die Kraftrückkopplung
basiert sein kann. Durch Einverleibung der vorliegenden Erfindung
können
Objekte wie die Ziegelmauer als ebene Flächen modelliert werden, auf
denen die Ziegelsteinstruktur auf herkömmliche Weise abgebildet wird.
Die durch das Zusammenstoßen des
Cursors mit der Wand erzeugte Rückkopplungskraft
wird von den Tondifferentialen, hergeleitet wie oben, zum Schaffen
einer Berührungsrückkopplung innerhalb
der dreidimensionalen Umwelt moduliert.
-
4 zeigt
schematisch einen Teil einer Architektur zum Erzeugen und Präsentieren
einer derartigen virtuellen Landschaft zu einem Benutzer. Die Sicht
auf die Landschaft wird unter Ansteuerung einer CPU 72 von
der Renderingstufe 70 erzeugt. Das erzeugte Bild basiert
auf Daten von einem ersten Speicher 74, die das Layout
der virtuellen Landschaft spezifiziert und basiert ebenfalls auf
dem Gesichtspunkt (X, Y, Z) und der Orientierung (θ, ϕ),
die voreingestellt werden können
oder aus (nicht dargestellten) Berechnungsmitteln eingegeben werden
können,
die Verlagerungen von beispielsweise einer vom Benutzer auf dem
Kopf getragenen Wiedergabeanordnung überwacht. Auf Basis geometrischer
Oberflächen von
Gegenständen
und Merkmale der virtuellen Landschaft, wie in den Daten aus dem
Speicher 74 spezifiziert, können mehrere Texturen aus den
Daten in einem weiteren mit der Renderingstufe 70 gekoppelten
Speicher 78 abgebildet werden. Texturabbildung ist eine
durchaus bekannte Technik und vermeidet die Notwendigkeit, dreidimensionale
Modelle in allen Einzelheiten zu erzeugen.
-
Wie bei der oben beschriebenen einfachen zweidimensionalen
Schnittstelle ist ein durch den Benutzer gesteuerter Cursor vorgesehen,
wobei dieser Cursor in Form einer Hand oder eines anderen virtuellen
Manipulators sein kann. Das Erscheinen dieses Cursors wird zusammen
mit Daten und/oder Regeln, die das Funktionieren steuern, wird in einem
weiteren Speicher 80 zum Aufrufen durch die Renderingstufe 70 gespeichert,
damit eine Darstellung des Cursors über die virtuelle Landschaft
an der geeigneten Stelle liegend, erzeugt werden kann (wobei die
Cursor-Stelle und -Orientierung von der CPU 72 aus, der
Renderingstufe zugeführt
wird). Wenn entweder ein einziges Bild oder ein Stereo-Paar Bilder
zur Wiedergabe an einem flachen Schirm bzw. in einer stereoskopischen
Wiedergabeanordnung erzeugt worden sind werden die zusammengesetzten
Bilder einem Framespeicher 82 zugeführt, und zwar zur späteren Ausgabe
zu einer Wiedergabeanordnung.
-
Die Benutzereingabeanordnung, allgemein durch
die gestrichelte Linie 84 angegeben, umfasst Mittel 86 zum
Detektieren von Bewegung der Anordnung und zum Weiterleiten derselben
zu der CPU 72. Unter Bezugnahme auf eine Aufzeichnung der
jüngsten
Bewegungshistorie für
den Cursor, gespeichert in dem Cursorbewegungsspeicher 88,
berechnet die CPU 72 die aktuelle Cursorlage zur Lieferung
zu der Renderingstufe 70. Wie dargestellt hat die UID 84 eine
weitere Verbindung mit der CPU 72, über die das Funktionieren einer
oder mehrerer Steuerungen oder Schalter in der UID 84 zu
der CPU 72 angegeben wird – vielleicht um anzugeben,
dass der Cursor einen Gegenstand innerhalb der virtuellen Landschaft
greifen oder loslassen soll auf eine ähnliche Weise wie zum betätigen herkömmlicher
Maustasten mit einer zweidimensionalen Schnittstelle. Es dürfte einleuchten,
dass die Form der Steuerungen 90 an der UID 84 abhängig sein
wird von der Anzahl Merkmale, wie dem Entwurf der Bestandteile der
virtuellen Landschaft, dem Entwurf des Cursors und gewissen Begrenzungen
daran, wie die zwei interaktiv sein können.
-
Wie dargestellt, umfasst die UID 84 ebenfalls erste
und zweite Rückkopplungsmechanismen 92 und 94,
die dem Benutzer in der X- und in der Y-Richtung Kraftrückkopplung
erteilen um einen Zusammenstoß zwischen
dem Cursor und Objekten innerhalb der virtuellen Landschaft anzugeben.
Wenn die UID 84 eine Anordnung ist, die imstande ist eine
Bewegung in drei Dimensionen durchzuführen, wird vorzugsweise auch
Kraftrückkopplung
in der Z-Richtung geliefert. Das Auftreten eines Zusammenstoßes wird
ermittelt durch die Vergleichsstufe 96, die mit der CPU 72 und
auch mit einem Z-Speicher gekoppelt ist, der entsprechende Tiefenwerte
für Pixelwerte
der Schirmbasis innerhalb des Framepuffers 82 enthält, die
im Allgemeinen benutzt werden um auf bekannte Art und Weise versteckte
Flächen
zu entfernen. Bei Ermittlung, dass ein Zusammenstoß aufgetreten
ist ermittelt eine Aufprallberechnungsstufe 100, die mit dem
Cursorbewegungsspeicher 88 gekoppelt ist, die Kraft und
die Richtung der den Rückkopplungsanordnungen 92, 94 in nerhalb
der UID 84 auf Basis der vorhergehenden Geschwindigkeit
des Cursors und der zugeordneten Nennträgheit zu liefernden Rückkopplung.
-
Bevor sie den Kraftrückkopplungsanordnungen 92, 94 zugeführt werden,
werden die Horizontal- und/oder Vertikal-Aufprallkräfte in der
Stufe 102 durch Differentale Dx und Dy der betreffenden
Tongradienten, hergeleitet in den Stufen 104 bzw. 106 aus
einem Flächenpuffer 108,
der mit der Renderingstufe 70 gekoppelt ist, moduliert.
Wie bei der Ausführungsform
nach 3 identifiziert
eine Flächenadresse
PADDR von der CPU 72 die zum Herleiten der Tongradienten
zu dem Flächenpuffer 108 zu
verwendenden Pixel. Die in der Stufe 103 durchgeführte Modulation
kann eine einfache Addierung sein, so dass die Aufprallkraftrückkopplung
für eine
bestimmte Komponentenposition innerhalb der virtuellen Umwelt spezifiziert
wird und darüber
hinaus ist die Kraft entsprechend der darüber liegenden Textur. Mit einer derartigen
Modulation schaffen Flächen,
die innerhalb der dreidimensionalen Umwelt der virtuellen Landschaft
modelliert sind, eine Texturrückkopplung auf
eine An und Weise, wie bei der einfachen oben beschriebenen zweidimensionalen
Benutzerschnittstelle.
-
Wie oben erläutert, ist die spezielle Form
der Berührungs-
oder der Kraftrückkopplungsanordnung nicht
ein begrenzender Faktor der vorliegenden Erfindung. Zur Erläuterung
aber werden nun einige Beispielskonfigurationen anhand der 5 bis 8 näher beschrieben.
-
5 ist
eine Draufsicht einer einfachen Maussteuerung 120 mit einem
Paar Betätigungsschalter 122,
von denen einer benutzt werden kann zum Ein- und Abschalten der
Berührungsrückkopplung.
Ein erster Aktuator 124 an der Seite der Maus bewegt ein
und aus, und zwar über
einen Bereich und mit einer Geschwindigkeit, ermittelt durch die
Horizontal-Rückkopplungskraft
und wirkt auf den Daumen des Benutzers (eine Maus mit dem Aktuator 124 auf
der gegenüber
liegenden Seite des Gehäuses wird
für Linkshänder-Betrieb erforderlich
sein). Auf der Vorderseite der Maus ist ein zweiter Aktuator 126 vorgesehen,
der auf die Fingerspitze des Benutzers wirkt um Rückkopplung
zu übermitteln,
berechnet in der vertikalen Richtung. Diese Anordnung hat den Vorteil,
dass eine geschmeidige Bewegung der Maus nicht beeinträchtigt wird,
obschon die Anordnung selber ziemlich robust sein kann, Eine alternative
Anordnung der Maus, die aktiv Bewegungsbremsung benutzt zum Schaffen
von Kraftrückkopplung
ist in 6 schematisch
dargestellt. Nebst den herkömmlichen
drei Unterstützungs-
und Bewegungsdetektionsrollen 130 ist ein Paar Reibungsräder 132 vorgesehen,
und zwar auf Achsen betreffender Bremsmotoren 134. Die
Kraftrückkopplung
wird in Form eines Bremsstroms geliefert, die den Wicklungen der
Motoren 134 zugeführt
werden um der Drehrichtung der Reibungsräder 132 entgegenzuwirken.
-
Eine Anordnung von Berührungsrückkopplungsaktuatoren
für eine
Rollkugelvorrichtung 140 ist in Seitenansicht und Unteransicht
in den 7A bzw. 7B dargestellt. Auf der Unterseite
der Vorrichtung sind vier Aktuatoren 142 vorgesehen, die
als Tragefüße wirksam
sind. Jeder der Aktuatoren 142 ist imstande, eine gesteuerte
Erweiterung oder Zurückziehung
durchzuführen,
und zwar um einen Betrag, ermittelt durch den Rükkopplungspegel, erforderlich
in der horizontalen und/oder vertikalen Richtung, so dass das Gehäuse der
Rollkugelvorrichtung nach vorne oder nach hinten in der X- und in
der Y-Richtung aufgehoben
werden kann zum Schaffen der Berührungsrückkopplungf
ohne Aufprall oder Bewegung der rotierenden Kugel 144.
-
Noch eine andere Ausführungsform,
in Termen einer Joystick-Vorrichtung, ist in 8 dargestellt. Der Joystick 150 ist
auf einer rotierenden Kupplung 152 angeordnet und mit einem
Lagensensor 154 gekoppelt, der eine Angabe der Bewegung
in der X- und Y-Richtung liefert. Die Rückkopplung wird von einem Paar
Aktuatoren 156, die senkrecht angeordnet sind und über Kopplungen 158 mit
einer Fortsetzung des Joysticks 150 gekoppelt sind, wobei
die Aktuatoren 156 derart arbeiten, dass sie einer Bewegung
des Joysticks entgegenwirken, und zwar in einem Ausmaß, das durch
den bestimmten Rückkopplungspegel
bestimmt worden ist.
-
Text in der Zeichnung
-
3
- 50
- Frame-Speicher
- 52
- Wiedergabeprozessor
- 56
- Flächenpuffer
-
4
- 78
- Texturspeicher
- 74
- Weltdaten
- 80
- Cursor-Speicher
- 70
- Rendering
- 76
- Gesichtspunkt
- 82
- Frame-Puffer
- 100
- Aufprall-Berechnungsanordnung
- 108
- Flächenpuffer
- 86
- UID-Bewegung
- 90
- Steuerung
- 102
- Modulator