DE69026417T2

DE69026417T2 - Hochentwickelte Anwenderschnittstelle

Info

Publication number: DE69026417T2
Application number: DE69026417T
Authority: DE
Inventors: Yu Larry An; Gordon Wayne Arbeitman; Evon Constantine Greanias; Alan Richard Tannenbaum; Guy Francis Verrier
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 1989-04-28
Filing date: 1990-01-23
Publication date: 1996-11-14
Anticipated expiration: 2010-01-24
Also published as: CA2007411C; US5157384A; DE69026417D1; CA2007411A1; JPH0320812A; JPH0580009B2; EP0394614A3; EP0394614B1; EP0394614A2

Description

Die Erfindung betrifft Verbesserungen bei der Eingabe von Daten in Digitalrechner. Insbesondere betrifft Sie eine hochentwickelte Anwenderschnittstelle, die es einem Anwender gestattet, ein oder mehrere Eingabegeräte zum Einlesen von Daten in einen Computer auszuwählen, auf dem gerade ein ursprünglich für ein anderes Eingabegerät geschriebenes Programm läuft ist.
In der Vergangenheit wurden Computer lediglich von Wissenschaftlern, Mathematikern und anderen anspruchsvollen, erfahrenen Computeranwendern eingesetzt. Mit dem Fortschreiten der Computertechnologie und insbesondere mit dem Erscheinen des Personalcomputers hat die Datenverarbeitung eine jede gesellschaftliche Ebene und Anwender jedweden Wissensstandes erreicht. Nur für eine geringe Anzahl von Computeranwendern geht der Trend dahin, Computerfachleute oder doch in der Technik der Datenverarbeitung bewandert zu sein. Der Zugang zu Computern wird gerade in Zukunft in dem Maße, wie das Leistungsvermögen und der Nutzeffekt der Computerhard- und Software zunehmen, weiter anwachsen.
Ungeachtet der weiteren Verbreitung von Computern in unserer Gesellschaft hegen viele Bedenken, diese auch anzuwenden. Die traditionelle Textdarstellung und die alphanumerische Tastatur als Eingabegerät sind nicht so rasch zu erlernen, Sie erfordern ein Einprägen des korrekten Formats Dutzender, wenn nicht Hunderter von Steuerbefehlen. Wenn es sich beim Anwender nicht um einen halbwegs guten Maschineschreiber handelt, kann die Dateneingabe lästig und zeitraubend sein. Die Stunden des Probierens, die erforderlich sein können, um sich mit einem einzelnen Softwareabschnitt vertraut zu machen, erweisen sich für den ungeübten Anwender als äußerst frustrierend, der wahrscheinlich be- strebt ist, der ganzen damit verbundenen Mühe aus dem Wege zu gehen.
Es hat sich daher als notwendig erwiesen, solche Eingabegeräte und Computerprogramme zu entwigkeln, die auf dem Fachgebiet als "anwenderfreundlich" bekannt geworden sind. Solche anwenderfreundlichen Geräte und eine solche Software sind in der Weise ausgebildet, daß Sie es einem ungeübten Anwender ermöglichen, gestellte Aufgaben auch ohne ein umfangreiches Üben zu erledigen. Eines der populäreren Eingabegeräte ist das Maus-Zeigegerät. Die Maus erzeugt Signale, die der Richtung und der Strecke entsprechen, die Sie vom Anwender über eine ebene Fläche bewegt wurde. Der Computer reagiert auf diese Information, indem er die Position des Cursors auf dem Computerbildschirm entsprechend ändert, um es dem Anwender zu gestatten, den Cursor auf ein beliebiges angezeigtes Objekt zu richten. Ist der Cursor erst einmal richtig positioniert, so kann der Anwender durch Niederdrükken einer oder mehrerer Tasten vorn an der Maus eine Anzahl von Funktionen zur Ausführung bringen.
Arbeitsphysiologische Studien haben gezeigt, daß ein Gerät, welches es dem Anwender gestattet, Daten unmittelbar auf dem Computerbildschirm einzugeben, in Fachkreisen allgemein als Berührungseingabegerät bekannt, die größte Unmittelbarkeit und Exaktheit zwischen Mensch und Maschine gewährleistet. Eines der ersten Eingabegeräte zur Verwendung an der Bildschirmoberfläche war der Lichtgriffel. Der Lichtgriffel ist ein optischer Detektor in einem transportablen Stift, der gegen die Fläche einer Katodenstrahlröhre gerichtet wird. Die Position des Lichtgriffels wird über die Erfassung der jeweiligen Koordinaten des Lichtpunkts festgestellt, der das Antastraster des Bildschirms verkörpert. Eine zweite Art von Berührungseingabegerät besteht aus einer auf mechanische Deformation ansprechenden Membran, die auf dem Bildschirm angeordnet wird. Die Membran ist ein transparenter Überzug, der aus zwei transparenten Leiterebenen be- steht, die auf einer flexiblen Fläche angeordnet sind. Wird eine Auswahl getroffen, so verschiebt der Anwender eine der Leiterebenen mechanisch, indem er die andere mit einem Finger oder einem Griffel berührt und dadurch die Leiter in elektrischen Kontakt miteinander bringt. Eine geeignete Elektronik und Software übertragen die durch das Berühren der betreffenden Position auf der Bildschirmoberfläche mit dem Finger oder dem Griffel erzeugten elektrischen Signale. Ein anderes Berührungs-Eingabegerät besteht in einem über dem Bildschirm angeordneten kapazitiven, transparenten Überzug, der von einem elektromagnetischen Signal angesteuerte transparente Leiter in sich einschließt. Das Eingabegerät kann die Stelle einer Berührung mit dem Finger über die Anderung in der Kapazität des Überzugs ermitteln, oder es wird wahlweise ein Griffel verwendet, um die elektromagnetischen Signale von dem Überzug zum Computer zurückzuführen, um so die Position des Griffels zu bestimmen. Noch ein anderes Berührungseingabegerät verwendet einen Rahmen, der sich um den Bildschirm herum erstreckt, und der eine Anzahl Lichtquellen für Infrarotoder sichtbares Licht sowie Rezeptoren aufweist, die parallel zueinander in horizontaler und vertikaler Richtung angeordnet sind. Wenn der Finger des Anwenders die Lichtstrahlen unterbricht, registrieren die horizontalen und vertikalen Rezeptoren das Ausbleiben der Signale und lokalisieren hierdurch die Position der vom Anwender beabsichtigten Bedienungshandlung.
Viele andere anwenderfreundliche Eingabegeräte, die auf Aktionen des Anwenders ansprechen, wie z.B. Spracherkennungseinheiten oder digitale Grafiktabletts, sind entwickelt worden.
Ergänzend zu anwenderfreundlichen Oeräten haben sich Entwicklungsingenieure bemüht, anwenderfreundlichere Software zu entwickeln. Eine der hierbei angewandten Techniken besteht darin, dem Anwender ein Menü für die Auswahl der speziellen Programme oder Funktionen bereitzustellen, die ausgeführt werden können. Auf diese Weise braucht der Anwender sich nicht lange Listen von Befehlen in seinem Gedächtnis einzuprägen. Das Menü kann als ausfüllende oder partielle Bildschirmanzeige mit an den Menüeinträgen angrenzenden Leerfeldern vorliegen, zu denen der Cursor mittels Tastatur oder einem anderen cursorbewegenden Gerät geführt wird, um eine bestimmte Bedienungshandlung auszuwählen. Wahlweise kann der Anwender durch eine mit der Menüauswahl verbundene Eingabe eines alphanumerischen Zeichens auf der Befehlszeile eine Aktion auswählen.
Ein anderer, neuerer Trend besteht in der Bereitstellung einer Art Integration von Computeranwendungsprogrammen. Ohne Integration ist der Anwender gezwungen, getrennte Anwendungsprogramme für Textverarbeitung, Datenbank-Handhabung, Grafik und elektronische Post-Funktionen usw. einzusetzen. Oft ist es ziemlich schwierig, die Ausgabedaten der verschiedenen Programme in eine einzige gewünschte Datenausgabe zusammenzufassen. Eine Lösung bestand darin, eine einzige integrierte Software-Einheit zu schreiben, die eine Vielzahl von Anwendungen in sich einschließt und als Multifunktionsprogramm bezeichnet wird. Solche Multifunktionsprogramme umfassen typischerweise Textverarbeitungs-, Tabellen- sowie gewerbliche Grafikanwendungsprogramme.
Ein anderer Lösungsansatz besteht darin, eine integrierte Betriebsumgebung bereitzustellen, wie dies z.B. durch Microsoft WINDOWS oder den IBM-Presentation Manager realisiert ist. Bei dieser Verfahrensweise teilen sich die einzelnen Anwendungsprogramme in die gegebenen Informationen und erscheinen auf dem Bildschirm oftmals gleichzeitig, ein jedes in seinem eigenen Fenster. Durch Auswahl des überzeugendsten Einzel-Anwendungsprogramms kann, im Gegensatz zu Multifunktionsprogrammen, wo der Anwender auf das beschränkt ist, wozu die Anwendungen im Prograirunpaket eben programmiert worden sind, eine sehr viel leistungsfähigere Umgebung für die speziellen Erfordernisse des Anwenders zugeschnitten werden.
Die europäische Patentanmeldung EP-A-0 304 891 offenbart ein Verfahren zur Eingabe von Informationen aus einer externen Quelle wie z.B. einem unabhängig ablaufenden Prozeß eines I/O-Geräts in ein Programm oder einen virtuellen Vorgang. Mit Hilfe von "Ereignissen" werden Informationen auf ein Programm übertragen, die selektiv aus einer Ereignis-Warteschlange ausgelesen werden. Eine Anwendereingabe, wie z.B. eine solche aus einer Tastatur oder einem Mausgerät, werden in spezieller Weise behandelt, um sicherzustellen, daß die Eingaben in einer Multiprozessorumgebung dem richtigen Programm zugeführt werden. Es ist ein Tastaturtreiber eingeschlossen, der in der Lage ist, individuelle Übersetzungstabellen für ein jedes laufende Programm zu nutzen. Anwendereingaben aus einem anwenderaktivierten Gerät werden mittels eines Eingabe-"Trichters" kombiniert, der gewährleistet, daß die Anwendereingabe der richtigen Bestimmung zugeleitet wird.
Während viele anwenderfreundliche Eingabegeräte und viele anwenderfreundliche Computerprogramme entwickelt wurden, hat man diese Bemühungen jedoch nicht sehr erfolgversprechend integriert. Beispielsweise gibt es eine große Anzahl von Programmen, die zur Entgegennahme von Tastatur- oder Mauseingaben geschrieben wurden, die aber Informationen von einem Berührungseingabegerät oder einer Spracherkennungseinheit nicht als solche erkennen. Diese Situation stellt ein ernsthaftes Hindernis für die Einführung und ausgedehnte Anwendung neuer anwenderfreundlicher Eingabegeräte dar. Jedesmal, wenn ein neues Eingabegerät entwikkelt wird, muß ein Programmierer entweder umfangreiche Überarbeitungen an einem großen Bestand bereits existierender Software vornehmen oder er muß ein neues Multifunktionsprogramm oder einen ganzen Satz von Anwendungsprogrammen schreiben. Eine jede der Alternativen trägt aber wesentlich zu Kosten und Zeitaufwand eines Entwicklungsvorhabens bei und kann jenseits der Möglichkeiten der das Eingabegerät entwickelnden Organisation liegen oder den Aufwand im Verhältnis zum erwarteten Nutzen zu stark ansteigen lassen. Hinzu kommt, daß Urheber- und andere Eigentumsrechte den Entwickler des Eingabegeräts an einer Anpassung bestehender Software hindern können. Überdies kann sich neu entwickelte Software als nicht so leistungsfähig oder von den Anwendern gut angenommen erweisen, wie dies bei etablierten, bereits für einen speziellen Zweck verfaßten Anwendungsprogrammen gewöhnlich der Fall ist.
Eine abschließende Erwägung besteht darin, daß der einzelne Anwender vermutlich am besten in der Lage ist, das, was er benötigt, einzuschätzen, jedoch ist kaum anzunehmen, daß er in der Lage oder interessiert ist, umfangreiche Überarbeitungen von Anwenderprogrammen durchzuführen. Von Vorteil wäre es, den Anwender in die Lage zu versetzen, die speziellen Eingabegeräte und Anwenderprogramme auszuwählen, die seinen Zwecken am besten dienlich sein würden, und es ihm sogar bei einem relativ geringen Grad an Sachkenntnis zu ermöglichen, die Komponenten in einer anwenderfreundlichen Schnittstelle zwischen sich und dem Computer zusammenzustellen. Die von einem Programmierer entwikkelte allgemeine Lösung kann nicht das Optimum für die Bedürfnisse eines speziellen Anwenders sein. Es wäre ebenso von Vorteil, wenn dem Anwender die Sicherheit gegeben werden könnte, daß künftige Fortschritte bei Eingabegeräten und Anwendungsprogrammen durch die Schnittstelle mit einem Minimum an Überarbeitung angepaßt werden können.
Es ist daher eine Aufgabe der Erfindung, es dem Anwender zu ermöglichen, zwischen einer Vielzahl von Eingabegeräten zur Eingabe von Daten in ein Computersystem auswählen zu können.
Es ist eine weitere Aufgabe der Erfindung, - Informationen in ein Computersystem über verschiedene Eingabegeräte einlesen zu können, die sich von demjenigen Eingabegerät unterscheiden, für welches das aktive Anwendungsprogramm ursprünglich geschrieben wurde, ohne hierbei den Code des Anwendungsprogramms überarbeiten zu müssen.
Eine weitere Aufgabe der Erfindung besteht darin, es einem relativ unerfahrenen Anwender zu ermöglichen, unter verfügbaren Anwendungsprogrammen und Eingabegeräten auswählen und eine Anwenderschnittstelle erstellen zu können, welche speziell entsprechend seinen Bedürfnissen gestaltet ist.
Eine weitere Aufgabe der Erfindung ist es noch, zukünftige Fortschritte bei anwenderfreundlichen Eingabegeräten und Anwendungsprogrammen in einer Anwenderschnittstelle anpassen zu können.
Schließlich ist es noch eine weitere Aufgabe der Erfindung, es verschiedenen, an ein und demselben Computer arbeitenden Anwendern zu ermöglichen, unterschiedliche Anwenderschnittstellen zur Anpassung individueller Präferenzen bei der Eingabe von Daten aufzubauen.
Die Lösung dieser und anderer Aufgaben wird durch eine hochentwickelte Anwenderschnittstelle erreicht, wie Sie in den beigefügten Ansprüchen gekennzeichnet ist, und die mit einer integrierten Betriebsumgebung arbeitet, auf der eine Vielzahl von Anwendungsprogrammen laufen kann, und die die von der betreffenden Umgebung bereitgestellten Informationen und Bündelungsfunktionen nutzt. Die hochentwickelte Anwenderschnittstelle besteht aus drei Hauptmodulen, nämlich einem Alternativ- Eingabesubsystem-Modul, einem Schnittstellenprofil-Modul sowie einem Umgebungs-Verbindungsmodul. Das Alternativ- Eingabesubsystem-Modul stellt die Kommunikation zwischen den angeschlossenen anwenderfreundlichen Eingabegeräten und dem Rest der hochehtwickelten Anwenderschnittstelle wie auch den Anwendungsprogrammen über die integrierte Betriebsumgebung bereit. Das Alternativ-Eingabesubsystem-Modul empfängt die von den Eingabegeräten erzeugten Eingangssignale und überführt diese in Eingangsinformationen, die in der hochentwickelten Anwender- schnittstelle verwertet werden können.
Das Schnittstellenprofil-Modul umfaßt einen Satz von Anwendungsprofilen, eines für ein jedes Anwendungsprogramm, für das der Anwender ein Eingabegerät in einer Weise benutzen möchte, die sich von der Art und Weise, in der das Anwendungsprogramm ursprünglich geschrieben wurde, unterscheidet. Mit dem Anwendungsprogramm zusammen kann ein völlig neues Eingabegerät verwendet werden, oder der Anwender kann wahlweise die Eingangssignale des vorhandenen Eingabegeräts gegenüber jenen, auf die das Anwendungsprogramm ursprünglich ansprach, abändern. Ein jedes Anwendungsprofil enthält ein Verzeichnis von Eingabeinformationen, welche in Verbindung mit den entsprechenden Befehlen aufgelistet sind, die von dem Anwendungsprogramm genutzt werden können. Das Schnittstellenprofil-Modul kann desgleichen einen Satz von Anwenderprofilen für einen jeden Anwender enthalten, der das betreffende Computersystem nutzt. Das Anwenderprofil enthält ein Verzeichnis von Eingabeinformationen sowie deren entsprechende Befehle, die mehreren Anwendungsprogrammen gemeinsam sein können.
Das Umgebungs-Verbindungsmodul steht im Datenaustausch mit der integrierten Betriebsumgebung und enthält Algorithmen zur Ausführung der für die hochentwickelte Anwenderschnittstelle maßgeblichen Abläufe. Beispielsweise nimmt es die von dem Alternativ-Eingabesubsystem erzeugten Eingabeinformationen entgegen, fragt die integrierte Betriebsumgebung danach ab, welches Anwendungsprogramm gerade aktiv ist, paßt die Eingangsinformationen den entsprechenden Befehlen in dem passenden Anwendungsprofil innerhalb des Schnittstellenprofil-Moduls an und löst eine auf dem Befehlssatz beruhende Aktion, wie z.B. das Absenden von Informationen an das aktive Anwendungsprogramm über die Betriebsumgebung, aus. Die hochentwickelte Anwenderschnittstelle kann des weiteren eine Reihe von Dienstprogrammen, wie z.B. eine Pop-up-Tastatur oder ein Bildlupen-Dienstprogramm, in sich einschließen.
Figur 1 stellt ein Blockdiagramm dar, das die Wechselwirkung der Computer-Systemsoftware und -hardware als Reaktion auf Aktionen verdeutlicht, die sich einer integrierten Betriebsumgebung, wie z.B. des "Presentation Manager", bedienen.
Figur 2 stellt das strukturmäßige Blockschaltbild eines Computersystems gemäß der vorliegenden Erfindung dar, das den Speicher veranschaulicht, in den eine Reihe von Anwendungs- und fletriebssystemprogrammen eingelesen worden sind.
Figur 3 stellt ein Blockschaltbild dar, welches die Wechselwirkung von Computer-Systemsoftware und -hardware in Reaktion auf Anwender-Bedienungsmaßnahmen veranschaulicht, die in Übereinstimmung mit einem ersten Ausführungsbeispiel der vorliegenden Erfindung ausgebildet ist.
Figur 4 stellt ein Flußdiagramm für die Arbeitsweise des ersten Ausführungsbeispiels der vorliegenden Erfindung in Reaktion auf ein Spracheingabesignal dar.
Figur 5 stellt das Diagramm eines Anwendungsprofils dar.
Figur 6 stellt ein Blockschaltbild dar, das die Wechselwirkung von Computer-Systemsoftware und -hardware in Reaktion auf Anwendungs-Bedienungsmaßnahmen zeigt, die in Übereinstimmung mit einem zweiten Ausführungsbeispiel der vorliegenden Erfindung gestaltet sind.
Figur 7 stellt ein Flußdiagramm der Arbeitsweise des zweiten Ausführungsbeispiels der vorliegenden Erfindung in Reaktion auf ein Spracheingabe-Signal dar.
Figur 8 stellt ein Flußdiagramm der Arbeitsweise eines Computermoduls dar, das zwischen einer Berührungseingabe, welche ein Mauszeigegerät emulieren soll, und einer Berührungseingabe, die eigentlich eine Gestenbewegung oder ein Schriftzeichen sein soll, unterscheidet.
Figur 1 zeigt die Wechselwirkung zwischen dem Anwender und dem Computersystem bei Verwendung der Anwendungsprogramme A, B, C und D 50-53 in einer typischen integrierten Betriebsumgebung, wie z.B. dem "Presentation Manager" 56.
Der Anwender gibt Daten über Gerät A (Tastatur) 32, Gerät B (Maus) 34 oder den Berührungssensor 36 ein. In dem Maße, wie der Anwender Daten eingibt, erzeugt das ausgewählte Gerät einen Interrupt, um den geeigneten Treiber zu aktivieren. Im Falle von Tastatur 32 wird Treiber A 60 aktiviert; im Falle der Maus 34 wird Treiber B 62 eingeschaltet, und eine Eingabe am Berührungssensor 36 aktiviert den Berührungstreiber 63. Der geeignete Treiber signalisiert die integrierte Betriebsumgebung 56. Die integrierte Betriebsuingebung verfolgt, welches Anwendungsprogramm aktiv ist, und sendet sämtliche Eingabedaten an dieses Anwendungsprogramm. Wahlweise kann der Anwender die Anwendungsprogramme wechseln, und die integrierte Betriebsumgebung 56 wird die Information sodann dem neuen aktiven Anwendungsprogramm zuleiten. In einer vorzugsweisen Ausführung sind das Anwendungsprogramm A 50 ein Tabellen-/Arbeitsblattbearbeitungsprogramm, das Anwendungsprogramm B 51 ein Textverarbeitungssystem, das Anwendungsprogramm C 52 ein Zeichenprogramm, und das Anwendungsprogramm D 53 bietet die Möglichkeit der elektronischen Nachrichtenübermittlung. Die "Spur" zum aktiven Programm zu halten, stellt eine "fokussierende Funktion", insofern dar, als die integrierte Betriebsumgebung 56 den "Fokus" des Anwenders in einem gegebenen Zeitpunkt bestimmt. Zwecks Veranschaulichung nehme man an, daß der Anwender Daten über die Tastatur 32 eingibt und das Tabellenprogramm 50 das aktive Anwendungsprogramm ist. Das Tabellenprogramm 50 entscheidet dann, welche Operation ausgeführt werden soll. Im allgemeinen wird diese Operation in eine von drei Kategorien einzuordnen sein: Das Tabellenprogramm wird die Bildschirmanzeige 28 ändern, das Tabellenprogramm 50 wird mit anderen E/A-Geräten, wie z.B. einem Drucker, kommunizieren, oder das Tabellenprogramm 50 wird mit anderen Anwendungen kommunizieren. Alle diese Informationen werden von der integrierten Betriebsumgebung 56 verarbeitet.
Während die integrierten Betriebsumgebungen nach dem Stand der Technik einen leichteren Zugriff auf Mehrfachanwendungsprogramme ermöglichen und der Anwender daher in der Lage ist, sich die jeweils für seine Zwecke am besten geeigneten Anwendungsprogramme auszuwählen, kann der Anwender mit dem Anwendungsprogramm nur mit Hilfe der Eingabegeräte kommunizieren, für welche dieses Anwendungsprogramm geschrieben worden ist. Beispielsweise handelt es sich bei dem Tabellenprogramm 50 um ein Programm, das für eine Kombination aus Tastatur 32 und Maus 34 geschrieben wurde. Obwohl ein Berührungstreiber 63 entwickelt werden kann, um durch Umwandlung der vom Berührungssensor 63 erzeugten Eingabesignale in Mausbewegungen und Mausklicks mit der integrierten Betriebsumgebung 56 einheitlich kommunizieren zu können, sind die Möglichkeiten des Berührungseingabegeräts 36 aufgrund des Zeichenvorrats des Mausgeräts beschränkt. Neue Kategorien von Berührungsbefehlen, wie z.B. die Handschriftenerkennung oder Gestenbewegungen, können durch diese Methode nicht so leicht angepaßt werden, insbesondere nicht durch ein Anwendungsprogramm wie z.B. das Tabellenprogramm 50, das nicht in der Lage ist zu verstehen, was die einzelnen Arten von Berührungsbefehlen zu bedeuten haben. Andere neue Eingabegeräte sind in dieser Hinsicht noch drastischer eingeschränkt. Obwohl demnach der Systementwickler oder Anwender gern neue anwenderfreundliche Eingabegeräte in einen individuellen Arbeitsplatzrechner einbeziehen möchte, wird er u.U. feststellen, daß die Nutzung vorhandener Software unmöglich oder doch stark eingeschränkt ist.
Die vorzugsweise Ausführungsfbrm der Erfindung umfaßt eine Gruppe von Computerprogrammen zur Steuerung der Wechselwirkung zwi schen einem Anwender und einem Computersystem, wie es in Fig. 2 dargestellt ist. Die Erfindung ist vorrangig zur Verwendung mit einem Personalcomputer, wie z.B. dem IBM PS/2Wz, gedacht; die Grundsätze dieser Erfindung können jedoch auch auf andere individuelle Arbeitsplatzrechner oder auf noch sehr viel größere Datenverarbeitungssysteme ausgedehnt werden. Das aufbaumäßige Blockschaltbäld von Fig. 2 umfaßt eine Zentraleinheit (CPU) 20, welche über ein Bussystem 22 mit einem Nur-Lese-Speicher (ROM) 24 und einem Direktzugriffsspeicher (RAM) 26 verbunden ist. In dem Computersystem in Fig. 2 sind ferner eine Bildschirmanzeige 28, durch die der Computer dem Anwender Informationen übermittelt, sowie eine Vielzahl von Eingabegeräten einschließlich einer Tastatur 30 und den Geräten A 32 und B 34 enthalten, bei denen es sich zwecks Veranschaulichung in der nachfolgenden Beschreibung um eine zweite alphanumerische Tastatur 32 sowie eine Maus 34 handelt, die aber auch eine spezialisierte Tastatur, wie z.B. eine Zifferntastatur, ein fernbedientes Zeigegerät oder auch eine Anzahl verschiedener anderer Eingabegeräte sein können. Das Computersystem umfaßt weiterhin einen Berührungssensor 36 oder ein Berührungseingabegerät, das an der Oberfläche des Bildschirms 26 zu benutzen ist, einen Sprachsensor 38 sowie einen Bildsensor 40. Die E/A-Einheit 42 kann mit Datenübertragungsnetzen oder anderen E/A-Einrichtungen verbunden sein. Der Direktzugriffsspeicher (RAM) 26 beinhaltet das Anwendungsprogramm A 50, das Anwendungsprogramm B 51, das Anwendungsprogramm C 42 sowie das Anwendungsprogramm D 53. Beispiele für typische Anwendungsprogramme umfassen Textverarbeitungssysteme, Tabellenprogramme, Grafikprogramme, elektronische Post sowie Datenbankprogramme. Der RAM 26 speichert ferner ein Betriebssystem 54, wie z.B. das DOSWz oder das OS/2Wz, sowie ein integriertes Betriebsumgebungsprogramm 56, wie z.B. WINDOWSWZ oder den Presentation ManagerWz, welcher ein gleichzeitiges Ablaufen verschiedener Anwendungsprogramme gestattet. Weitere Software umfaßt den Treiber A 60 sowie den Treiber B 62, welche die von der zweiten Tastatur 32 bzw. der Maus 34 erzeugten elektrischen Signale für die Betriebsumgebung 56 aufbereitet. Der Berührungstreiber 63, die Gestenerkennungseinheit 64 sowie die Zeichenerkennungseinheit 65 verarbeiten die Eingabesignale von dem Berührungssensor. Eingabesignale vom Sprachsensor 38 und dem Bildsensor 40 werden von der Spracherkennungseinheit 66 bzw. von der Bilderkennungseinheit 68 abgearbeitet. Obzwar in Fig. 2 als einheitliche Software dargestellt, können Treiber A 60, Treiber B 62, Berührungstreiber 63, Gestenerkennungseinheit 64, Spracherkennungseinheit 66 und Bilderkennungseinheit 68 auch eine Kombination aus Hardware und Software verkörpern. Schließlich befindet sich im RAM 26 auch die Gruppe der Softwaremodule, welche die hochentwickelte Anwenderschnittstelle 100 komplettieren.

Erstes Ausführungsbeispiel

Fig. 3 zeigt ein in Übereinstimmung mit der vorliegenden Erfindung gestaltetes Computersystem. Statt über einen Standardgerätetreiber mit der integrierten Betriebsumgebung 56 verbunden zu sein, ist mindestens eines aus der Vielzahl der Eingabegeräte über eine Erkennungseinheit mit der hochentwickelten Anwenderschnittstelle 100 verbunden. In Fig. 3 sind der Sprachsensor 38 und der Bildsensor 40 über ihre entsprechenden Erkennungseinheiten, die Spracherkennungseinheit 65 und die Bilderkennungseinheit 68, mit der hochentwickelten Anwenderschnittstelle (AUI) 100 verbunden. Eine Tastatur 32 sowie eine Maus 34 bleiben über ihre entsprechenden Treiber, Treiber A 60 und Treiber B 62, mit der integriertend Betriebsumgebung 56 verbunden, zumal viele Anwendungsprogramme eine Tastatur- und Mauseingabe als solche erkennen. Schließlich ist in Fig. 3 der Berührungssensor 36 sowohl mit der integrierten Betriebsumgebung 56 nämlich über den Standardberührungstreiber 63 als auch mit der hochentwickelten Anwenderschnittstelle 100 über die Gestenerkennungseinheit 64 und die Zeichenerkennungseinheit 65 verbunden. Der Berührungstreiber 63, die Gestenerkennungseinheit 64 und die Zeichenerkennungseinheit 65 übersetzen die Signale von dem Berührungssensor 36 und erzeugen Gesten- bzw. Zeichen-"Token". Die Aufeinanderfolgen der Positionen eines Fingers oder Griffels auf der Oberfläche des Berührungssensors 36 können mittels der Zeichenerkennungseinheit 65 als handschriftliche alphanumerische Schriftzeichen oder durch die Gestenerkennungseinheit 64 als eine Gestenbewegung, wie z.B. einen Kreis aus einem rechtsgängigen Pfeil, erkannt werden. Die Spracherkennungseinheit 66 digitalisiert den vom Sprachsensor 38 erhaltenen Klang und bildet Muster aus, die zur Erzeugung von Sprach-"Token" mit zuvor definierten Klangmustern auf Übereinstimmung geprüft werden. Die Bilderkennungseinheit 68 verarbeitet Informationen vom Bildsensor 40 und liefert an ihrem Ausgang Bild-"Token". Ein "Token" ist ein Eingabesignal, das eine Reihe elektrischer Signale verkörpert, die von einem Eingabegerät erfaßt wurden. So können beispielsweise die Punktreihen, die zusammenkommen, wenn ein Anwender einen Kreis auf dem Berührungssensor zeichnet, als "Kreis-Token" definiert werden. Die Kopplung des Berührungssensors 36 an die integrierte Betriebsumgebung 56 ermöglicht es dem Anwender, sich Anwendungsprogramme, die speziell für den Berührungssensor 36 geschrieben wurden, oder andere vorliegende Anwendungsprogramme, für die nur einfache Mauseingabesignale benötigt werden, zunutze zu machen. Zumal der Berührungssensor 36 über die Gestenerkennungseinheit 64 und die Zeichenerkennungseinheit 65 ebenfalls mit der AUI verbunden ist, können, aufgrund des Übersetzungsvermögens der hochentwickelten Anwenderschnittstelle 100, auch Anwendungsprogramme, die eine Berührungseingabe nicht erkennen, noch Gestenoder Zeichen-"Token" akzeptieren.
In anderen Ausführungsbeispielen ist vorgesehen, die Tastatur 32 und die Maus 34 sowohl mit der AUI 100 als auch mit der integrierten Betriebsumgebung 56 zu verbinden, wie dies auch bei dem Berührungssensor 36 der Fall ist. In noch anderen Ausführungsbeispielen sind sämtliche Eingabegeräte direkt und allein an die AUI 100 angeschlossen. Unter Verwendung eines Tastatur-AUI-Verbindungsglieds könnte ein Anwender die normalen, mit der Tastatur erzeugten Befehle für ein Anwendungsprogramm durch solche ersetzen, die er für das Eingeben oder Abspeichern praktischer findet. Da die AUI 100 als ein Anwendungsprogramm geschrieben wurde, ist Sie auch in der Lage, die Kommunikations- und Bündelungsmöglichkeiten der integrierten Betriebsumgebung zu nutzen.
Eine andere bevorzugte Ausführungsform der vorliegenden Erfindung verwendet einen einzelnen Zeigegerät-Treiber (nicht dargestellt), um die Funktionen von Treiber B 62 und Berührungstreiber 63 zu kombinieren, indem Sie eine Eingabe sowohl von der Maus 34 und dem Berührungssensor 36 äls auch von einem beliebigen anderen Zeigegerät akzeptiert. Dieses Ausführungsbeispiel ist besonders an das Arbeiten mit dem in U.S.-Patent Nr. 4 868 332, angemeldet am 26. Juni 1986, Inhaber E. Greanias et al. mit dem Titel "Combined Finger Touch and Stylus Detection System for Use on the Viewing Surface of a Visual Display Device" beschriebenen Eingabegerät oder mit dem Griffel mit Fernabfrage, wie er in der gemeinschaftlich übertragenen Patentanmeldung, Aktenzeichen (Serien-Nr.) 264,409, angemeldet am 28. Okt. 1988 durch E. Greanias et al., mit der Bezeichnung "Remotely Sensed Personal Stylus" beschrieben ist, welche hiermit über die Verweisung einbezogen sind. Der Treiber für das Zeigegerät entscheidet zwischen Mauseingabe von Maus 34 und der Finger- und Griffeleingabe von Berührungseingabegerät 36 und sendet geeignete Eingabeinformationen an die integrierte Betriebsumgebung 56.
Zurückgehend auf Fig. 3 ist die AUI 100 ferner in verschiedene Computer-Codemodule eingeteilt. Das Umgebungs-Verbindungsmodul 101 enthält Algorithmen zur Ausführung der Befehlsteile der AUI 100 und stellt Kommunikationsmöglichkeiten mit der integrierten Betriebsumgebung 56 bereit. Das alternative Eingabe-Subsystem (AIS) 103 stellt eine Schnittstellenbeschreibung bereit, die dem Entwickler neuer, anwenderfreundlicher Eingabegeräte, wie es beispielsweise ein Sprachsensor 38 ist, eine nahtiose gegenseitige Verbindung mit der hochentwickelten Anwenderschnittstelle 100 gestattet. Das AIS übersetzt die von den Eingabegeräten und deren entsprechenden Erkennungseinheiten gesendeten Eingabesignale zu Eingangsinformationen, die von dem Rest der hochentwikkelten Anwenderschnittstelle 100 genutzt werden können. Ein Teil einer jeden Eingangsinformation, wie z.B. ein GS/-Präfix zur Kennzeichnung einer Gestenbewegung, dient dazu, das Eingabegerät, von dem das Eingangssignal empfangen wird, zu identifizieren. In diesem Ausführungsbeispiel versieht das AIS 103 eine jede Eingangsinformation mit einer Zeitmarke, so daß das richtige Anwendungsprogramm auch die passenden Befehle erhält.
Das Schnittstellenprofil-Modul 104 besteht aus den von den Anwendungsprofilen 105 sowie den Anwenderprofilen 107 gebildeten Sets, welche Dateien darstellen, die Eingabeinformationen auflisten, welche von dem AIS 103 aus jenen Eingangssignalen, die von den Eingabegeräten 36, 38, 40 empfangen, zu Tastatur-, Mausoder anderen, von vorliegenden Anwendungsprogrammen, beispielsweise Mausklicks, Tastenanschlagsinformationen, MACROs, Dienstprogrammen usw., nutzbaren Befehlen zusammengestellt sind, erzeugt wurden. Das Dienstprogramm der hochentwickelten Anwenderschnittstelle (AUI-Dienstprogramm) 109 stellt eine Serie von Dienstprogrammen dar, wie beispielsweise eine Pop-up-Tastatur oder ein Bildlupen-Dienstprogramm, welche mit der AUI genutzt werden können. Wie gezeigt, kann das AUI-Dienstprogramm 109 als ein getrenntes Anwendungsprogramm oder auch als eine Reihe von Anwendungsprogrammen geschrieben sein, so daß es die Informationsübertragungsmöglichkeiten der integrierten Betriebsumgebung 56 nutzen kann, um mit anderen Anwendungsprogrammen zu kommunizieren.
Einige wenige Beispiele für Dienstprogramme, welche in den Dienstprogrammen 109 der hochentwickelten Anwenderschnittstelle vertreten sein können, umfassen eine "POP-up"-Tastatur, eine "Pop-up"-Zifferntastatur, ein Bi ldlupen-Dienstprogramm sowie einen Kontrollstreifen für elektronische Post. Bei der "Pop-up" Tastatur und der "Pop-up"-Zifferntastatur handelt es sich um Funktionen, die vorzugsweise für das Zusammenwirken mit einem Berührungseingabegerät an der Bildschirmoberfläche ausgebildet sind. Durch Ausgabe eines passenden Befehls, beispielsweise durch Ausführung einer kreisförmigen Gestenbewegung oder Berühren eines Tastatur-Icons, erscheinen Tastatur oder Tastenblock automatisch ("pop-up") auf dem Bildschirm. Durch Berühren der auf dem Bildschirm angezeigten Tasten kann ein Anwender rasch ganze Spalten alphanumerischer Informationen direkt auf dem Bildschirm eingeben, indem er auf diese Weise die Notwendigtkeit beseitigt, seine Aufmerksamkeit der manuellen Tastatur zuwenden zu müssen. Der für die Tastatur oder den Tastenblock benötigte Platz ist sehr bescheiden und beeinträchtigt die Arbeitsfläche der Tabellenbearbeitung, der Textverarbeitung usw., die ja das aktive Anwendungsprogramm darstellen, nicht gänzlich. Das Bildlupen-Dienstprogramm vergrößert ein Rechteck bestimmter Größe um einen Punkt herum, an dem eine geeignete Gestenbewegung gemacht wurde. Das Dienstprogramm gestattet eine sehr genaue Positionierung eines Cursors in dem erweiterten Bild. Nach dem Abheben des Griffels werden die normale Größe der Anzeige wieder hergestellt und die ausgewählten Cursorkoordinaten an das aktive Anwendungsprogramm gesendet.
Das Flußdiagramm in Fig. 4 veranschaulicht den Arbeitsablauf im Computersystem von Fig. 3 in Reaktion auf ein Sprach-Eingangs signal. Das aktive Anwendungsprogramm ist das Tabellenprogramm 50, und auf dem Bildschirm 28 wird dem Anwender gleichzeitig mit einem Menübalken von dem Anwender zur Verfügung stehender Funktionen ein Matrixfeld ausgewählter Daten präsentiert. Anstatt eine Reihe von Tasten auf der Tastatur anzuschlagen, entscheidet sich der Anwender bei der Eingabe von Daten in das Computersystern für die Verwendung eines anderen Eingabegeräts, nämlich des Sprachsensors 38. In Reaktion auf die Artikulierung des Worts "Graph" durch den Anwender, erzeugt der Sprachsensor 38 bei 111 elektrische Signale und sendet diese an die geeignete Übersetzungsvorrichtung, die Spracherkennungseinheit 66. In Reaktion auf diese elektrischen Signale wird die Spracherkennungseinheit bei 113 aktiviert und sendet ein geeignetes Eingabesignal, nämlich ein Sprach-Eingabe-"Token", an das Alternativ-Eingabesubsystem 103. Bei 115 übermittelt das AIS 103 eine Eingabeinformation an das Umgebungsverbindungsglied 101, welche eine Information über den Zeitpunkt enthält, an dem das Eingangssignal erhalten wurde, und welches Eingabegerät das Signal gesendet hat. In Reaktion auf die Eingabeinformation fragt das Umgebungs-Verbindungsglied 101 bei 117 die integrierte Betriebsumgebung 56 danach ab, welches Anwendungsprogramm gerade aktiv ist. Nach Bestimmung des aktiven Anwendungsprogramms, des Tabellenprogramms 50 bei 119, nimmt das Umgebungs-Verbindungsglied 101 Bezug auf das Anwendungsprofil 105 des Tabellenprogramms 50 hinsichtlich des Befehls, welcher der Eingangsinformation "Graph" entspricht, und der von dem Tabellenprogramm 50 erkannt wird, d.h. die Menüauswahl --graph--. Das Umgebungs-Verbindungsglied 101 prüft dann bei 121 das Anwenderprofil 107, um festzustellen, ob dort ein Befehl mit einer höheren Priorität anliegt, der den Befehl vom Anwendungsprofil 105 unwirksam machen würde. Das Umgebungs-Verbindungsglied 101 bei 125 sendet sodann den Befehl mit der höheren Priorität, in diesem Beispiel den Menüauswahl- Befehl vom Anwendungsprofil 105, an die integrierte Betriebsumgebung 56, die den Befehl an das Tabellenprogramm 50 des aktiven Anwendungsprogramms weiterleitet Das Tabellenprogramm 50 bei 127 führt in Reaktion auf diesen Befehl die geeignete Aktion aus, in diesem Fall die grafische Darstellung der gerade ausgewählten Daten und den Wechsel der dem Anwender auf dem Bildschirm 28 dementsprechend präsentierten Information.

Schnittstellenprofile

Um sich von dem Leistungsvermögen und der Flexibilität der hochentwickelten Anwenderschnittstelle 100 ein Bild machen zu können, müssen die Anwendungsprofile 105 und die Anwenderprofile 107 des Schnittstellenprofils 104 ausführlicher erläutert werden. Beide Profilarten verbinden Verzeichnisse von Eingabeinformationen mit einem Verzeichnis der entsprechenden Befehle, die von dem passenden Anwendungsprogramm, dem Umgebungs-verbindungsmodul 101 oder von der integrierten Betriebsumgebung selbst erkannt werden. Der Befehl kann aus dem Namen des Programms, einer Anweisung, welche von der integrierten Betriebsumgebung erkannt wird, oder einem MACRO bestehen. Ein MACRO ist eine Datei, die einen beliebig langen String von "Ereignissen" und/oder Dienst- Programmen enthält. Ein "Ereignis" im Sinne dieser Beschreibung ist eine Eingabeinformation, die aus einer Aktion des Anwenders, beispielsweise einem einzelnen Tastenanschlag, der Betätigung einer Maustaste, dem Loslassen einer Maustaste, einem Mausdoppelkucken, einer einzelnen Menüauswahl, einer einzelnen Gestenbewegung oder einem anderen "Token" oder der Wahl einer einzel-, nen Beschleunigertaste, resultiert. Ein Beispiel für ein Dienstprogramm ist die Pop-up-Tastatur. Ein MACRO kann auch andere zuvor definierte MACROs als Befehle verarbeiten. Beschleunigertasten sind oftmals ein Wesensmerkmal der integrierten Betriebsumgebung 56. Sie legen die Tastenanschlagsfolge fest, die eine bestimmte Menüauswahl emuliert. Beispielsweise kann eine Anwendung vorgeben, daß der DELETE-Taste die gleiche Funktion zukommt wie einer Wahl von "CUT" aus dem EDIT-Menü und daß SHIFT/INSERT das gleiche ist, wie die Wahl von PASTE aus dem EDIT-Menü. Diese beiden Beispiele sind in der Tat allgemein angewandte Beschleuniger.
Jedes Anwendungsprogramm kann sein eigenes Anwendungsschnittstellenprofil 105 haben, das Verzeichnisse der Eingabeinformationen sowie deren entsprechende Befehle für ein jedes Eingabegerät enthält, das mit dem Alternativ-Eingabesubsystem 103 verbunden ist. Beispielsweise kann ein Anwendungsprofil die in Fig. 5 gezeigten Eingabeinformationen und -befehle enthalten. Das Muster-Anwendungsprofil zeigt Eingabeinformationen, die zusammen mit Kommentaren, welche dem Anwender angezeigt werden sollen, und die die Bedienungsmaßnahme beschreiben, die erforderlich ist, um die Eingabeinformation zu erzeugen, und zusammen mit Kommentaren, die die Reaktion des Computersystems auf den Empfang solcher Eingabeinformationen beschreiben, wenn die gegebene Anwendung aktiv ist, gegen den entsprechenden Befehl aufgelistet sind.
Die gleiche Eingabeinformation von der AIS 103 ruft an unterschiedlichen Anwendungsprofilen 105 generell ein unterschiedliches MACRO auf. Beispielsweise kann ein bestimmtes Anwendungsprofil 15 vorgeben, daß ein mit "Cut/Paste" bezeichnetes MACRO in Reaktion auf eine rechtsgerichtete Pfeil-Gestenbewegung ausgeführt werden soll, während ein hiervon verschiedenes Anwendungsprofil 105 die nach rechts gerichtete Pfeil-Gestenbewegung einer Tastenfolge "Form 201 (ENTER)" zuordnet. Wenn die Gestenerkennungseinheit 64 eine von dem Berührungssensor 36 ausgehende, nach rechts gerichtete Pfeil-Gestenbewegung erkennt, ruft sie das Umgebungs-Verbindungsglied 101 auf, welches das Anwendungsprogramm bestimmt, zu dem das augenblicklich aktive Fenster gehört. Das Umgebungs-Verbindungsglied 101 liest das entsprechende Anwendungsprofil 105, kombiniert diese Information mit dem zutreffenden Anwenderprofil 107, indem es hierbei den Befehl mit der höheren Priorität wählt, und gibt sodann den Befehl an das aktive Anwendungsprogramm, die integrierte Betriebsumgebung 56 oder an andere geeignete AUI-Module aus.
Das Anwenderprofil 107 enthält Befehle, die allen oder doch mehreren der Anwenduhgsprogramme 50-53 gemeinsam sind. Für jeden Systemanwender kann auch ein gesondertes Anwenderprofil 107 geschrieben werden. Die hochentwickelte Anwenderschnittstelle kann den aktiven Anwender während der Anmeldeprozeduren feststellen. Eintragungen im Anwenderprofil 107 können dazu dienen, sich über jene in den Anwendungsprofilen hinwegzusetzen. Eine solche Situation kann aktuell werden, wenn ein bestimmter Anwender es vorzieht, Daten in einer Weise einzugeben, die sich von der durch das - für eine Gruppe von Systemnutzern geschriebene - Anwendungsprofil 105 bereitgestellten Art unterscheidet. Das Anwenderprofil 105 kann auch dazu dienen, eine umfassende standardmäßige Aktion zu bewirken, d.h., wenn in dem passenden Anwendungsprofil 105 eine spezielle Eingabeinformation durch das PM-Verbindungsglied 101 nicht gefunden wurde. Wo ein Anwenderprofil 107 für eine umfassende Standardaktion genutzt wird, kann dem Anwendungsprofil 105, das über ein MACRO für eine gegebene Eingabeinformation verfügt, eine gegenüber der Standard aktion höhere Priorität gegeben werden.
Während die vorzugsweisen Ausführungsformen der vorliegenden Erfindung einen Unterschied zwischen den Anwendungsprofilen 105 und den Anwenderprofilen 107 machen, ist es in anderen Ausführungsbeispielen auch möglich, für jeden Anwender gesonderte Anwendungsprofile 105 zu schreiben. Wo das Schnittstellenprofilmodul 104 in dieser Weise organisiert wurde, würde sich die Umgebungs-Verbindungseinheit 101 auf ein Standard-Anwendungsschnittstellenprofil 105 beziehen, sofern ein Anwendungsprofil 105 für einen speziellen Anwender nicht existiert. Das Standardanwendungsprofil 105 würde zusammen mit dem Anwendungsprogramm, dem Eingabegerät oder auch durch den Programmierer, der das Computersystem konfiguriert, bereitgestellt. Wie gegenwärtig ins Auge gefaßt, wird für ein gegebenes Anwendungsprogramm generell ein Anwendungsprofil 105 mit der Anwendung selbst bereitgestellt. Wahlweise können sämtliche Anwendungsprofile 105 ebenso wie ein allgemeines Anwenderprofil 107 vom Systemprogrammierer bereitgestellt werden. Für einen weniger erfahrenen Anwender, der nicht den Wunsch hegt, die Leistungsfähigkeit der hochentwickelten Anwenderschnittstelle 100 auszuloten, werden die Standardprofile gewöhnlich ausreichend sein. Viele Anwender werden jedoch die hochentwickelte Anwenderschnittstelle 100 ihren speziellen Wünschen und Anforderungen entsprechend zuschneiden wollen. Deshalb wird es dann erforderlich, eine vorhandene Anwendung oder ein vorhandenes Anwenderprofil zu modifizieren oder diese zu schreiben.
Das Bedienungsfeld der hochentwickelten Anwenderschnittstelle, eines der Dienstprogramme 109 der hochentwickelten Anwenderschnittstelle, erlaubt es dem Anwender, viele der AUT-Funktionen bedarfsgerecht zu modifizieren, um in einer äußerst leistungsfähigen und anwenderfreundlichen Weise ein anwenderspezifisches Profil zu schaffen. Obwohl die hochentwickelte Anwenderschnittstelle 100 eine recht fortgeschrittene Maschinensprache beinhaltet, ist es durch die Verwendung des Bedienungsfeldes nicht erforderlich, daß der Anwender deren Arbeitsweise versteht. Unter den von dem AUI-Bedienungsfeld dargebotenen Funktionen ist auch die Fähigkeit, Profile zu modifizieren oder zu erzeugen. Dies wird durch den Aufruf des Moduls zur Erstellung/Modifizierung eines Schnittstellenprofils des AUI-Bedienungsfeldes erreicht, indem man aus dem Bedienungsfeld-Menü "PROFILE" auswählt. Das Bedienungsfeld fragt beim Anwender zunächst den Namen des Profils ab, das modifiziert werden soll. An diesem Punkt wird dem Anwender ein Menü des geeigneten Profils angezeigt, das eine Auflistung von Beschreibungen von Anwenderaktionen wie z.B. einer Kreis-Gestenbewegung, "cut" Sprachkommando usw. in Gegenüberstellung einer Beschreibung der Maßnahme umfaßt, die vom Computer, d.h. dem MACRO, in Reaktion auf die Anwenderaktion ausgeführt wird. Ist mit dem eingegebenen Namen ein Anwendungsoder Anwenderprofil nicht verknüpft, so erzeugt das Dienstprogramm ein neues Profil und zeigt ein leeres Menü an. Der Anwender bewegt den Cursor durch das Menü, um die Informationen in dem Profil zu ergänzen oder zu modifizieren, und ruft sodann die Befehlsaufzeichnungsfunktion oder die MACRO-Aufzeichnungsfunktion auf. Um beispielsweise zur Position 1 in Fig. 5 zurückzukehren, kann eine einzelne Zeile des Menüs für das Tabellenkalkulations-Anwendungsprofil wie folgt gelesen werden:
ANWENDEBAKTION
KREIS-GESTENBEWEGUNG
STEUERBEFEHL
Aufruf der Pop-up-Tastatur
am Berührungssensor
Wenn der Anwender die Eingabeinformation von einer Kreis-Gestenbewegung in eine rechtsläufige Pfeilbewegung ändern möchte, bewegt er den Cursor in das Anwender-Aktionsfeld und wählt "USER ACTION" aus dem Menü. Der Anwender wird veranlaßt, die Bedienungsmaßnahme auszuführen, durch die er die Pop-up-Tastatur aufrufen möchte, und wird sodann weiter veranlaßt, eine Textbeschreibung der Bedienungsmaßnahme hinzuzufügen, die im Menü angezeigt werden soll. Möchte der Anwender in ähnlicher Weise das durch eine Kreis-Gestenbewegung aufgerufene MACRO ändern, so bewegt er den Cursor in das MACRO-Feld und gibt den Namen des MACROs ein, das ausgeführt werden soll.
Der Anwender erzeugt ein neues Profil in ähnlicher Weise wie bei der Modifizierung eines vorliegenden Profils. Zunächst ist der Cursor in ein leeres Anwenderaktionsfeld zu bewegen, "USER ACTION" in dem Menü auszuwählen, wenn dies abgeschlossen ist, der Cursor in das entsprechende Macrofeld zu bewegen, ein MACRO-Name oder ein anderer Befehl einzugeben, und so fort, bis das Profil vollständig ist. Somit ergibt-sich für einen relativ ungeübten Anwender eine relativ unkomplizierte Prozedur, um die Profile der hochentwickelten Anwenderschnittstelle für jene Anwendungsprogramme zu erstellen, die er sich ausgewählt hat, damit sie ihm die Eingabe von Daten in ein Computersystem auf eine vorteilhafte Art und Weise ermöglichen.
Ein MACRO kann unabhängig von der Aufstellung eines Anwenderoder Anwendungsprofils erstellt werden. Im "Presentation Manager 56 gibt es beispielsweise drei zusammenwirkende Dienstprogramme, die es dem Anwender gestatten, ein MACRO zu erstellen, ein MACRO zu modifizieren und auch ein MACRO ablaufen zu lassen.
Das MACRO-Erstellungs-Dienstprogramm (MCU) ist ein Programm des "Presentation Manager", das als Übungs-, bedienergeführtes oder vollständig unsichtbares Dienstprogramm installiert werden kann. Es kann von dem standardmäßigen Programmlader oder über eine bestimmte Gestenbewegung oder ein anderweitiges Eingabesignal aufgerufen werden. Seine Aufgabe besteht darin, die Befehlsabfolge des Anwenders für einen künftigen Wiederablauf aufzuzeichenen. Der Anwender startet nur das MCU, führt die gewünschte Abfolge von Operationen aus und stoppt dann das MCU. Das MCU fordert dann den Anwender zur Mitteilung der erforderlichen Information wie z.B. des Namens des MACROs auf. Ist das MACRO einmal benannt, kann der Anwender die Verwendung dieses MACROs steuern, indem er in beliebigen seiner Anwendungsprofile oder in seinem Anwenderprofil auf dieses MACRO Bezug nimmt.
Das MACRO-Modifizierungs-Dienstprogramm (MMU) ist ein Programm des "Presentation Managers", welches dem Anwender über ein zuvor erstelltes Macro einen einzelnen Schritt ermöglicht. Das MMU bringt eine englischsprachige Beschreibung eines jeden Schritts in dem Macro zur Anzeige, bevor dieses zum Ablauf gelangt. An einem beliebigen Punkt des Wiederablaufs kann der Anwender einen oder mehrere Befehle in dem Macro abändern. Die Modifikation kann (für den erfahrenen Macro-Schreiber) durch Überarbeiten des Inhalts des in englischer Sprache gehaltenen Fensters oder durch Einschalten der Aufzeichnungsfunktion, um früher gespeicherte Befehle zu überschreiben, erfolgen. Das MMU gestattet dem Anwender, MACROs rasch zu testen, Fehler in MACROs zu beseitigen und MACROs zu modifizieren. Es versetzt den Anwqnder auch in die Lage, MACROs durch Modifizierung bereits vorliegender MACROs zu erstellen, die bereits das meiste von dem leisten können, was der Anwender benötigt.
Das Macro-Ausführungs-Dienstprogramm (MEU) ist ein Programm des "Presentation Manager", welches eine Macro-Wiedergabe mit voller Geschwindigtkeit gewährleistet. Das MEU kann durch die Umgebungsverbindungseinheit 101 aufgerufen werden, sobald der Anwender die entsprechende Gestenbewegung ausführt. Wird beispielsweise eine linksgängige Gestenbewegung erkannt, so vergewissert sich die Umgebungsverbindungseinheit 101 in dem laufenden Anwenderprofil, ob diese Gestenbewegung "generell" gesperrt ist. Ist dies nicht der Fall, so ermittelt die Umgebungsverbindungseinheit 101 den Namen der aktiven Anwendung und liest das entsprechende Anwendungsprofil, um zu ermitteln, welches MACRO (falls eines vorhanden ist) an die linksgängige Pfeil-Gestenbewegung für diese Anwendung gebunden ist. Die Umgebungsverbindungseinheit 101 ruft dann, sofern erforderlich, das MEU auf.
Mit Bezug auf ein Berührungseingabegerät, das an die Stelle eines Mauszeigegerats getreten ist, wird ein Beispiel für ein Standard-Anwenderprofil beschrieben. Da viele Programme eine Mauseingabe erkennen, könnte eine große Anzahl von Anwendungsprogrammen unter Verwendung dieses Standardprofils betrieben werden.
In diesem Beispiel kann die hochentwickelte Anwenderschnittstelle in einen Modus aus einer Vielzahl von Funktionszuständen versetzt werden, die bestimmen, welche mausäquivalenten Befehle in dem Anwenderprofil im Ergebnis von Griffel- oder Fingeraktionen gefunden werden. Wenn sich das AUI im Modus eins befindet, entstehen durch einen Berührungskontakt keine Maustasten-Informationen, vielmehr erzeugt dieser Mausbewegungs-Steuerbefehle, während ein Finger oder ein Griffel in dem Berührungsfeld bewegt werden. Nach dem Abheben des Griffels wird eine Tastenbetätigungs- Tastenfreigabe-Befehlssequenz an das Anwendungsprogramm gesendet. Modus eins gestattet eine exakte Positionierung des Cursors, ehe ein Arbeitsschritt durch die aktive Anwendung ausgeführt wird. Befindet sich die hochentwickelte Anwenderschnittstelle in Modus zwei, werden durch einen Berührungskontakt keinerlei Maustasten-Steuerbefehle erzeugt; durch Bewegen des Griffels werden Mausbewegungsinformationen erzeugt, und nach einem Abheben wird ein Maus-Doppelklick erzeugt. Wenn sich das AUI in Modus drei befindet, werden auf einen Berührungskontakt hin ein Maustastenbetätigungsbefehl und nach dem Abheben des Griffels ein Maustastenfreigabebefehl erzeugt. Der Modus drei erweist sich für das Ziehen von Bildschirmobjekten (Icons etc.), für eine Dimensionierung von Fenstern sowie eine Markierung von Flächen in einer Windows-Benutzeroberfläche als nützlich (z.B. Markieren von Text, der bewegt werden soll) . Diese Arbeitsweisen können manuell durch wiederholtes Berühren des Berührungsfeldes an einem Icon, das anzeigt, in welchem Modus sich das AUI befindet, oder automatisch durch das Anwendungsprofil ausgewählt werden.

Zweites Ausführungsbeispiel

Fig. 6 zeigt ein anderes Ausführungsbeispiel der hochentwickelten Anwendungsschnittstelle, in dem der "Presentation Manager" 156 als integrierte Betriebsumgebung verwendet wird, und OS/2 154 ist das auf dem Computersystem laufende Betriebssystem. Wegen der Besonderheiten des OS/2 154 und des "Presentation Managers" 156, ist hier ein etwas abweichender Aufbau der hochentwickelten Anwenderschnittstelle 200 erforderlich. OS/2 verfügt über ein einzelnes Warteschlangen-Modul, das sämtliche Eingaben mit einer Zeitmarke versieht, und das fordert, daß alle Eingaben in diesem-Modul in der Reihenfolge in eine Warteschlange aufgenommen werden, in der sie dem Computersystem übermittelt wurden. Daher müssen sämtliche der wechselnden Eingabegeräte über das OS/2 154 geführt werden, ehe sie von dem Umgebungs-Verbindungsmodul PM-Link 201 verarbeitet werden können. Darüber hinaus gestattet die vorliegende Implementierung des Merkmals der einzelnen Warteschlange lediglich eine Tastatur- und Mauseingabe, verarbeitet aber nicht die Eingaben aus einem Berührungseingabegerät oder anderen wahlweisen Eingabegeräten.
Diese Einschränkungen führen zu der in Fig. 6 gezeigten Gestaltung einer hochentwickelten Anwenderschnittstelle. Sämtliche Eingabegeräte wie Tastatur 130, Oerät C 132, Gerät D 134, Gerät E 136 und Gerät F 138 laufen über OS/2 154, um der einzelnen Warteschlange des OS/2 154 hinzugefügt zu werden. Die Tastatur 130 läuft unmittelbar über einen Standard-Gerätetreiber zum OS/2 154. Gerät C 132, Gerät D 134, Gerät E 135 und Gerät F 138 laufen entsprechend über den gerätespezifischen Code 141, 142, 143 bzw. 144 zu dem Alternativ-Eingabesubsystem 203, ehe sie an die einzelne Warteschlange des OS/2 weitergereicht werden. Da die einzelne Warteschlange nur eine Tastatur- oder Mauseingabe verarbeitet, überführt das Alternativ-Eingabesubsystem 203 die Eingabesignale von Gerät C 132, Gerät 134, Gerät 136 und Gerät 138 in Maus- oder Tastatur-Eingabeinformatione.n Da darüber hinaus das OS/2 154 Berührungs-, Sprach- oder Bild-"Token" nicht als Eingabeinformationen verarbeitet, werden alle diese Eingaben als eine Reihe von Mausbewegungspunkte oder andere "Ereignisse" hindurchgereicht. Das OS/2 leitet die Eingabeinformationen dann an den "Presentation Manager" 156 weiter, der hinsichtlich des aktiven Anwendungsprogramms auf dem laufenden ist.
In Fig. 6 wirkt die PM-Kopplungseinheit 201, das Umgebungsverbindungsmodul der hochentwickelten Anwenderschnittstelle 200, als ein Filter zwischen dem "Presentation Manager" 156 und den Anwendungsprogrammen, nämlich der Anwendung E 150, der Anwendung F 151, der Anwendung G 152 sowie der Anwendung H 153. Nach dem Erhalt einer Eingabeinformation vom "Presentation Manager" 156 zusammen mit einer Information darüber, welches das aktive Anwendungsprogramm ist, veranlaßt die PM-Kopplungseinheit 201 eine Rückfrage bei dem Alternativ-Eingabesubsystem 203, um zu ermitteln, ob es sich bei der erhaltenen "Tastatur"- oder "Maus"-Information tatsächlich um eine Tastatur- oder Mausinformation oder eher um eine Berührungs-, Sprach-, Bild- oder noch eine andere Information handelt. Die PM-Kopplungseinheit 201 reicht sodann die richtige Information an das passende Anwendungsprogramm weiter. Die übrigen Module der hochentwickelten Anwenderschnittstelle 200 werden solange nicht aufgerufen, bis das aktive Anwendungsprogramm anzeigt, daß die richtige Eingabeinformation nicht verstanden wird. Wenn die aktive Anwendung anzeigt, daß die richtige Eingabeinformation nicht verstanden wird, veranlaßt die PM-Kopplungseinheit 201 eine Rückfrage bei dem Schnittstellenprofilmodul 204, um den zutreffenden Steuerbefehl zu ermitteln. Wenn die wahre Eingabeinformation erkennen läßt, daß es sich um ein Gesten-, Zeichen-, Sprach- oder Bild-"Token" handelt, sendet die PM-Kopplungseinheit die Eingabeinformation an die geeignete Erkennungseinheit, um das Token zu kennzeichnen, und sucht sodann die Schnittstellenprofile 204, um den richtigen Steuerbefehl zu ermitteln.
Das Flußdiagramm in Fig. 7 beschreibt die Arbeitsweise des Computersystems in Fig. 6 in seiner Reaktion auf ein Spracheingabesignal. Das aktive Anwendungsprogramm ist das Tabellenprogramm 150, und auf dem Bildschirm 28 wird dem Anwender gleichzeitig mit einem Term möglicher, dem Anwender zur Verfügung stehender Funktionen eine Matrix ausgewählter Daten angezeigt. Anstatt die Tastatur 130 zu verwenden, entscheidet sich der Anwender für eine Eingabe von Daten unter Verwendung einer anderen Eingabevorrichtung, nämlich eines Sprachsensors 136. In Reaktion auf eine Artikulation des Worts "Graph" durch den Anwender erzeugt der Sprachsensor 136 elektrische Signale und ruft hierdurch den passenden gerätespezifischen Code 144 bei 221 auf. Der gerätespezifische Code an 223 sendet dann eine Reihe von Eingabesignale, die dem Wort "Graph" entsprechen, an das Alternativ-Eingabesubsystem 203. Das AIS 203 übersetzt die Eingabesignale in eine Reihe von Tastatur- oder Maus-Eingabeinformationen, die der einzelnen Warteschlange des OS/2 154 bei 225 hinzugefügt werden sollen. Nachdem der Datenstrom der Eingabeinformationen mit Zeitmarken versehen wurde, reicht das OS/2 diese an den "Presentation Manager" 156 weiter, der die Einstellung des Anwenders verfolgt und die Eingabeinformationen an das aktive Anwendungs- Programm, nämlich das Tabellenprogramm 150 weiterleitet
Die PM-Kopplungseinheit 201 fängt die Information an das aktive Anwendungsprogramm bei 227 auf und nimmt Bezug auf das Alternativ-Eingabesubsystem 203, um festzustellen; ob die richtigen Eingabeinformationen aus einem Satz von Spracheingabeinformationen bei 229 bestehen, und sendet die richtigen Eingabeinformationen, nämlich die Spracheingabe, an das Tabellenprogramm 150 bei 231.
Nachdem die PM-Kopplungseinheit 201 die wahre Spracheingabeinformation übertragen hat, reagiert das Anwendungsprogramm mit seiner eigenen Information bei 233, und eines von zwei Dingen können in Erscheinung treten: Wenn die Anwendung die Art der übermittelten Eingabeinformation nicht versteht, sendet sie eine "RO"-Information an die PM-Kopplungseinheit 201 bei 233 zurück, die anzeigt, daß sie die Eingabeinformation nicht versteht. Die PM-Kopplungseinheit 201 würde in Reaktion auf eine RO-Information normalerweise mit den Schnittstellenprofilen 204 in Verbindung treten, um den entsprechenden Befehl in den passenden Anwendungsprofilen 205 bei 241 sowie dem Anwenderprofil 207 bei 243 zu ermitteln. Da jedoch die Eingabeinformationen zu erkennen geben, daß es sich bei ihnen um eine Spracheingabe bei 237 handelt, sendet die PM-Kopplungseinheit 201 die Eingabeinformationen zuerst an die Spracherkennungseinheit 215, um den richtigen Spracheingabe-Token für das Wort "GRAPH" zu erhalten. Nach dem Erhalt dieses Tokens bei 239 sucht die PM-Kopplungseinheit 201 zuerst im Anwendungsprofil 205 des Tabellenprogramms 150 bei 241 den entsprechenden Befehl zu der Eingabeinformation zu finden, der von dem Tabellenprogramm 150 erkannt wird, d.h. die Menüauswahl --graph--. Die PM-Kopplungseinheit 201 veranlaßt dann eine Rückfrage bei dem Anwenderprofil 207 des momentanen Anwenders bei 243. Die PM-Kopplungseinheit 201 ermittelt daraufhin, welches Profil den Steuerbefehl mit der höheren Priorität für das Tabellenprogramm 150 bei 243 aufweist und sendet dann den Befehl mit der höheren Priorität an das Tabellenprogramm 150 bei 247. Das Tabellenprogramm führt daraufhin die geeignete Aktion bei 249, in diesem Fall die grafische Darstellung der gerade ausgewählten Daten und den Wechsel der dem Anwender über den Bildschirm 28 angezeigten Informationen aus.
Wenn das Tabellenprogramm 150 andererseits eine Spracheingabe entschlüsseln oder anderweitig eine Spracheingabe feststellen kann, so wird eine "R1"-Information an die PM-Kopplungseinheit 201 bei 233 gesendet. Die PM-Kopplungseinheit 201 würde dann keine weitere Aktion für die augenblickliche Information ausführen. Solange das Tabellenprogramm 150 von einer Spracheingabe Kenntnis hat, kann es auch d£e Wahl treffen, die Spracheingabe unter bestimmten Umständen oder in bestimmten Zeitabschnitten während des Anwendungsprogramms zu ignorieren. Wahlweise kann die festgestellte Anwendung 150 einiges der Spracheingabe verstehen, anderes wiederum nicht, und eine RO-Information immer dann an die PM-Kopplungseinheit 201 bei 233 zurücksenden, sobald sie eine bestimmte Spracheingabeinformation nicht versteht. Für solche Spracheingabeinformationen, für die sie eine "RO"-Information erhalten hat, würde die PM-Kopplungseinheit 201 die Spracheerkennungseinheit 215 sowie die Schnittstellenprofile 204, wie im einzelnen weiter oben dargelegt, befragen.
In dem Ausführungsbeispiel von Fig. 6 sind die Schriftzeichenerkennung 211 und die Gestenerkennungseinheit 213 Teil der hochentwickelten Anwenderschnittstelle 200. Sobald die PM-Kopplungseinheit 201 eine Eingabeinformation erhält, die ein Schriftzeichen oder eine Gestenbewegung sein könnte, sendet sie den Punktesatz an die Schriftzeichenerkennungseinheit 211. Wenn die Schriftzeichenerkennungseinheit 211 die Punktemenge als alphanumerisches Zeichen erkennt, ist dieses Zeichen identifiziert und wird an die PM-Kopplungseinheit 201 zur weiteren Verarbeitung in dem aktiven Anwendungsprogramm zurückgesandt. Wird die Punktemenge nicht als ein Schriftzeichen erkannt, so wird sie der Gestenerkennungseinheit 213 übermittelt, um festzustellen, ob sich die Punktemenge als eine Gestenbewegung identifizieren läßt. Wird sie als eine Gestenbewegung erkannt, so übermittelt die PMKopplungseinheit 201 die Geste an das Schnittstellenprofil 204, um den Befehlssatz zu finden, der dem aktiven Anwendungsprogramm von dem passenden Anwendungsprofil 205 oder dem Anwenderprofil 207 zuzusenden ist. Wird die Punktemenge weder als Schriftzeichen noch als Gestenbewegung erkannt, so entscheidet die PM- Kopplungseinheit 201, daß es sich bei der Eingabeinformation vermutlich um eine Maus-Information gehandelt hat, und erzeugt eine "Maustastenbetätigungs-Maustastenfreigabe- "Information am letzten Punkt der Punktemenge.
Als Alternative zu dem oben beschriebenen Standard-Anwenderprofil, wo verschiedene Betriebsarten zur Anwendung kamen, um festzustellen, welcherart mausäquivalente Befehle durch Anwenderaktionen auf dem Berührungsfeld erzeugt werden, kann die vorliegende Erfindung innerhalb der PM-Kopplungseinheit 201 ein Computermodul enthalten, das dazu dient, zwischen einer Berührungseingabe, die ein Maustastenbetätigungs-Ereignis, ein Mausbewegungs-Ereignis oder ein Maustastenfreigabe-Ereignis emuliert, und jener Berührungseingabe zu unterscheiden, die als eine Gestenbewegung oder ein Schriftzeichen angesehen werden kann. Dies geschieht durch Anwendung einer Zeitverzögerung, um zwischen den zwei Arten einer Berührungseingabe unterscheiden zu können. Die hochentwickelte Anwenderschnittstelle 200 ermöglicht es dem Anwender, den Bildschirm zu berühren und zu der gewünschten Position zu gehen, ehe der Anwendung das Ereignis durch Unterbringung sämtlicher vom Berührungssensor erhaltenen Punkte in einem Pufferspeicher angezeigt wird, den entweder das Griffelabheben oder der Griffel an einem bestimmten Punkt für die vorgegebene Verzögerungszeit verzögert hat. Sobald der Anwender die gewünschte Position erreicht hat und die Bewegung für die vorgegebene Verzögerungszeit unterbricht, erhält das Anwendungsprogramm das Ereignis über die PM-Kopplungseinheit 201 in Form eines Maus-Ereignisses. Wenn beispielsweise der Anwender den Bewegungsvorgang für 200 Millisekunden unterbricht, wird dem Anwendungsprogramm an der gewünschten Position ein Maustastenbetätigungs-Maustastenfreigabe-Ereignis mitgeteilt. Beginnt der Anwender den Bewegungsvorgang jedoch erneut, ehe der vorgegebene Zeitabschnitt beendet ist, so wird das Ereignis solange nicht erzeugt, bis der Anwender nochmals abstoppt und für die Dauer der Verzögerungszeit pausiert. Die Verzögerungszeit ist typischerweise in Millisekunden definiert und kann in Abhängigkeit von der Bildschirmfläche, mit der sich der Anwender im Dialog befindet, variiert werden. Die Verzögerungszeit kann vom Anwender im Anwenderprofil 207 vorgegeben oder durch das Anwendungsprogramm, welches von der Berührungseingabe Gebrauch macht, geändert werden.
Wenn der Anwender andererseits nicht an einem speziellen Punkt für die vorgegebene Dauer der Verzögerungszeit anhält und stattdessen den Griffel vom Berührungsbildschirm abhebt, wählt die hochentwickelte Anwenderschnittstelle den Satz Eingabepunkte als Anwärter für eine Schriftzeichen- oder Gestenerkennung aus. Mit anderen Worten, die Zeitverzögerung stellt ein zeitmäßiges Fenster bereit, in dem Gestenbewegungen ausgeführt werden können. Während dieser Zeitspanne gestattet die hochentwickelte Anwenderschnittst, eile 200 allein die Ausführung von Gestenbewegungen. Wenn der Anwender den Zeitverzögerungsabschnitt abwartet, ehe er abhebt, werden die erfaßten Punkte nicht zu Anwärtern für eine Gestenbewegung, sondern für Maus-Ereignis. Wenn der Anwender abhebt, ehe die Zeitverzögerungsperiode abgelaufen ist, wird ein Versuch unternommen, den Satz Eingabepunkte in der Schriftzeichenerkennungseinheit 211 oder in der Gestenerkennungseinheit 213 als eine Gestenbewegung oder ein Schriftzeichen zu erkennen. Wird er nicht erkannt, so wird dennoch die normale Maus-Emulationssequenz erzeugt: Maustastenbetätigung, Maustastenfreigabe am letzten Eingabepunkt in dem betreffenden Punkteset. Wird der Satz Eingabepunkte erkannt, so bezieht sich die PM-Kopplungseinheit 201 auf die Schnittstellenprofile 204, um die passenden Befehle an das aktive Anwendungsprogramm zu übermitteln.
Die Erkennung einer vom Anwender auf der Fläche des Berührungssensors 134 gezeichneten Kreis-Gestenbewegung wird unter Bezugnahme auf Fig. 8 weiter unten beschrieben. Ein Anwender, der sich entschieden hat, das Pop-up-Tastatur- Dienstprogramm in dem Dienstprogramm-Modul der hochentwickelten Anwenderschnittstelle 209 aufzurufen, zeichnet einen Kreis auf der Fläche des Berührungssensors 134 und hebt den Griffel vor Ablauf der vorgegebenen Zeitverzögerung ab. Der Berührungssensor 134 erzeugt eine Reihe Interrupts zum gerätespezifischen Code 142 bei 261, der eine Gruppe von Eingabesignalen zu dem AIS 203 entsprechend der Gruppe von Punkten in dem Kreis bei 263 weiterleitet. Das AIS übersetzt die Eingabesignale in Maus-Eingabeinformationen, die durch die einzelne Warteschlange im OS/2 154 bei 265 verarbeitet werden sollen. Die Eingabeinformationen werden durch den "Presentation Manager" 156 dem aktiven Anwendungsprogramm, des Tabellenprogramms 150, übermittelt, jedoch zunächst von der PM-Kopplungseinheit 201 bei 267 aufgefangen. Die PM-Kopplungseinheit 201 fragt sodann das AIS 203 ab und stellt fest, daß es sich bei den "Maus"-Eingabeinforrnationen tatsächlich um eine Berührungseingabe bei 269 handelt.
Wenn die PM-Kopplungseinheit 201 den ersten Berührungseingabepunkt, gewöhnlich einen Berührungskontakt am Sensor 134, feststellt, nimmt es für die Zeitverzögerungsperiode, die durch den Anwender bei 271 gewählt wurde, Bezug auf das Anwenderprofil 207. Bei 273 sammelt die PM-Kopplungseinheit 201 die Berührungseingabepunkte in ihren Tastenanschlagspuffer, bis das mit dem Abheben des Griffels verbundene Ereignis festgestellt ist. In dem Maße, wie die PM-Kopplungseinheit 201 die Berührungseingabepunkte ansammelt, beginnt jedesmal, wenn der Anwender an dem Berührungssensor im Aufsetzen innehält und hierdurch eine "Periode der Stabilität" bei 275 hervorruft, die PM-Kopplungseinheit 201 die zeitliche Steuerung der Periode der Stabilität, um festzustellen, ob die Zeitverzögerungsperiode 277 abgelaufen ist. Bewegt der Anwender (den Griffel), ehe die Zeitverzögerungsperiode abgelaufen ist, so setzt die PM-Kopplungseinheit 201 die Sammlung der Berührungseingabepunkte im Aufsetzen bei 273 fort. Wenn jedoch die Stabilitätsperiode über die Zeitverzögerung hinausreicht, wird ein Maustastenbetätigungs-Maustastenfreigabe Befehl bei 281 erzeugt. In diesem Beispiel legt der Anwender keine Pause ein, bevor er den Griffel abhebt, daher wird der Anschlag an die Schriftzeichenerkennungseinheit 211 sowie die Gestenerkennungseinheit 213 zur weiteren Verarbeitung bei 279 übermittelt. Würde der Berührungseingabeanschlag weder als Gestenbewegung noch als Schriftzeichen erkannt, so würde ein Maustastenbetätigungs-Maustastenfreigabe-Befehl bei 281 erzeugt.
Von der Gestenerkennungseinheit 213 als eine Kreis-Gestenbewegung erkannt, wird eine solche von der PM-Kopplungseinheit 201 an das Tabellenprogramm 150 weitergereicht. Das Tabellenprogramm sendet eine "RO"-Inforrnation an 285 zurück, die anzeigt, daß die Kreis-Gestenbewegung nicht verstanden wurde. Da nun die Kreis- Gestenbewegung an 287 nicht verstanden wurde, nimmt das PM-Kopplungsglied 201 Bezug auf das Anwendungsprofil 205 für das Tabellenprogramm 150 an 289 und findet keinen entsprechenden Befehl für die Kreis-Gestenbewegung. Das PM-Kopplungsglied 201 nimmt sodann Bezug auf das Anwenderprofil 207 bei 291, das den entsprechenden Befehl "rufe die Pop-up-Tastatur auf" enthält. Da der Befehl von dem Anwenderprofil 207 die höchste Priorität bei 293 aufweist, sendet das PM-Kopplungsglied 201 diese Information an den AUI-Dienstprogramm-Modul 209 bei 295, und die Pop-up-Tastatur wird dem Anwender auf dem Bildschirm angezeigt.
Während die vorliegende Erfindung unter Bezugnahme auf spezielle Ausführungsbeispiele beschrieben wurde, liegt es für den Durchschnittsfachmann auf der Hand, daß Änderungen in der Form und im Detail vorgenommen werden können, ohne vom Bereich der Erfindung abzuweichen, wie er in den angefügten Ansprüchen definiert ist. Während beispielsweise Gesten- und Schriftzeichenerkennung ausgehend von einem Berührungseingabegerät erörtert wurden, kann auch ein anderes Zeigeeingabegerät, wie z.B. eine Maus oder ein Graphiktablett, verwendet werden, um der hochentwickelten Anwenderschnittstelle Gesten oder Schriftzeichen zu übermitteln. Während darüber hinaus spezielle Anwendungsprogramme, integrierte Betriebsumgebungen und Eingabegeräte besondere Erwähnung fanden, kann die Flexibilität der hochentwickelten Anwenderschnittstelle sowohl weitere Fortschritte als auch bereits vorliegende Realisierungen dieser Programme und Geräte anpassen. Die dargebotenen Ausführungsbeispiele dienen lediglich Zwecken einer beispielhaften Erläuterung und Veranschaulichung und, sollen nicht dazu herangezogen werden, den Bereich der Erfindung enger zu begrenzen, als dies durch den Bereich der angefügten Ansprüche gegeben ist.

Claims

1. Hochentwickelte Anwenderschnittstelle (100) zur Verwendung mit einer integrierten Betriebsumgebung (56), die geeignet ist, eine Vielzahl von Anwendungsprogrammen (A50, B51, C52, D53) gleichzeitig auf einem Computersystem ablaufen zu lassen, von denen lediglich eines zu einem gegebenen Zeitpunkt aktiv ist, wobei däs Computersystem über einen zentralen Prozessor, einen Direktzugriffsspeicher (Speicher mit wahlfreiem Zugriff), eine Bildschirrnanzeige und mindestens ein Eingabegerät (32; 34; 36; 40) verfügt, das in Reaktion auf von einem Anwender ausgeführte Bedienungshandlungen Eingabesignale an die hochentwickelte Anwenderschnittstelle übermittelt, und folgendes umfaßt:

ein an das Eingabegerät angeschlossenes Alternativ- Eingabesubsystem-Modul (103), das die Eingabesignale in Eingangsinformationen umsetzt;

Schnittstellenprofile (104), die Auflistungen (tabellarische Verzeichnisse) der Eingangsinformationen gegen entsprechende Befehle enthalten, welche von mindestens einem der Vielzahl der Anwendungsprogramme genutzt werden können; und

ein mit dem Alter nativ-Eingabesubsystem, den Schnittstellenprofilen (104) sowie der integrierten Betriebsumgebung (56) gekoppeltes Umgebungs-Verbindungsmodul (101), wobei das Umgebungs-Verbindungsmodul (101) die Eingangsinformationen empfängt, diese an die entsprechenden, in den Schnittstellenprofilen (104) enthaltenen Befehle für das Anwendungsprogramm, welches zu dem Zeitpunkt aktiv war, an dem die Eingabesignale von dem Eingabegerät übermittelt wurden, anpaßt und die entsprechenden Befehle an ein geeignetes Computerrnodul in dem Speicher mit wahlfreiem Zugriff übermittelt;

wobei das Computersystem eine gegebene Operation in Reaktion auf Anwender-Bedienungshandlungen, die sich von den Anwenderaktionen unterscheiden, für die das aktive Anwendungsprogramm ursprünglich geschrieben wurde, ohne eine Änderung an dem Anwendungsprogramm ausführt.

2. Hochentwickelte Anwenderschnittstelle nach Anspruch 1, worin die Schnittstellenprofile (104) mindestens ein Anwendungsprofil für jedes Anwendungsprogramm der Vielzahl von Anwendungsprogrammen umfassen, das Auflistungen (tabellarische Verzeichnisse) von Eingangsinformationen gegen die entsprechenden, durch das Anwendungsprogramm nutzbaren Befehle enthält.

3. Hochentwickelte Anwenderschnittstelle nach Anspruch 1 oder 2, worin die Schnittstellenprofile (104) desweiteren ein Anwenderprofil umfassen, welches Auflistungen (tabellarische Verzeichnisse) von Eingangsinformationen gegen die entsprechenden, durch mehr als einem Anwendungsprogramm der Vielzahl von Anwendungsprogrammen nutzbaren Befehle enthält.

4. Hochentwickelte Anwenderschnittstelle nach Anspruch 3, worin mindestens einer der entsprechenden, in dem Anwenderprofil enthaltenen Befehle mindestens einen der entsprechenden, in der Vielzahl der Anwendungsprogramme enthaltenen Befehle aufhebt.

5. Hochentwickelte Anwenderschnittstelle nach Anspruch 3, worin mindestens einer der entsprechenden, in dem Anwenderprofil enthaltenen Befehle ein Standardbefehl ist, der nur dann ausgegeben wird, wenn das Anwendungsprofil des aktiven Anwendungsprogramms über keine entsprechende Anweisung zu der Eingangsinformation verfügt.

6. Hochentwickelte Anwenderschnittstelle nach einem der Ansprüche 1 bis 5, worin eine Vielzahl von Eingabegeräten (32, 34, 36, 38, 40) an das Alternativ-Eingabesubsystem- Modul (103) angeschlossen ist, wobei die Vielzahl der Eingabegeräte beispielweise ein Berührungseingabegerät, eine Spracherkennungseinheit, eine Bilderkennungseinheit und/oder eine Maus sowie eine Tastatur umfaßt.

7. Hochentwickelte Anwenderschnittstelle nach Anspruch 6, die desweiteren eine zweite Vielzahl von Eingabegeräten umfaßt, welche mit der integrierten Betriebsumgebung (56) durch Standard-Gerätetreiber verbunden sind, worin mindestens eines der Eingabegeräte der zweiten Vielzahl auch an die hochentwickelte Anwenderschnittstelle angeschlossen ist.

8. Hochentwickelte Anwenderschnittstelle nach Anspruch 6 oder 7, worin die Schnittstellenprofile Auflistungen (tabellarische Verzeichnisse) von Eingangsinformationen aus einem Eingabegerät enthalten, welches sich von den Eingabegeräten unterscheidet, für das die Vielzahl von Anwendungsprogrammen ursprünglich geschrieben wurde.

9. Verfahren zum Betreiben eines Computersystems mit einer Vielzahl von Anwendungsprogrammen (A50, B51, C52, D53), die in einer integrierten Betriebsumgebung (56) unter Einsatz einer hochentwickelten Anwenderschnittstelle (100) ablaufen, wobei die hochentwickelte Anwenderschnittstelle über ein Alternativ-Eingabesubsystem (103), das Eingabesignale von mindestens einem Eingabegerät in Eingangsinformationen überführt, sowie desweiteren über Schnittstellenprofile (104) verfügt, die Auflistungen der Eingangsinformationen gegen entsprechende Befehle durch mindestens ein Anwendungsprogramm der Vielzahl der Anwendungsprogramme umfassen, folgende Schritte umfassend:

Empfang der von mindestens einem Eingabegerät in Reaktion auf von einem Anwender äusgeführte Bedienungsmaßnahmen ausgesandten Eingabesignale;

Überführung der Eingabesignale in eine Eingangsinformation;

Ermittlung, welches der Anwendungsprogramme zu dem Zeitpunkt, an dem die Eingabesignale übertragen wurden, aktiv war;

Finden eines der Eingangsinformation entsprechenden Befehls in den Schnittstellenprofilen für das aktive Anwendungsprogramm; und

Absenden des entsprechenden Befehls an ein geeignetes Computermodul in dem Direktzugriffsspeicher;

wobei das Computersystem eine gegebene Operation in Reaktion auf Bedienungsmaßnahmen des Anwenders ausführt, die sich von den Bedienungsmaßnahmen des Anwenders ünterscheiden, für die das aktive Anwendungsprogramm ursprünglich geschrieben wurde, ohne an dem aktiven Anwendungsprogramm etwas zu ändern.

10. Verfahren zum Betreiben eines Computersystems nach Anspruch 9, worin:

die Empfangs- und Übertragungsschritte durch das Alternativ-Eingabesubsystem (103) ausgeführt werden;

der Ermittlungsschritt durch das Umgebungs-Verbindungsmodul (101) mittels Abfrage der integrierten Betriebsumgebung ausgeführt wird; und

die Schritte des Auffindens und Absendens durch das Ümgebungs-Verbindungsmodul ausgeführt werden.

11. Verfahren zum Betreiben eines Computersystems nach Anspruch 9 oder 10, worin der Schritt des Auffindens noch die folgenden Schritte umfaßt:

Auffinden eines entsprechenden Befehls zu den Eingangsinformationen in einem Anwendungsprofil für die aktive Anwendung;

Auffinden eines entsprechenden Befehls zu den Eingangsinformationen in einem Anwenderprofil für den am Computersystem arbeitenden Anwender; und

Feststellen, welchem entsprechenden Befehl die höhere Priorität zukommt.

12. Verfahren zum Betreiben eines Computersystems nach einem der Ansprüche 9, 10 oder 11, worin der entsprechende Befehl an das aktive Anwendungsprogramm und/oder an ein Dienstprogramm-Modul der hochentwickelten Anwenderschnittstelle gesendet wird.

13. Verfahren zum Betreiben eines Computersystems nach einem der Ansprüche 9 bis 12, desweiteren umfassend den Schritt der Erzeugung eines Befehls an die hochentwickelte Anwenderschnittstelle in Reaktion auf Bedienungsmaßnahmen des Anwenders an der Fläche eines Berührungs-Eingabegeräts durch

Erfassung der Berührungs-Eingabepunkte in dem Maße, wie der Anwender eineh Griffel quer über die Fläche des Berührungs- Eingabegeräts bewegt;

Starten der Zeitsteuerung einer Periode der Stabilität in Reaktion auf ein Pausieren des Anwenders an einem gegebenen Punkt auf der Fläche des Berührungs-Eingabegeräts, in der der Anwender den Griffel nicht von dem gegebenen Punkt wegbewegt, und

Erzeugung eines Mausbefehls an das Computersystem an dem gegebenen Punkt in Reaktion auf eine einen vorbestimmten Zeitabschnitt überschreitende Periode der Stabilität.

14. Verfahren nach den Ansprüchen 9 bis 13, desweiteren den folgenden Schritt umfassend:

Erkennen der Berührungs-Eingabepunkte als eine Gestenbewegungs-Eingabeinformation, wenn eine den vorbestimmten Zeitabschnitt überschreitende Stabilitätsperiode fehlt, ehe der Anwender den Griffel von der Fläche des Berührungs-Eingabegeräts abhebt.

15. Verfahren nach den Ansprüchen 9 bis 14, desweiteren den folgenden Schritt umfassend:

Erkennen der Berührungs-Eingabepunkte als eine Schriftzeichen-Eingabeinformation, wenn eine den vorbestimmten Zeitabschnitt überschreitende Stabilitätsperiode fehlt, ehe der Anwender den Griffel von der Fläche des Berührungs-Eingabegeräts abhebt.

16. Verfahren nach einem der Ansprüche 9 bis 15, desweiteren die folgenden Schritte umfassend:

Auffinden eines entsprechenden Befehls zu der Gestenbewegungs-Eingabeinformation in den Schnittstellenprofilen, die Auflistungen (tab. Verzeichnisse) von Eingabeinformationen gegen entsprechende Befehle enthalten; und

Absenden des entsprechenden Befehls an ein geeignetes Computermodul in einem Direktzugriffsspeicher des Computersystems.