DE3752121T2

DE3752121T2 - Rechnersystem mit handschriftlicher tastaturloser Dateneingabe

Info

Publication number: DE3752121T2
Application number: DE3752121T
Authority: DE
Inventors: Ralph Sklarew
Original assignee: AST Research Inc
Current assignee: Samsung Electronics Co Ltd
Priority date: 1986-07-25
Filing date: 1987-07-23
Publication date: 1998-04-16
Anticipated expiration: 2007-07-24
Also published as: DE3752312T2; JP3357343B2; JP2001075738A; SG52339A1; GB9018055D0; DE3752294D1; DE3752312D1; DE3752294T2; GB9018054D0; HK1096A; KR920002255B1; DE3752121D1; HK187595A; HK187495A; KR880002074A

Description

Die vorliegende Erfindung bezieht sich allgemein auf ein tastaturloses Eingabesystem für einen Computer, und, bei einer Kombination mit einer Zentraleinheit (CPU), auf ein tastaturloses Computereingabesystem. Insbesondere bezieht sich die vorliegende Erfindung auf eine Informations-Speicher-, -manipulations- und -übertragungsvorrichtung, auf der Text, Daten, Computerbefehle und -funktionen durch handschriftliches Schreiben alphanumerischer oder anderer Zeichen und Symbole mit einem federhalterähnlichen Schreibgriffel auf einem Eingabe-/Ausgabe-Bildschirm (I/O-Bildschirm). Bei einer bevorzugten Ausführungsform weist der I/O-Bildschirm einen transparenten Berührungsschirm auf, der über einer im wesentlichen flachen Ausgabeanzeige angeordnet ist. In einer bevorzugten Ausführungsform ist die vorliegende Erfindung ein selbständiges Computersystem, es kann jedoch auch ein Peripheriegerät zu einem Host-Computer sein.
Große Mengen an Information und hochentwickelte Anwendersoftware ist inzwischen auf herkömmlichen Tastatur-Computern verfügbar. Es wurde festgestellt, daß die Nützlichkeit dieser Information und der Anwendersoftware wesentlich gesteigert werden könnte, wenn Text und Daten eingegeben werden könnten und die Anwendersoftware bedient werden könnte, indem ganz normal auf einem flachen Bildschirm geschrieben wird. Es besteht daher ein Bedarf, Computertechnik auch Menschen zugänglichzu machen, die mit einer Tastatur nicht umgehen können. Eine Möglichkeit, die zur Lösung dieses Problems herangezogen wird, ist die Verwendung eines taslaturlosen Eingabesystems, wfe zum Beispiel eines Berührungsbildschirms. Herkömmliche derartige Eingabevorrichtungen erlauben jedoch keine genaue und detailliert Eingabe in einer vertretbaren Zeit mit hoher Auflösung und in einer Art und Weise, die für den Benutzer vertraut und natürlich ist.
Bei einer bekannten Art eines tastaturlosen Eingabesystems wird Handschrifterkennung zur Eingabe handgeschriebener Textzeichen verwendet, wie das zum Beispiel im US-Patent Nr. 3,487,731 beschrieben ist.
Das US-Patent Nr. 4,491,960 (Brown) offenbart ein Handschriftsymbolerkennungssystem, bei dem ein Bildpunktfeld, in der Form einer Rasterzeilenabtastung in segmentorientierte Listen umgewandelt wird, die zum Erhalten topologischer Merkmale gefiltert und komprimiert werden, die dann durch einen Entscheidungsbaummechanismus analysiert werden.
Im US-Patent Nr. 4,262,281 (Buckle et al.) ist eine Handschrifterkennungsvorrichtung offenbart. Die offenbarte Ausführungsform wird zusammen mit einem Host-Computer verwendet und bietet keine Möglichkeit der gleichzeitigen Anzeige.
Im US-Patent Nr. 4,475,239 (Van Raamsdonk) ist eine Texteditiervorrichtung offenbart. Bei diesem Patent muß als Eingabemedium zum Eingeben von Editierfunktionen Papier verwendet werden, und zur Eingabe von Text wird eine herkömmliche Tastatur verwendet.
Das US-Patent 4,521,909 (Wang) zeigt ein Mustererkennungssystem mit zwei Ebenen. Das System ist zur Verwendung mit einem optischen Instrument gedacht.
Das US-Patent 4,520,357 (Castelberry et al.) offenbart eine elektroskopisches Informationsanzeige und ein Informationseingabesystem mit einem Schreibgriffel. Die offenbarte Ausführungsform erhebt keinen Anspruch auf die Geschwindigkeit und Genauigkeit, die zur Erkennung handgeschriebener Zeichen erforderlich sind.
Das US-Patent 4,318,096 (Pepper) lehrt die Verwendung eines leitfähigen Griffels. Dieses Patent bezieht sich auf Graphik-Design und erlaubt die Veränderung der Strichbreite und Strichintensität durch das Aufbringen von Druck auf den Griffel, wobei dann das Ergebnis auf einem herkömmlichen Kathodenstrahlröhren-(CRT-)Bildschirm angezeigt wird. Das US- Patent Nr. 3,699,439 (Turner) und das US-Patent Nr. 4,055,726 (Turner et al.) offenbaren zwei Verfahren zum elektronischen Positionserfassen durch die Verwendung einer Sonde.
Die veröffentlichte japanische Patentanmeldung Nr. JP-A- 58 96 382 beschreibt eine Zeichenerkennungs- und -anzeigevorrichtung mit einem transparenten Tableau zum Erfassen der Position eines handgeführten Griffels und eine flache Anzeige und dem Tableau. Eine elektronische Schaltung empfängt das vom Tableau kommende Ausgangssignal und erkennt das auf dieses geschriebene Zeichen, und gibt einen Zeichencode an die Anzeigefläche, die das Zeichen am Ort des mit Hand geschriebenen Zeichens anzeigt.
Ein Artikel von W. Doster und R. Oed in IEEE Micro, Bd. 4, Nr. 5, Oktober 1984, S. 36-43 mit dem Titel "Word Processing with On-line Script Recognition" ("Textverarbeitung mit On-line-Schrifterkennung") beschreibt einen PC mit einem herkömmlichen CRT-Bildschirm, der mit einer eigenen Digitalsiertafel und einem entsprechenden Griffel zum Eingeben handschriftlicher Zeichen ausgestattet ist. Die Digitalisiertafel (Fig. 8 des Artikels) hat einen aktiven Bereich, auf den Befehlssymbole gezeichnet werden können, wobei der Ort der Befehlssymbole nicht wesentlich ist. Die Tafel hat einen eigenen Cursor-Steuerbereich, der vom Benutzer dazu verwendet wird, daß der Cursor auf der CRT-Anzeige an die Stelle bewegt wird, an der der nächste Befehl ausgeführt werden soll.
Die vorliegende Erfindung ist in den unabhängigen Patentansprüchen definiert, auf die hier Bezug genommen werden sollte. Vorteilhafte Ausgestaltungen der Erfindung sind in den abhängigen Patentansprüchen angeführt.
Eine weiter unten anhand der Zeichnungen detaillierter beschriebene bevorzugte Ausführungsform der Erfindung weist ein einzigartiges tastaturloses Computersystem auf, das die Fähigkeit hat, handschriftliche Symbole (bzw. graphische Zeichen) zu erkennen und anzuzeigen und den Computer dazu veranlaßt, Font-Sympole (bzw. graphische Symbole) anzuzeigen und schnell, leicht und kostengünstig auf Editiersymbole Editierfunktionen bzw. -befehle auszuführen.
Diese bevorzugte Ausführungsform weist ein Computergehäuse mit einem flachen Anzeigeschirm auf, auf dem ein Benutzer mit einem Griffel "schreiben" kann und das die Fähigkeit hat, mit dem Griffel auf den Schirm geschriebene handschriftliche Symbole zu erkennen und sie in angezeigte Font-Symbole umzuwandeln und/oder Editierfunktionen mit Editiersymbolen auszuführen, wobei das alles mit für den Benutzer minimalem technischen Aufwand geschieht. Wenn der tastaturlose, tragbare Computer einmal die gewünschte Information sowie die gewünschte Anwendersoftware geladen hat, kann die Information und die Software ohne Fähigkeiten oder Kenntnisse über moderne Computer oder andere Datenquellen verwendet und eingesetzt werden.
Vorteilhafterweise steigert die benutzerfreundliche Eingabetechnik der Vorrichtung die Nützlichkeit des Computers auch für Leute, die mit einer Tastatur umgehen können.
Seine Tragbarkeit führt auch dazu, daß es für Aufgaben und in Umfeldern zum Einsatz kommt, in denen tragbare Tastatur-Computer ungünstig, schwierig oder unmöglich zu bedienen sind. Es können zum Beispiel viele leere, vollständig oder teilweise ausgefüllte Formulare im Speicher des tragbaren Computers gespeichert sein. In einem Krankenhaus können "Karteikarten" mit Patientendaten im Speicher eines tragbaren Computers gespeichert sein, die dann von einer Krankenschwester bei ihrem Rundgang aufgerufen werden, und relevante Daten, wie zum Beispiel der Blutdruck, die Temperatur usw. können dann manuell mit einem Griffel eingetragen werden. Diese korrigierten oder erweiterten Formulare können dann in einen zentralen Computerspeicher hinuntergeladen werden.
Bei dieser bevorzugten Ausführungsform weist die Erfindung vorteilhafterweise. ein tragbares Computersystem auf,. das wenig wiegt, zuverlässig, genau und kostengünstig ist sowie die Anwendung im Stehen oder Gehen ermöglicht.
Eine Ausführungsform der vorliegenden Erfindung weist einen transparenten Eingabebildschirm auf. Während der Benutzer alphanumerische oder andere Zeichen oder Symbole (z.B. handschriftliche Symbole oder graphische Zeichen, wie unten beschrieben) auf den Eingabebildschirm schreibt, wird jedes Zeichen oder Symbol als ein Strom von Punkten dargestellt, der eine Eingabe mit einem Stift auf Papier nachahmt Wenn die einzelnen alphanumerischen und anderen Zeichen oder Symbole vollständig sind, werden sie in Computertext oder Computerbefehle oder -funktionen übersetzt, die dann auf einem Anzeigebildschirm an einem Ort angezeigt werden können, der sich vorzugsweise unter der Stelle des Eingabebildschirms befindet, an der sie eingegeben werden, und/oder können gegebenenfalls ausgeführt werden. Die Ausführungsform weist auch einen Mustererkennungsalgorithmus auf, der die Übersetzung eines geschriebenen Zeichens oder eines geschriebenen Symbols, wie zum Beispiel eines Ideographs, und wissenschaftlicher Symbole, in Computertext erlaubt. Bei einer bestimmten, derzeit bevorzugten Ausführungsform wird ein tastaturloser Computer als eine Handhabungs- und Anzeigevorrichtung konf iguriert mit einem transparenten Berührungsbildschirm und die damit verbundene Elektronik über einem Anzeigebildschirm einer Größe mit 80 Spalten und 25 Zeilen oder größer; einem Griffel zur Dateneingabe; einem Mikroprozessor und einer Speichereinrichtung; Software künstlicher Intelligenz bzw. zur Mustererkennung und Editiersoftware; und ein Batterie-Stromversorgungssystem; sowie weitere I/O-Einrichtungen.
"Handschriftliche Symbole" sollen hier "graphische Zeichen" oder "handschriftliche Zeichen" oder dergleichen bedeuten, und das sind jegliche mit der Hand zu schreibende bzw. zu zeichnende Symbole, die eine kommunikative Wirkung haben. Hier seien als Beispiel und nicht zur Einschränkung die folgenden Arten von handschriftlichen Symbolen angeführt: alphanumerische und andere Zeichen und Symbole, Nummern, Lettern, "Kanji" (japanische Ideogramme) und andere Sprachsymbole, Editiersymbole und technische, wissenschaftliche, architektonische und mathematische Symbole. Weitere Beispiele handschriftlicher Symbole sind Freihandzeichnungen oder Unterschriften oder sonstige derartige geschriebene oder gezeichnete Information, die durch einen bestimmten Autor einzigartig produziert wird. "Handschriftliche Symbole" können auch Editiersymbole und "Computerbefehle" und -funktionen sein, die weiter unten noch beschrieben werden.
"Font-Symbole" sollen hier "graphische Symbole" sein, die computererzeugte Symbole sind, die in einem vorbestimmten Fontformat angezeigt werden. Zum Beispiel - und nicht zur Einschränkung - können alphanumerische Zeichen Font-Symbole sein und in zahlreichen Fontformaten dargestellt werden. Fontsymbole können auch Japanische oder Chinesische "Ideogramme" sein, sowie technische, wissenschaftliche, mathematische, architektonische oder andere derartige Zeichen. Weitere Beispiel von Font-Symbolen sind jegliche Arten von Formen, die von einem Computer gespeichert und angezeigt werden können, z.B. eine Zeichnung eines Automobils oder eines Hauses.
Ein "Editier-Symbol" soll hier ein Befehlssymbol sein, das als ein Symbol oder als graphisches Zeichen (wie zum Beispiel ein Häkchen, ein waagrechter Strich, kurzer senkrechter Strich, langer senkrechter Strich usw.) geschrieben wird, und soll, wenn es erkannt wird, den Computer dazu veranlassen, eine bestimmte Editierfunktion oder einen bestimmten Editierbefehl (wie unten definiert) durchzuführen, wie zum Beispiel Text einfügen (Häkchen/Einfügungszeichen), Text streichen (waagrechter Strich), einen Buchstaben streichen (kurzer senkrechter Strich) oder einen Rand verschieben (langer senkrechter Strich), um nur ein paar repräsentative Beispiele zu nennen.
"Editierfunktion" bedeutet einen computererzeugten Textredigiervorgang oder -befehl zum Verändern von Text, wie zum Beispiel - und nicht zur Einschränkung - durch Einfügen von Text, Streichen von Text, Bewegen von Text und Ersetzen von Text. Einige grundlegende Editierfunktionen sind unten gegen Ende der Beschreibung aufgeführt.
Eine bevorzugte Ausführungsform eines tastaturlosen Computer-Eingabesystems wird weiter unten beschrieben. Es weist einen transparenten Eingabebildschirm auf, der beim Kontaktieren durch einen Griffel Postitionsinformation ausgibt, und einen Anzeigebildschirm, der unter dem Eingabebildschirm derart angeordnet ist, daß ein angezeigtes Zeichen unter dem Eingabebildschirm gesehen werden kann. Das System weist einen Computer auf, der so programmiert ist, daß er Positionsinformation in Striche kompiliert, zum Berechnen von Stricheigenschaften und dann zum Vergleichen der Stricheigenschaften mit in einer Datenbank gespeicherten Stricheigenschaften zum Erkennen des durch den Griffel gezeichneten Symbols. Grundlegende Eigenschaften des Systems sind: (A) ein transparentes Positionserfassungsuntersystem; (B) eine darunterliegende Anzeige zum Nachahmen des Zeichnens der erfaßten Positionen und zum Anzeigen von Zeichen oder Symbolen; (C) eine Einrichtung zum Umwandeln erfaßter Positionen zuerst in angezeichnete Punkte und dann in erkannte Zeichen oder Symbole; und (D) eine Einrichtung zum "Lernen", daß erfaßte Eingangspositionen ein Zeichen oder ein Symbol sind. Die Vorrichtung kann in einer tragbaren Einheit untergebracht sein, deren Abmessungen ungefähr 400 mm mal 400 mm mal 100 mm (16 Zoll x 16 Zoll x 4 Zoll) betragen und ein Gewicht von bis zu ungefähr 7 kg (15 Pfund) sowie eine eigenständige Stromversorgung haben.
Es folgt eine Übersicht über bestimmte relevante Techniken, die bei der Umsetzung der Erfindung nützlich sind.
Es können viele Positionierungstechniken verwendet werden, die den Anforderungen der Positionserfassungseingabe gerecht werden. Diese Anforderungen sind im wesentlichen Genauigkeit, Auflösung und Geschwindigkeit. Die Techniken sind unter anderem: mechanisch, elektrostatisch, elektromagnetisch, akustisch, optisch und trägheitsbedingt. In diesem System wird angestrebt, daß die Anwendung dem Schreiben mit Federhalter oder Stift auf Papier so ähnlich wie möglich ist. Ein Problem ist Nähe - daß ein Stift nur dann eine Spur hinterläßt, wenn tatsächlich.ein Kontakt vorhanden ist. Viele dieser Techniken erfordern einen zusätzlichen "Stift-unten"-Sensor, der bei vielen im Handel erhältlichen Stiften ungünstig einzusetzen ist. Ein weiteres Problem ist der Neigungswinkel - daß ein Stift unabhängig vom Neigungswinkel des Stifts die gleiche Spur hinterläßt. Bei vielen dieser Techniken ist der Positionsdetektor von der Spitze versetzt, so daß der Neigungswinkel des Stifts zu falschen Versetzungen führt. Über diese allgemeinen Probleme hat jede Technik ihre eigenen. Vor- und Nachteile, (1) beim Stift: Größe, Gewicht und Form, und darin, ob er unter Strom stehen und/oder angeschlossen sein muß, und (2) bei der Schreiboberfläche Transparenz, Glätte, wie sie sich "anfühlt" und ob ein tatsächlicher Kontakt erforderlich ist (im Gegensatz zu auf übereinanderliegenden Papierbögen übertragenem Druck).
Die Anforderungen an die Positions-Eingabetechnik sind Genauigkeit (Punkt auf Punkt), Auflösung (absolute Position) und Geschwindigkeit (Punkte pro Zeiteinheit) zum angemessenen Definieren des geschriebenen Strichs zur Erkennungsanalyse. Bei den bisher verwendeten Erkennungsvorrichtungen und -verfahren sind, wie im folgenden beschrieben, die Anforderungen wie folgt: eine Genauigkeit von 0,125 mm (0,005 Zoll), eine Auflösung von 0,375 mm (0,015 Zoll) und eine Geschwindigkeit von 150 Punkten pro Sekunde. Diese Genauigkeit ermöglicht eine 6mm (1/4 Zoll) hohe Schriftzeile mit über 10 Grobeingabepunkten entlang eines Strichs eines kleinen Buchstabens. Die Auflösung erlaubt eine Positionierung des Symbols bis auf zwei Pixel auf einer derzeitigen Anzeige von 640 Pixel auf 225 mm (9 Zoll). Die Geschwindigkeit erlaubt 50 Grobeingabepunkte für einen schnell geschriebenen einzelnen Buchstaben (1/3 Sekunde).

Kurzbeschreibung der Zeichungen

Die bevorzugte Ausführungsform der Erfindung wird nun anhand der Zeichnungen detaillierter beschrieben. Es zeigt:
Fig. 1 ein Blockdiagramm einer erfindungsgemäßen Ausführungsform,
Fig. 2 eine perspektivische Darstellung des die Betriebselemente des Systems enthaltenden Gehäuses,
Fig. 2A einen vergrößerten Teil von Fig. 2 mit ent fernten Teilen, um die Lageverhältnisse des Berührungs-Eingabebildschirms und des Anzeigebildschirms zu zeigen,
Fig. 3 eine schematische Darstellung des Eingabebildschirms, des Griffels und damit verbundener Elektronik,
Fig. 4 ein Gesamtsystemblockdiagramm der erfindungsgemäßen Vorrichtung eines tastaturlosen Computereingabesystems,
Fig. 5 ein Blockdiagramm, das die Bewegung von Daten im System zeigt, wenn sie durch handgeschriebene Zeichen und Befehle verändert werden,
Fig. 6 ein Gesamtsystemblockdiagramm, in dem die Hierarchie der zum Betreiben des System benötigten Software dargestellt ist,
Fig. 7 ein verallgemeinertes Blockdiagramm des Zeichenerkennungs- und Mustererkennungsalgorithmus,
Fig. 8A und 8B zusammen ein detailliertes Blockdiagramm des Mustererkennungsalgorithmus,
Fig. 9 ein Blockdiagramm der Strichcharakterisierungsunterroutine,
Fig. 10 eine Draufsicht auf einen Bildschirm, wobei das "Initialisieren" der Datenbank für handgeschriebene Symbole gezeigt wird,
Fig. 11A bis 11I eine Reihe von Draufsichten auf Bildschirme, die den Betrieb des Texteditiersystems darstellen,
Fig. 12A bis 12G eine Reihe von Draufsichten auf Bildschirme, die den Betrieb des Dateneingabesystems darstellen,
Fig. 13 ein verallgemeinertes Blockdiagramm des Linus-Editors

Detaillierte Beschreibung der bevorzugten Ausführungsformen

In den gesamten Figuren bezeichnen gleiche Referenznummern gleiche Elemente. Fig. 1 zeigt ein Gesamtblockdiagramm eines tragbaren, tastaturlosen Handschrift-Computereingabesystem 10. Das ganze Computersystem ist in einem Gehäuse 12 untergebracht, das graphisch durch eine gestrichelte Linie angedeutet ist. Es weist einen herkömmlichen digitalen Allzweckmikrocomputer 14 auf, der im folgenden detaillierter beschrieben ist. Eingabeinformation wird über den Griffel 16 an den Mikrocomputer 14 geliefert, indem der Griffel 16 auf dem Schreib- oder Eingabebildschirm 18 "schreibt". Der Griffel 16 (Fig. 2) ist über ein Kabel 17 (Fig. 2) mit dem Computer des Systems 10 verbunden. Beim "Schreiben" des Griffels 16 auf dem Eingabebildschirm 18 werden mehrere mehreren Positionskoordinaten entsprechende Lokalisierungssignale an den Mikrocomputer 14 gesendet. Der Mikrocomputer 14 wurde nach einem im folgenden beschriebenen Computerprogramm so programmiert, daß er den Strom von Lokalisierungssignalen erkennt und diese Signale in einem Computerspeicher speichert. Der programmierte Mikrocomputer 14 liefert außerdem mehrere entsprechende Anzeigesignale an einen Anzeigebildschirm 20. Sowohl der Eingabebildschirm 18 als auch der Anzeigebildschirm 20 sind im folgenden detaillierter beschrieben.
In Fig. 2 ist eine perspektivische Darstellung eines die Eigenschaften der vorliegenden Erfindung aufweisenden tastaturlosen Computersystems 10 dargestellt. Das tastaturlose Computersystem 10 ist im Gehäuse 12 untergebracht, das ein rechteckiges geschlossenes Gehäuse mit einer geneigten Deckfläche 22 mit einem vielzeiligen Festkörperanzeigebereich 24. Der Eingabebildschirm 18 ist in Fig. 2A als über dem Anzeigebildschirm 20 angeordnet dargestellt. Bei diesem Beispiel zeigt der Anzeigebildschirm 20 mehrere waagrechte Linien 25 mit den folgenden Angaben an: Name Adresse
Handschriftliche Einträge werden über jeder Linie 25 vorgenommen. Die Enfernung bzw. der Abstand 26 zwischen zwei Linien 25 wird vom System zum Normalisieren aller Entfernungen verwendet, und die Linien dienen als Referenzachse bzw. Basislinie.
Unter dem Anzeigebereich 24 auf der Deckfläche 22 ist ein Tasteneingabeabschnitt 26 mit einer Anzahl "Softkeys" 28. Die Softkeys 28 können vom Benutzer für beliebige Funktionen, wie zum Beispiel zum Eingeben von Computerbefehlen, programmiert werden. Beispiele für solche Befehle der Softkeys 28 sind "Speichern", "Aufrufen" und "Löschen". Zusätzlich können die Softkeys 28 zum Hin- und Herschalten zwischen verschiedenen Programmen oder Betriebsarten (z.B. Dateneingabe und Editieren) verwendet werden. Die Softkeys 28 sind jedoch fakultativ und ergänzen nur die durch handschrifliche Eintragungen vorgenommene Eingabe. Der Griffel 16, der zum Schreiben von Eingabedaten und Befehlen auf den Anzeigebereich 24 verwendet wird, wird auch zum Betätigen der ausgewählten Softkeys 28 verwendet. Ein EIN-AUS-Schalter 30 ist seitlich am Gehäuse 12 in der Nähe der Softkeys 28 angebracht. Ein Datenausgabe- bzw. Peripherieanschluß 31 ist oben rechts am Gehäuse 12 angeordnet.
Der Eingabebildschirm 18 kann eih herkömmlicher Berührungsbildschirm des Widerstandstyps sein, bei dem an die Bildschirmkanten eine Spannung angelegt wird und ein Griffel die Spannung am berührten Ort abgreift. Die Schreiboberfläche ist aus transparentem Material, typischerweise aus Glas, das mit einer dünnen, gleichmäßigen leitfähigen Schicht (derzeit im Vakuum abgeschiedenes Indiumzinnoxid) beschichtet ist. (Nicht dargestellte) Senkrechte Busschienen oder leitfähige Streifen werden entlang der beiden Seiten zum Anlegen der Referenzspannung zum Bestimmen der "X-Koordinate" der Griffelposition verwendet und (nicht dargestellte) horizontale Busschienen oder leitfähige Streifen entlang der oberen und der unteren Seite zum Anlegen der Referenzspannung zum Bestimmen der "Y-Koordinaten" der Griffelposition. Bei dieser Ausführungsform ist der Griffel lediglich eine elektrische Sonde, die beim physischen Kontakt mit der leitfähigen Schicht die örtliche Spannung am Kontaktpunkt mißt, die je nach der Entfernung von den leitfähigen Streifen bzw. Busschienen unterschiedlich ist. Wenn der Ursprung am Punkt des Anlegens der Spannung ist, verhalten sich die Koordinaten umgekehrt proportional zur aufgeprägten Spannung. Der Griffel 16 muß in gutem Kontakt stehen, um ein Addieren von Widerstand zu vermeiden, der die erfaßte Spannung verringern würde und daher ein falsches Entfernungsinkrement hinzufügen würde. Bei einer derzeit bevorzugten Ausführungsform wird eine weiche Graphitspitze verwendet. Die Spannung wird vom Stift über ein Kabel, wie z.B. das Kabel 17 von Fig. 2, zu einem Analog-Digital-Wandler zur Verwendung in der im folgenden beschriebenen Berechnungen geleitet. Der Griffel kann ein geladener "Stift" sein, wie er hier beschrieben wird, ein Lichtgriffel, wie er auf diesem Gebiet der Technik bekannt ist, oder eine handgehaltene Vorrichtung, die handgeschriebene Symbole auf dem Bildschirm zeichnen kann.
Ein Beispiel für einen herkömmlichen elektrostatischen Bildschirm ist in dem schon genannten Patent mit der Nr. 4,318,096 (Pepper) offenbart. Dieser Widerstandsschirm hat den Vorteil, daß die durch die den Schirm berührende Hand des Benutzers entstehende Störung minimiert wird.
Sowohl eine horizontale als auch eine vertikale Positionsabtastung wird dadurch vorgesehen, daß die auf eine leitfähige Schicht aufgeprägte Spannung zwischen den Paaren waagrechter und senkrechter Busschienen durch eine Schnittstelle und einen Multiplexer alterniert wird, die durch einen Mikrocomputer oder einen Mikrocontroller gesteuert werden. Bei einem im Handel erhältlichen Eingabe- oder Berührungsbildschirm sind die Busschienen in eine Reihe kurzer Streifen mit Dioden unterbrochen, um ein Kurzschließen von waagrechten Streifen durch senkrechte und umgekehrt zu verhindern. Diese Technik wird bei einem im Handel von Touch Technologies, Annapolis, MD, und von Elographics, Oak Ridge, Tennessee, erhältlichen Berührungsbildschirm angewendet.
In Fig. 3 ist eine alternative Ausführungsform eines neuartigen Positionserfassungs-Eingabebildschirms 33 mit niedrigem Energieverbrauch detaillierter dargestellt. Der Eingabebildschirm 33 dient auch zum Bestimmen einer X-Y-Position auf einer elektrischen Widerstand bietenden Platte 34. Ein Griffel 35, der eine Spannungsquelle, wie z.B. eine Batterie 36 oder eine von einer äußeren Quelle, wie zum Beispiel die Systemstromversorgung, an den Griffel 35 übertragene Spannung, enthält, wird zum Berühren des Bildschirms 34 und zum Anlegen einer Spannung an die berührte Stelle benützt. Wenn die berührte Stelle durch den Griffel 35 mit einer positiven Spannung im Verhältnis zu mehreren Plattenmeßpunkten 37 beaufschlagt wird, werden sich die Spannungen an diesen Punkten mit dem Abstand zur Stiftposition verändern, wie z.B. die mit 38 bezeichnete Position X,, Y,. Diese Spannungen werden in der X- und in der Y-Richtung unter Verwendung herkömmlicher Einrichtungen sequentiell gemessen, wie sie z.B. in den oben genannten älteren Patenten offenbart sind. In Fig. 3 sind diese Einrichtungen eine herkömmliche Schnittstelle mit Multiplexer 42. Ein herkömlicher Analog-Digital-Wandler 43 wandelt die erfaßten Spannungen in ein digitales Signal um. Ein Mikrocontroller 44 empfängt das digitale Signal, führt Standardüberprüfungen zum Sicherstellen der "Gültigkeit" des numerischen Werts des Signals (z.B. ob es im möglichen Spannungsbereich ist) durch und wandelt die Spannungen in der hier beschriebenen Weise in X- und Y-Entfernungen um. Der Mikrocontroller 44 ist konventioneller Bauart, kann aber auch durch einen Systemcomputer ersetzt werden. Der Mikrocontroller 44 liefert eine digitale Repräsentation der X- und Y-Entfernungen zum Meßpunkt 38 an den Ausgangsport 46. Der Port 46 kann ein herkömmlicher RS-232-Port sein. Alternativ könnte der Controller 44 den Punkt X,, Y, in einen anderen Referenzpunkt übersetzen, wie z.B. einen Punkt auf der Basislinie 25 (Fig. 2).
Solange der Griffel 35 an der Position 38 oder an einer anderen Position auf der Platte 34 nicht in kontakt ist, fließt kein Strom, und der Energieverbrauch ist minimal. Eine Messung der Spannung an den Meßpunkten kann durch Verwenden einer Rampenspannung am Positionierungspunkt geschehen und dadurch, daß die Zeit gemessen wird, wann die Meßpunktspannung eine vorbestimmte Rückspannung übersteigt.
Es gibt verschiedene Möglichkeiten für die Eingabe- oder Berührungsbildschirme 18 und 33: die einen Widerstand bildende Platte 34 oder ihr Äquivalent für den Bildschirm 38 können transparent oder durchscheinend sein, und der Positionierungspunkt kann durch eine Griffel oder durch einen Finger des Benutzers hergestellt werden, oder dürch einen Verbindungspunkt eines sich überschneidenden leitfähigen Bildschirms (wie z.B. des im Handel erhältlichen Berührungsbildschirms von Touch Screen, Annapolis, MD). Die Eingabebildschirme 18 und 33 können eine feste Oberfläche sein, die transparent oder durchscheinend ist und aus Glas oder Plastik, wie z.B. Mylar, bestehen. Die Oberfläche kann mit leitfähigen/widerstandsbietenden Stoffen wie Indiumzinnoxid beschichtet sein. Andere Oberflächen können die Übertragung von Schallwellen oder elektromagnetischen Wellen von der berührten Position zu einem Referenzpunkt oder -punkten verwenden, und die Entfernung wird durch die Zeitverzögerung oder die Phasenverschiebung bestimmt. Alternativ können die Eingabebildschirme 18 und 33 eine etherische oder geometrische, durch ein elektromagnetisches oder optisches Feld oder durch ein Schallfeld definierte Oberfläche verwenden.
Die Positionserfassung kann mit einem elektrischen Kontakt erfolgen durch widerstandsmäßige, kapazitive oder induktive Kopplung, entferntes Erfassen durch Schall-, elektrische oder magnetische Felder oder durch Lichtabtastung (UV, IR oder Mikrowellen).
Die Vorteile der wenig Energie verbrauchenden Positionserfassungseingabeanordnung gegenüber anderen solchen Bildschirmen sind die folgenden: 1) der Bereitschaftsenergieverbräuch ist minimal; 2) eine Verzerrung aufgrund sich gegenüberliegender paralleler "Bus"-Schienen bei herkömmlichen Berührungsbildschirmen wird ausgeschlossen, und 3) wenn eine Rampenspannung verwendet wird, wird die Verwendung eines A/D- Chips überflüssig, der bei den bekannten Berührungsbildschirmen ein Hauptkostenfaktor ist.
Der Reibungskoeffizient des Bildschirms 18 wird erwünschterweise als so "rauh" gewählt, daß der Bewegung des Griffels 16 auf dem Bildschirm ein bestimmter Widerstand entgegensteht. Wenn der Bildschirm zu glatt wäre, würde der Griffel zu leicht darüber hinweggleiten, und er wäre schwer zu steuern.
In Fig. 4 ist ein Gesamtsystemblockdiagramm des Großteils der in der bevorzugten Ausführungsform der Erfindung verwendeten elektronischen Schaltung dargestellt. Der Mikrocomputer 14 hat einen Mikroprozessor 50, der über Datenpfade oder -busse 52 mit mehreren anderen elektronischen Elementen verbunden ist. Ein Festspeicher (ROM) 54, der mit dem Betriebs- und Anwendungsprogramm programmiert ist, und ein batteriestromversorgter Direktzugriffsspeicher (RAM) 56 ist zur Herstellung eines bidirektionalen Datenflusses mit dem Bus 52 verbunden. Der Mikroprozessor 50 kann eine herkömmliche Acht-Bit- oder Sechzehn-Bit-Vorrichtung sein, die das im ROM 54 residierende feste Steuerprogramm ausführt und über den Bus 52 auch Steuerprogramme von den anderen elektronischen Elementen erhält und Steuersignale an diese sendet. Der Mikroprozessor 50 kann ein im Handel unter der Bezeichnung Z80 (von Zilog Microcomptuer, Cupertino, Kalifornien) oder 8088 (von Intel Corp., Santa Clara, Kalifornien) geführter Prozessor oder ein ähnlicher oder leistungsfähigerer Mikroprozessor sein. Das ROM 54 kann ein Speicherchip mit der Bezeichnung 2564 oder 4764 von Texas Instruments, Dallas, Texas sein. Die Speicherkapazität des RAM 56 wird teilweise durch die Größe der Anwenderprogramme, das Betriebsprogramm und die Datenbank bestimmt. Wie unten erörtert, kann das RAM entweder ein statisches RAM (SRAM) oder ein dynmamisches RAM (DRAM) sein. Die Hauptanforderungen an das RAM 56 sind, daß es genügend Speicherkapazität haben muß und eine minimale Eingangsleistung erfordert.
Eine Batterie 58, wie zum Beispiel eine Lithiumbatterie, liefert die Energie, die den Speicher des RAM 56 über ausgedehnte Zeiträume hin nichtflüchtig macht. Ein Batteriepack 60 mit bekannten Arten wiederaufladbarer Batterien wird zum Liefern der verschiedenen von den anderen elektronischen Elementen des Mikrocomputers 14 benötigten Spannungspegel verwendet.
Alternativ kann die Speicherfunktion des RAM 56 auch durch eine nichtflüchtige Vorrichtung erfüllt werden, die zum Beibehalten des Speichers keine Energie benötigt, wie z.B. ein elektronisch löschbarer und umprogrammierbarer Speicher (EE- PROM) oder magnetische Bläschen oder Kapazität verwendende Vorrichtungen. Außerdem können auch moderne Platten oder Bänder zur Massenspeicherung verwendet werden. Geeignete Bläschenspeichervorrichtungen sind die mit der Bezeichnung 7110 und 7114 mit Speicherkapazitäten von 1 Megabit bzw. 4 Megabit. (Beide werden von Intel Corp. hergestellt.) Außerdem ist es möglich, einen einzigen IC-Schaltungschip zu verwenden, der den Mikroprozessor 50, mindestens einen Teil des ROM 54 und mindestens einen Teil des RAM 56 enthält.
Mit dem Bus 52 ist außerdem eine serielle EIA-RS-232- Schnittstelle 62 verbunden, die eine Einrichtung zum Eingeben und Ausgeben von Daten bereitstellt. Daten werden dadurch an den Bus 52 (normalerweise das RAM 56) geleitet, indem über den RS-232-Port 62 eine externe Datenquelle direkt mit dem Mikroprozessor 50 und anderen Elementen des Mikrocomputers 14 verbunden werden. Ein Abladen von Daten vom RAM 56 kann auch über den Mikroprozessor 50 an einen externen Computer, eine andere Datensammelvorrichtung, eine Massenspeichervorrichtung (z.B. Disketten- und Festplattenlaufwerke) oder ein elektronisches Telekommunikationssystem geschehen. In der gleichen Weise können Daten vom Verbindungsbus 52 über den Port 62 an einen (nicht dargestellten) Drucker weitergeleitet werden.
Der Griffel 16 wird zum Schreiben auf den Eingabebildschirm 18 und zum Veranlassen der Erzeugung von X/Y-Koordinateninformation durch herkömmliche Berührungsbildschirm- Schnittstellenelektronikschaltungen verwendet. Die Koordinateninformation wird zur Steuerung durch das System 10 über den Bus 52 weitergeleitet. Die Festkörperanzeige 20, die aus einer Vielzeilenanzeige - z.B. 80 Spalten mal 25 Zeilen - besteht, ist über den Bus 52 mit einer Anzeigeschnittstelle 66 verbunden. Die Hauptanforderungen an die Anzeige sind, daß sie im wesentlichen flach und so dünn sein muß, daß sie für die vorliegende Erfindung eingesetzt werden kann. Die Anzeige kann einer der folgenden Anzeigentypen sein: Abtastanzeigen wie z.B. eine Kathodenstrahlröhre, projizierte Anzeigen wie z.B. ein Rückseitenprojektor, ein Feld lichtemittierender Punkte (z.B. Elektrolumineszenz oder Plasmaentladung) und Felder von Lichtsperrungspunkten (z.B. Flüssigkristallanzeigen, Festkörper-PLTZ oder magnetooptische Anzeigen). Außerdem ist es vorzuziehen, wenn die Anzeige mit dem Eingabebildschirm 18 von der Größe, Konfiguration und Durchsichtigkeit her kompatibel ist und daß beide wenig Energie verbrauchen.
Die X/Y-Koordinaten werden über die Eingabebildschirmschnittstellenelektronik 64 in den tastaturlosen Computer 14 eingegeben und über den Bus 52 an den Mikroprozessor 50 weitergeleitet, der die im ROM 54 und RAM 56 gespeicherten Programme ausführt.
Die Anzahl von Punkten (d.h. X/Y-Koordinatenpaaren), die zum Definieren des jeweiligen handschriftlichen Symbols verwendet werden, und die Geschwindigkeit, mit der Punkte identifiziert werden, sind für die praktische Anwendbarkeit wichtig. Es ist wünschenswert, mindestens 4 Punkte pro Millimeter (100 Punkte pro Zoll) und mindestens ungefähr 100 Punkte pro Sekunde zum Definieren handschriftlicher Symbole zu verwenden. Es ist zu bemerken, daß je mehr Punkte pro Längeneinheit identifiziert werden, desto größer die Genauigkeit des Systems beim Identifizieren handschriftlicher Symbole ist - mehr zu identifizierende Punkte verlangsamen jedoch die Identifikationsgeschwindigkeit und erfordern mehr Computerspeicher. Es muß daher zwischen der Größe des Computersystems (dem verfügbaren Speicherplatz und der Verarbeitungsfähigkeit) und den Anforderungen für Ansprechgeschwindigkeit und Genauigkeit ein Kompromiß gefunden werden. Für die meisten Zwecke sind Standards im Bereich von 4 Punkten pro mm (100 Punkten pro Zoll) und 100 Punkten pro Sekunde bis ungefähr 8 Punkte pro mm (200 Punkte pro Zoll) und 200 Punkten pro Sekunde geeignet.
Außerdem ist zu bemerken, daß je größer die Präzision des Systems beim Identifizieren der X/Y-Koordinaten eines jeden Punktes ist, desto kleiner die Zahl der pro Längeneinheit und Sekunde zum Identifizieren handschriftlicher Symbole zu identifizierenden Punkte ist. Umgekeht braucht man bei abnehmender Genauigkeit umso mehr Punkte.
Punktauflösung wird dazu benötigt, die Punkte am beabsichtigten Ort zu plazieren, z.B. zum Schreiben eines Editiersymbols genau zwischen zwei Buchstaben. Idealerweise wird die Auflösung auf ein einziges Anzeigepixel benötigt. Im Betrieb ist jedoch eine Auflösung auf zwei angezeigten Pixeln ausreichend für eine Anzeige mit 640 Pixeln in einer 225 µm (9 Zoll) breiten waagrechten Abtastzeile.
Wenn der Schalter 30 (Fig. 2) auf "power on" ("An") gestellt wird, wird die Grundanzeigebetriebsart aktiviert und der durch das Betriebssystem programmierte Mikrocomputer 14 (Fig. 4) veranlaßt das Anzeigen eines Menüs auf dem Anzeigebildschirm 20 (Fig. 1). Das Menü präsentiert verschiedene Programmauswahlen. Eine Hauptprogrammauswahl, das Editieren, funktioniert in einer herkömmlicher Textverarbeitungssoftware ähnlichen Art und Weise, wobei der Unterschied darin besteht, daß die handgeschriebenen Zeichen, Symbole und Befehle vom System so verstanden werden, als wären sie von einer herkömmlichen Tastatur aus eingegeben. Das System kann die von einem bestimmten Schreiber verwendeten Editiersymbole für die einzelnen Funktionen lernen, wie z.B. Einrücken, Einfügen, Streichen, Bewegen und Umformatieren, und übersetzt diese Symbole in digitale Befehlsfunktionen. Wahlweise übernehmen durch Berühren entsprechender Bereiche auf dem Eingabebildschirm mit dem Griffel 16 betätigte Softkeys 28 (Fig. 2) die Funktion herkömmlicher Funktionstasten auf einer Computertastatur.
Das System ist besonders geeignet zur Verwendung als interaktiver Bildschirmeditor oder als Textverarbeitungssystem. Wenn ein Schreiber ein Dokument (z.B.) durch Berühren des angezeigten Namens einer existierenden Datei auf dem Bildschirm mit dem Griffel oder durch Schreiben des Namens der Datei auf dem Bildschirm aufgerufen hat, können alle normalen Editierfunktionen durch Eingabe mit dem Griffel durchgeführt werden. Wenn der Benutzer ein angezeigtes Zeichen oder Symbol verändern will, kann er einfach über das angezeigte Zeichen oder Symbol schreiben, und wie im folgenden geschildert übersetzt der Mustererkennungsalgorithmus den geschriebenen Eintrag in Computertext. Z.B. erlaubt die Editiersoftware ein Streichen von Text einfach durch Ziehen eines Strichs durch ihn, und ein herkömmliches Einfügungszeichen kann zum Ändern der Betriebsart in die Einfügebetriebsart verwendet werden. Im Einfügemodus wird auf dem Anzeigebildschirm 20 zusätzlicher Platz zur Eingabe handschriftlicher Zeichen oder Symbole freigemacht, die nach-dem Punkt in den Text eingefügt werden, an dem das Einfügungszeichen eingezeichnet wurde. Text kann einfach durch das Plazieren von Klammern oder anderen benutzerdefinierten Abgrenzern um einen angezeigten Satzteil oder ein angezeigtes Wort und durch Schreiben eines Einfügungszeichens oder eines anderen benutzerdefinierten Symbols im Bereich des Texts, in dem der Benutzer das Material erscheinen lassen will, verschoben werden. Neue Ränder können eingestellt werden, indem senkrechte Linien auf der Seite des angezeigten Texts an der Stelle gezogen werden, an der die neuen Ränder sein sollen.
Die grundlegende Editiersoftware erlaubt auch das Schreiben eines neuen Dokuments einfach durch Schreiben von handschriftlichen Symbolen auf dem Bildschirm. Alle Dokumente können gespeichert, verändert und weitergeleitet werden, wie das auch auf einem herkömmlichen Textverarbeitungssystem möglich ist, mit dem Unterschied, daß diese Funktionen durch handgeschriebene Editiersymbole auf dem (wahlweisen) Bildschirm oder durch Berühren der Softkeys mit dem Griffel bewerkstelligt werden. Der so erzeugte zusammengesetzte Text kann über den RS-232-Port 62 (Fig. 4) an einen anderen Computer, eine ähnliche Vorrichtung, eine externe Datensammel- oder -aufzeichnungsvorrichtung, in einen Drucker oder über ein Telekommunikationssystem abgeladen werden.
Zusätzlich zu diesen Hauptbetriebsarten, kommen noch eine Anzahl weiterer nützlicher Elemente und Eigenschaften zum System hinzu. Ein (nicht dargestelltes) herkömmliches alphanumerisches Tastenfeld mit einem vollständigen Tastensatz kann mit einer (nicht dargestellten) herkömmlichen Tastaturschnittstelle zum Unterstützen der Eingabe alphanumerischer Zeichen verwendet werden. Auch kann ein Netzgerät bei denjenigen Anwendungen verwendet werden, bei denen die Tragbarkeit nicht nötig ist, und gegebenenfalls zum Erfüllen der Leistungsanforderungen von Bildschirmtechniken wie z.B. Gasplasmaanzeigen und Elektrolumineszenzanzeigen.
In der tatsächlichen Verwendung kann der tastaturlose Computer bei allen Anwendungen oder Umgebungen funktionieren, bei denen ein in den Computer eingegebener handschriftlicher Text nützlich-oder notwendig ist. Z.B. kann das Gerät als Textverarbeitungssystem der nächsten Generation, oder bei der Verwendung in solchen Gebieten wie Verkauf, Krankenpflege, Inventarisierung, Volkszählung, Anspruchsanpassung Verwendung finden, um nur einige zu nennen, oder als Lern- und Testgerät im Erziehungs- und Bildungswesen. Da die Mustererkennungssoftware in Sprachen lernen und in diese übersetzen kann, die nicht aus einer kleinen oder begrenzten Anzahl alphanumerischer Zeichen besteht (z.B. Japanisch, Koreanisch und Chinesisch), ist es zur Textverarbeitung und Telekommunikation vor allem in diesen Sprachen besonders nützlich.
In der Praxis ist es besonders wünschenswert, einen einzelnen Computerbildschirm zum Anzeigen anfänglicher Formen, Fontsymbole oder anderer zu editierender Anzeigen zu verwenden und daneben ein "Fenster" mit leerem Raum zu schaffen, in dem handschriftliche Symbole eingetragen, angezeigt und identifiziert werden können und in dem die den handschriftlichen Symbolen entsprechenden Fontsymbole angezeigt werden. Auf diese Weise kann der Benutzer den zu editierenden Text und die vorgeschlagene Einfügung oder Veränderung ohne wesentliche Bewegung (wenn überhaupt) des Kopfs oder der Augen sehen. Dies ist in Fig. 11A bis 11D dargestellt. Diese Eigenschaft (räumliche Nähe auf einem Bildschirm des zu editierenden Texts und des Fensters, in das neuer Text handschriftlich eingegeben werden kann) ist für das einfache, schnelle, bequeme Nutzen des Systems äußerst wichtig.
Bei einer bevorzugten Ausführungsform der Erfindung "lernt" das System die Handschrift eines Benutzers vor der tatsächlichen Verwendung. Wenn z.B. das lateinische Alphabet verwendet wird, werden die sechsundzwanzig Buchstaben des Alphabets und die Ziffern von 0 bis 9 in die Datenbank eingegeben. Interpunktions-symbole, wie z.B. Punkte, Kommata, Fragezeichen, Doppelpunkte, Semikola, Bindestriche und dergleichen können auch aufgenommen werden. Es gibt so gut wie keine Beschränkung bei den handschriftlichen Symbolen, die erkannt und in der Datenbank aufgenommen werden können. Der Computer muß natürlich eine geeignete Auswahl von Fontsymbolen speichern, die zum Umwandeln der handschriftlichen Symbole dienen.
Verschiedene Sätze von Fontsymbolen können im nichtflüchtigen Speicher, wie z.B. im ROM-Chip 54 erzeugt und gespeichert werden. Bei der Verwendung mit der englischen Sprache könnte ein Chip z.B. einen (oder mehr) Fonts von Ziffern und Buchstaben enthalten, geeignete Interpunktionszeichen und entsprechende mathematische Symbole. Andere Chips könnten gespeicherte Fontsymbole für das arabische, das kyrillische oder das griechische Alphabet haben, japanisches, chinesisches oder koreanisches "Konji", von Architekten oder Ingenieuren verwendete Symbole oder chemische Symbole (z.B. Benzolringe und dergleichen).
In Fig. 10 ist einer aus einer Reihe von Lernbildschirmen angezeigt, und der Benutzer wird aufgefordert, die Zahlen von bis 4 einzugeben. Der Computer wird versuchen, die geschriebenen Zahlen mit der existierenden Datenbank (gegebenenfalls) abzugleichen. Wenn sie nicht abgeglichen werden können, weil keine Datenbank existiert oder weil mit einer existierenden Datenbank nur eine entfernte Entsprechung entsteht, wird das Zeichen in die Datenbank aufgenommen. Dieser Lernprozeß wird fortgesetzt, bis alle zu verwendenden alphanumerischen (oder anderen) Zeichen und Symbole in die Datenbank eingegeben wurden. Das System hat die Fähigkeit, Vielfach-Strich-Charakterisierungs-Datenbanken für von mehr als einem Benutzer benutzten Systemen zu speichern. Die Existenz einer einmaligen Strich-Charakterisierungs-Datenbank für jeden Benutzer hat den weiteren Vorteil, daß der Schreibwinkel irrelevant wird. Daher kann sich das System auf alle Handschriftstile einrichten und kann von rechts- wie linkshändigen Personen benutzt werden. Eine Eigenschaft könnte noch für die Benutzbarkeit durch Rechts- und Linkshänder wünschenswert sein. Diese Eigenschaft wäre ein (nicht dargestelltes Behältnis) für den Griffelanschluß auf beiden Seiten des Gehäuses 12, so daß der Griffel für Linkshänder auf der linken und für Rechtshänder auf der rechten Seite angebracht werden könnte.
Fig. 10 stellt auch ein Beispiel für die Verwendung von "Softkeys" dar. Zusätzlich zur Eingabezeile erscheinen verschiedene Softkeys. Jeder Softkey entspricht einer Funktion, die vom System ausgeführt werden kann. Zum Ausführen der Funktion berührt der Benutzer einfach den angezeigten Punkt mit dem Stift. Der Softkey erscheint dann in Farbumkehrung, und die ausgewählte Funktion wird ausgeführt. Softkeys haben gegenüber traditionellen Funktionstasten viele Vorteile. Es ist vor allem wichtig, daß der Benutzer sich nicht mehr merken muß, welche Funktionstaste welche Funktion ausführt. Tastaturschablonen sind nicht mehr nötig. Und es können verschiedene Softkeys an verschiedenen Stellen im Programm zur Verfügung gestellt (angezeigt und funktionstüchtig gemacht) werden.
Fig. 11A bis 11I demonstrieren einige der durch die Erfindung ermöglichten Vereinfachungen bei der Textverarbeitung. In Fig. 11A ist ein Standardtextbildschirm dargestellt. Der Benutzer des tastaturlosen Eingabesystems beschließt, daß zusätzliche Information hinzugefügt werden soll und zeichnet ein Einfügesymbol (z.B. Einfügungszeichen in Form eines Häkchens) am gewünschten Ort auf den Bildschirm. Ein Dateneingabefenster erscheint (Fig. 11B). Der Text wird als handgeschriebene Symbole eingegeben (Fig. 11C), abgeglichen (in Fontsymbole umgewandelt) (Fig. 11D) und dann eingefügt (Fig. ile). Der Benutzer überlegt es sich noch einmal anders und zieht einen waagrechten Strich durch das eingefügte neue Material (Fig. 11F). Es wird sofort gelöscht (Fig. 11G). Dann ist Äach Ansicht des Benutzers ein größerer rechter Rand für den Text passender. Ein senkrechter Strich wird auf den Bildschirm gezeichnet (Fig. 11H), und der Rand wird automatisch verändert (Fig. 11I).
Ein verallgemeinertes Blockdiagramm des Editierungsvorgangs ist in Fig. 13 gezeigt, und eine Beschreibung dieser Figur wird im folgenden gegeben.
Fig. 12A-12G stellen dar, wie ein leeres Formular für einen Krankenhauspatienten verwendet werden kann. Der Benutzer des Systems ruft zuerst das richtige leere Formular auf (Fig. 12A). Dies kann z.B. dadurch geschehen, daß der entsprechende Softkey berührt wird. Der Bereich, wo die Information, in diesem Fall eine Pulsmessung, eingetragen werden soll, wird mit dem Stift berührt (Fig. 12B). Nachdem der gewünschte Ort hervorgehoben wird, erscheint direkt unter dem Platz, an dem die Messung aufgezeichnet werden soll, ein "Fenster" (Fig. 12C). Die Krankenschwester oder der Krankenpfleger berührt dann mit dem Stift das Abgleichkästchen, das hervorgehoben erscheint (Fig. 12D). Dann gleicht die Software die handschriftliche Eingabe mit den entsprechenden Fontsymbolen ab und zeigt das Ergebnis an (Fig. 12E). Wenn sich eine genaue Abgleichung ergibt, wird der "Einfügen"-Block berührt (Fig. 12F), und die neue Messung wird den Patientendaten hinzugefügt (Fig. 12G). Dieser Mechanismus kann natürlich auf viele verschiedene Blankoformulare angewendet werden, in die Daten eingetragen oder in denen Daten korrigiert werden. Er könnte zum Beispiel zum Korrigieren oder Aktualisieren finanzieller Information in einem Benutzeroberflächenprogramm verwendet werden. Andere Information kann in der gleichen Weise aufgezeichnet werden.
Der Grund für die Verwendung eines schwarzen Hintergrunds und weißer Buchstaben für die neu eingegebenen Fontsymbole ist das Erleichtern der Genauigkeit des eingegebenen Buchstabens. Dies ist zwar vorzuziehen, doch ist es nicht so wichtig, und ein weißer Hintergrund und schwarze Buchstaben sind auch möglich.
Daß auf demselben Bildschirm ein Fenster aufgemacht und Daten eingegeben werden können sowie die Nähe zum zu editierenden Text oder zum Ort der Dateneingabe ist eine wichtige Eigenschaft des Geräts, da sie eine leichte und schnelle Bedienung des Geräts erlaubt. Das Auge des Benutzers kann auf den Ort fokussieren, an dem Daten eingegeben werden, und daß gleichzeitig handschriftliche Symbole und die entsprechenden Fontsymbole angezeigt werden können, erleichtert ein Auffinden von Fehlern, wenn das System ein handschriftliches Symbol "falsch versteht", und eine darauf folgende schnelle und leichte Korrektur.
Zuerst in bezug auf Fig. 5 wird nun der Gesamtbetrieb und die Funktionsweise der Mustererkennungssoftware beschrieben. Wenn das Betriebssystem das Mustererkennungsprogramm aufruft, läuft das Programm in Terminal 75 an, wo eine Anzahl von Variablen und Zählern initialisiert werden. Dann geht die Software zur Raute 76 weiter, an der das Programm entscheidet, ob der Griffel 16 (Fig. 2) mit dem Eingabebildschirm 18 in Kontakt ist (Fig. 2A). Das System erzeugt ein "Stift-in-Kontakt"-Signal, wie in Box 78 gezeigt, sowie die X-Y-Koordinatenspannungen als Lokalisierungssignale, wie oben beschrieben. Der Mikrocomputer 14 (Fig. 4) wandelt die X-Y-Koordinaten- Lokalisierungssignale unter Verwendung von im ROM 54 (Fig. 4) gespeicherten Programmen in Strich-Charakteristiken um, oder es kann auch ein eigener Mikrocomputer, wie z.B. der Mikrocontroller 44, die Umwandlung vornehmen. Wenn ein Stift-in-Kontakt-Signal empfangen wird, geht die Software zur Verarbeitungsbox 80 weiter, wo einzelnen Lokalisierungssignale zu "Strichen" kombiniert werden, wobei ein Strich als die zwischen einem "Stift-in-Kontakt"- und einem "Stift-nicht-in- Kontakt"-Signal erzeugten Punktlokalisierungssignale definiert ist.
Das System berechnet dann, wie unten beschrieben, für jeden Punkt eine Transformation, wodurch die Punktkoordinaten aus dem kartesianischen X-Y-Koordinatensystem in ein Relationskoordinatensystem umgewandelt werden. Dann geht die Software weiter zur Verarbeitungsbox 82, wo sie den Strich mit in einer Datenbank gesammelten zuvor eingegebenen Strichen vergleicht, und bestimmt, ob der Strich durch ein Symbol in der Datenbank repräsentiert ist. Wenn eine Übereinstimmung gefunden wurde (wenn ein durch den Strich dargestelltes Fontsymbol erkannt wird), wie bei der Entscheidungsraute 84 daßrgestellt, veranlaßt der Mikroprozessor 50 (Fig. 4), daß das Symbol an den Anzeigebildschirm 20 (Fig. 4) gesandt wird, wie das in der Verarbeitungsbox 86 angegeben ist. Wenn keine Übereinstimmung gefunden wurde, veranlaßt der Mikroprozessor 50 (Fig. 4), daß eine Meldung angezeigt wird, wie das in der Verarbeitungsbox 88 angezeigt ist, die eine weitere Eingabe des Griffels auf den Eingabebildschirm 18 (Fig. 4) verlangt, indem entweder ein Eintrag, der einer Übereinstimmung nahekommt oder ein Nichterkennungssymbol blinkend erscheint.
Wie oben erwähnt, vergleicht die Software die Strichcharakteristiken eines jeden handschriftlichen Symbols mit zuvor in der Datenbank eingegebenen Dateneinträgen. Bei einer bevorzugten Ausführungsform ist die Datenbank in Abschnitte von Zeichen oder Symbolen unterteilt, je nach der Anzahl von Strichen, die für ein Zeichen oder für ein Symbol benötigt werden. In jedem Abschnitt sind die Einträge zuerst zufällig angeordnet, doch steigen die am meisten gebrauchten Einträge während des Gebrauchs ganz oben in der Datenbank. Jeder Benutzer hat ja seinen bestimmten Stil beim Schreiben eines handschriftlichen Symbols, und jedes handschriftliche Symbol kann daher eine Anzahl unterschiedlicher Variationen haben.
Zum Beispiel schreiben viele Menschen das kleine "h" in einem einzigen Strich. Und zwar setzen sie den Stift an einem Punkt auf die Schreibtafel, an dem sie den höchsten Punkt des Buchstabens haben wollen, dann ziehen sie eine senkrechte Linie nach unten auf die Basislinie, dann, ohne Absetzen des Stifts, gehen sie zurück zur Mitte der zuvor gezogenen Linie, dann nach rechts und wieder hinunter zur Basislinie, wo der Stift abgesetzt wird. Andererseits können diese selben Menschen das große "H" in zwei Strichen schreiben. Und zwar zeichnen sie die linke senkrechte Linie und die waagrechte Linie wie beim kleinen "h", setzen den Stift ab und ziehen dann die rechte senkrechte Linie. Anhang I zeigt die Daten der Strichdatenpunkte für diese Buchstaben an, wie die Daten im Speicher gespeichert werden, nachdem sie von einer Ausführungsform der Erfindung erzeugt wurden.
Wie im Anhang I gezeigt, hat der Buchstabe "h", wie er zu einer bestimmten Zeit von einem bestimmten Benutzer geschrieben wurde, einen Strich (ns = 1) mit 20 Punkten (np = 20) und X- und Y-Koordinaten-Charakteristiken für den normalisierten Minimal-, Durchschnitts- und Maximalwert (1/80 einer Linienbreite). wie folgt: -17 und -6; 0 und 18; bzw. 19 und 60. Die Werte in der ersten senkrechten Spalte sind die Punkt-zu- Punkt-Steigungen, auf 360º/266 normalisiert. Die Werte in der -zweiten senkrechten Spalte sind die durchschnittlichen senkrechten Positionen über der Basislinle, auf 1/80 der Linienbreite normalisiert. Eine typische Linienbreite ist ungefähr 1 mm (0,04 Zoll).
In Fig. 6 ist eine Softwarehierarchie von Programmen dargestellt. Ganz oben ist das ganze Computersystem 10 (Fig. 1), das ein in der Box 90 angegebenes Betriebssystem unter sich hat. Anwenderprogramme in den Boxen 92 und 94, die im RAM 56 (Fig. 4) und im ROM 54 (Fig. 4) sind, können vom Mikroprozessor 50 (Fig. 4) unter der Steuerung des Betriebssystems ausgeführt werden. Wenn ein handschriftliches Zeichen durch einen Unterbrecher angezeigt ist, wird eine Handschrifterkennungssoftware 96 aufgerufen. Eine erste Unterroutine, wie in Box 98 angegeben, kodiert die X-Y-Koordinaten in Striche. Die Eigenschaften der Striche werden dann durch eine Unterroutine 100 definiert, worauf ein Vergleich der Striche mit einer Datenbank folgt, die von ROM 54 (Fig. 4) in RAM 56 (Fig. 4) geladen wurde. Der Vergleich wird durch eine Unterroutine 102 durchgeführt. Wenn das Betriebssystem in der "Lern"-Betriebsart ist, wird die Datenbank mit den neuen Strich-Daten und Symbolen aktualisiert, wie in Box 104 angegeben ist. Auf ähnliche Weise kann ein zuvor gespeichertes Dokument durch Anwenderprogramm 92 editiert werden, indem die Editierfunktion 94 verwendet wird, die der Benutzer aufruft, der die Befehle als Eingabe unter Verwendung der Unterroutinen 98, 100 und 102 des Handschrifterkennungsprogramms 92 liefert.
Gemäß Fig. 7 führt das Betriebssystem 90 (Fig. 6) die Handschrift-Zeichen-Erkennungssoftware 96 (Fig. 6) aus, indem als Eingabe die X-Y--Koordinatenpunkte der Position des Griffels 16 (Fig. 2) auf dem Eingabebildschirm 18 (Fig. 2) angenommen werden, wie in Box 110 dargestellt, und diese Punkte als Striche kodiert werden, wie in Box 112 dargestellt. Das Programm charakterisiert dann die Striche durch einen Satz von Eigenschaften, in dem z.B. die Länge, die Biegung, die Steigung und die Position des Strichs berücksichtigt werden, wie in Box 114 dargestellt. In der Box 116 wird dann zum charakterisierten Strich oder zur charakterisierten Abfolge von Strichen die beste Entsprechung zu denjenigen in der Datenbank gesucht. Wenn eine ausreichend nahe Entsprechung gefunden wurde, wird das Zeichen in Box 118 identifiziert, und der Datenbankeintrag wird mit dem über ihm liegenden vertauscht, wie in Box 120 gezeigt. Auf diese Weise "steigen" die am häufigsten identifizierten Zeichen in der Datenbank nach oben, und die Gesamtsystemleistung, gemessen an der Zeit, die zum Auffinden einer Entsprechung benötigt wird, wird gesteigert. Wenn keine Entsprechung gefunden wird, kann der Benutzer unten an die Datenbank etwas hinzufügen, wie in Box 122 angegeben.
Fig. 8 und 9 sind ein Flußdiagramm des Computerprogramms zum Erkennen einer bestimmten Strichsequenz. Das Computerprogramm beginnt im Terminal 150 und geht zum Verarbeiten der x-Y-Spannungen zur Verarbeitungsbox 152, nachdem die Spannungen in ein digitales Signal umgewandelt wurden. Dann geht das Programm zur Entscheidungsbox 154 weiter, wo das Programm bestimmt, ob der Stift oder Griffel 16 (Fig. 2) mit dem Eingabebildschirm 18 nicht in Kontakt steht. Diese Entscheidung wird getroffen, wenn sowohl die X- als auch die Y-Spannung null ist. Wenn das Programm bestimmt, daß der Stift oben ist, dann wird angenommen, daß der Strich vollständig ist, und das Programm zweigt nach Box 156 ab. In der Entscheidungsbox 156 bestimmt das Programm, ob weniger als drei Punkte im Strich sind, und wenn das so ist, zweigt das Programm zur Entscheidungsbox 158 ab. In der Entscheidungsbox 158 bestimmt das Programm, ob null Punkte im Strich sind. Wenn null Punkte im Strich sind, geht das Programm zum Anfang der Verarbeitungsbox 152 zurück, wo ein weiterer Satz Punkte gelesen wird. Wenn der (in der Box 164 inkrementierte) Punktezähler anzeigt, daß es mehr als null Punkte sind, zweigt das Programm zur Verarbeitungsbox 172 ab. In der Verarbeitungsbox 172 wird der Strich als Punkt identifiziert, und seine Höhe über der Basislinie (HABL) wird in der Verarbeitungsbox 173 berechnet. Von der Verarbeitungsbox 173 geht das Programm dann weiter zur Verarbeitungsbox 171.
Wenn jedoch ein Stift-unten-Signal empfangen wird, zweigt das Programm zur Verarbeitungsbox 160 ab, wo diä Spannungen so skaliert werden, daß der Koordinatenpunkt unter Verwendung der folgenden Formeln bestimmt werden kann:
X = a&sub1;v&sub1; + b,
Y = a&sub2;v&sub2; + b&sub2;
Die Konstanten a, und b, sind Skalierungsparameter, die beim Kalibrieren der Eingabeoberfläche der entsprechenden Anzeige bestimmt werden.
Nach dem Skalieren der Spannungen geht das Programm zur Entscheidungsraute 162 weiter, wo das Programm bestimmt, ob es sich um einen falschen Punkt handelt. Dies geschieht durch Vergleichen der Entfernungen zwischen Punkten und Eliminieren eines Punkts, wenn der Abstand zu groß ist (größer als 2,5 mm oder 0,10 Zoll wird derzeit verwendet). Es wird ein Punkt aber auch eliminiert, wenn die Punkte zu nahe beieinanderliegen. Punkte werden derzeit ausgedünnt, wenn sie weniger als 0,4 mm (0,015 Zoll) entfernt sind.
Das Vergleichsproblem, das für den ersten Punkt entsteht, wird dadurch gelöst, daß bestimmt wird, ob ein Punkt der erste Punkt ist, nachdem der Stift unten ist, und dann wird dieser Punkt lediglich dazu benützt, den nächsten Punkt zu überprüfen, der angenommen wird, unter der Annahme, daß dieser Punkt innerhalb des maximalen Abstands von 2,5 mm (0,10 Zoll) ist.
Wenn der Abstand zwischen Punkten als die beiden Kriterien nicht erfüllend bestimmt wird, läßt das Programm den Punkt fallen und geht oberhalb der Verarbeitungsbox 152 zurück und liest ein weiteres Paar Koordinatenpunktspannungen.
Wenn andererseits die Punkte die Kriterien erfüllen, geht das Programm zur Verarbeitungsbox 164 weiter, wo ein Punktzähler zum Überwachen der Anzahl der Punkte inkrementiert wird. Die Anzahl wird bei der Entscheidung in der Entscheidungsraute 156, wie oben erwahnt, verwendet. Dann geht das Programm zur Verarbeitungsbox 166 weiter, wo die Punkte nach einer aus mehreren Formeln geglättet werden. Das Glätten wird zum Minimieren des Rauschens bei der Digitalisierung, unkoordinierten Handbewegungen und elektronischen Rauschens verwendet. Das einfachste Glättungsverfahren ist ein Durchschnittswert mehrerer Punkte, der zur Berechnung neuer Punkte (xj'yj') wie folgt:
und ähnlich für y&sub1;', das über die Punkte n&sub1; - n&sub2; geglättet wird.
Ein weiteres einfaches Verfahren wird das laufende gewichtete Durchschnittsverfahren genannt und verwendet die folgende Formel:
sj' = α xj + (1 - α) xj'-1,
Alpha ist eine Gewichtungskonstante, die normalerweise positiv ist (und unter 1 liegt) und als 0,25 angenommen wurde. Die Summationen wurden bei n&sub2; minus n, gleich eins ausgeführt. Bei einem dritten Verfahren wird ein sogenannter Spline Fit verwendet, bei dem die folgende Formel angewendet wird:
xj'= (xj-1, + 4 xj + xj+1)
Die vorhergehenden Verfahren können entweder vor oder nach der Filterung angewendet werden. Die Filterung wird so durchgeführt, daß die Anzahl von Eingabepunkten verringert und die Daten so angeordnet werden, daß Differenz- und/oder Winkelberechnungen innerhalb annehmbarer Toleranzen vorgenommen werden können. Ein einfaches Verfahren zum-Aüsdünnen einer Abfolge von Punkten, indem die Annahme aufeinanderfolgender Punkte innerhalb einer festen Entfernung der zuvor angenommenen Punkte ausgeschloseen wird, hat sich als effektiver Filter herausgestellt.
Von der Verarbeitungsbox 166 geht das Programm zur Verarbeitungsbox 168 weiter, wo der Punkt in einem Feld gespeichert wird, das für jeden neuen Punkt seit dem letzten Stiftunten-Signal inkrementiert wird. Es wird so ein adressierbares Feld von Punkten für jede Abfolge von Punkten von einem Stiftunten- bis zu einem Stift-oben-Signal geschaffen. Diese Abfolge von Punkten wird Strich genannt. Von der Verarbeitungsbox 168 geht das Programm oberhalb der Verarbeitungsbox 152 zurück, wo ein neuer Punkt aufgenommen wird, bis ein Stiftoben-Signal den Strich beendet.
In der Entscheidungsraute 156 wurde eine Entscheidung darüber getroffen, ob weniger als drei Punkte im Strich waren. Wenn drei oder mehr Punkte in einem Strich sind, dann handelt es sich definitionsgemäß um eine Linie und nicht um einen Punkt. Wenn drei oder mehr Punkte im Strich sind, zweigt das Programm zur Unterroutinenbox 170 ab. In der Unterroutinenbox 170, die weiter unten detaillierter anhand von Fig. 9 erläutert ist, wird der Strich nach seiner Steigung und seiner Höhe über der Basislinie charakterisiert.
Wie aus dem Bisherigen ersichtlich ist, basiert die Segmentierung eines Stroms von Koordinatenpunkten in einen Strich hauptsächlich auf der Feststellung, wann der Griffel 16 "oben" bzw. nicht in Kontakt mit der Oberfläche des Eingabebildschirm 18 ist. Als Alternative kann ein Punktestrom auch aufgrund anderer Überlegungen zur Bildung von Strichen segmentiert werden. Zum Beispiel können sie auch aufgrund von Veränderungen in einer örtlich berechneten Krümmung oder aufgrund einer großen örtlichen Krümmung berechnet werden. Die örtliche Krümmung wird durch eine Veränderung des Abstands entlang der Eingabekoordinaten geteilt durch die Veränderung der Steigung berechnet. Hierdurch wird ein Krümmungsradius errechnet. Wenn sich der Krümmungsradius im Verhältnis zur Entfernung entlang der Eingabekoordinaten schnell ändert, oder wenn der Radius zu klein ist, wird ein Segmentierungsstrich als beendet und ein neuer Strich als begonnen angenommen. Weitere Segmentierungsverfahren können das relative Maximum und Minimum einer oder beider Koordinaten und/oder die Kurvenüberschneidungen in den Koordinaten betrachten. Diese letzten zwei Verfahren haben sich aber als weniger effektiv herausgestellt.
Das Charakterisieren eines Strichs verringert die den Strich oder das Segment definierende Abfolge von Koordinaten auf einen Satz von Charakteristiken, die einmalig, verallgemeinert und minimal sind. Einmaligkeit bezieht sich sowohl auf den Faktor, daß die gleichen Charakteristiken durch die gleichen Koordinaten erzeugt werden, als auch auf den Faktor, daß die Charakteristiken zum Wiederherstellen einer Annäherung an die ursprüngliche Koordinatensequenz ausreichen. Der Begriff "verallgemeinert" bedeutet, daß die Charakterisierung unter solchen Transformationen invariant sind, so daß die Symbole invariant sind (z.B. Translation, Skalierung, Strekkung oder leichte Neigung). Die Skalierung aller Entfernungen wird durch das Herstellen eines Verhältnisses des Abstands zu einer Schreibeingabezeilenbreite bewerkstelligt.
Der minimale Satz von Segmentcharakteristiken hat die folgenden Eigenschaften:
(1) Strichposition: eine oder mehrere der folgenden Möglichkeiten: Schwerpunkt/Durchschnitt, Ausdehnungsextrem oder Anfangs- und Endpunkte, die im Verhältnis zur Schreibeingabelinie, zu vorhergehenden Strichen oder zum Zeichenausmaß oder zur Zeichenmitte bestimmt werden;
(2) die Strichform wird durch einen oder mehrere der folgenden Faktoren gekennzeichnet: durchschnittliche Steigung (die ein Maß für die durchschnittliche Krümmung ist) und/oder eine Änderung der Krümmung, durch eine Abfolge von Steigungen über bestimmte Längensegmente oder über Teillängen, oder durch eine Gesamtbeschreibung linearer Richtung oder Kreisvollendungs- und -öffnungsrichtung;
(3) und Strichlänge, wie sie durch die Richtung entlang der Kurve und/oder dem Ausdehnungsextrem entlang des Koordinatensystems gekennzeichnet ist.
Bei einer erfindungsgemäßen Ausführungsform ist die Positionierung durch Schwerpunkt, Ausdehnungsextrem und Anfangs- und Endkoordinaten erfolgreich verwendet worden. Die Strichform wird als Abfolge von Steigungen und senkrechten Positionen (im Verhältnis zum Strichschwerpunkt) kodiert. Die Strichlänge kann durch die Anzahl der gefilterten Punkte angenähert weäden. Alternativ kann die durchschnittliche Krümmung in Gesamtsteigungsänderung (zusammen mit der Länge) Änderung der Anfangs- im Vergleich zur Endsteigung oder ein Einpassen des Steigungswinkels im Vergleich zur Kurvenlänge zum Erhalt einer Steigungswinkelveränderungsgeschwindigkeit kodiert werden. Zusätzliche Charakteristiken, die verwendet werden könnten, sind die Lage von relativen Extremwerten, Kurvenüberschneidungen, Wendepunkten und der Strichrichtung.
Ein bestimmtes zum Bestimmen der einzigartigen Charakteristiken verwendetes Verfahren ist im folgenden beschrieben.
1. Die numerischen Werte der Kriterien für jeden Strich des handschriftlichen Symbols werden bestimmt.
2. Die Datenbankwerte für jeden Strich des zuvor gelernten handschriftlichen Symbols werden bestimmt und von den gerade bestimmten Werten entsprechend abgezogen.
3. Die absoluten Werte einer jeden Differenz werden skaliert, um jeden der fünf Meßwerte ungefähr äquivalent zu den anderen zu machen, wie zum Beispiel Längen, die auf die Höhe zwischen den Zeilen skaliert werden.
4. Die fünf so bestimmten Werte werden addiert.
5. Ein vorbestimmter Schwellenwert wird als Güte"-Test der Erkennung verwendet - ist der Wert zu hoch, werden Fontsymbole selten erkannt, ist er zu niedrig, werden Fontsymbole falsch identifiziert. Schwellenwerte von ungefähr 1.000 werden anfangs verwendet und dann auf ungefähr 100 zur verbesserten Erkennung verringert. Wenn der Schwellenwert überschritten wird, wird der Vergleich verworfen und eine Fehlermeldung erzeugt und angezeigt.
6. Die Datenbank wird zum Auffinden einer numerischen Minimaldifferenz durchsucht. Wenn die Minimaldifferenz unter dem annehmbaren Schwellenwert zu Erkennung liegt, wird je nachdem das entsprechende Fontsymbol auf dem Bildschirm angezeigt oder der Befehl ausgeführt.
Außerdem hat sich herausgestellt, daß die bevorzugte Klassifikation eines Strichs eine kontinuierliche ist, und nicht eine die grob diskret ist. Zum Beispiel ist eine Messung des Steigungswinkels in 256 Richtungen gegenüber 8 Richtungen vorzuziehen. Weitere nichtkontinuierliche Klassifikationen können Stäbe, Bögen oder Haken sein, Anzahl und Schließung von Wendepunkten sowie waagrechte und senkrechte Striche.
Von der Unterroutine 170 geht das Programm zur Verarbeitungsbox 171 weiter, wo sowohl ein einzelner Strich als auch ein oder mehrere vorhergehende Striche mit einem Datenbankeintrag verglichen werden, der-im RAM 56 (Fig. 4) gespeichert ist.
Dieser Vergleich beginnt anfangs mit drei Ausschlußfragen, die vom Programm in Entscheidungsrauten 174, 176 und 178 gefragt werden. In jedem Fall geht, wenn der Datenbankeintrag eliminiert wurde, das Programm zu einer Verarbeitungsbox 180 weiter, wo die Adresse des nächsten Dateneintrags empfangen wird und von wo das Programm zum Punkt vor der Verarbeitungsbox 171 zurückgeht. In der Entscheidungsraute 174 wird der erste Eliminator abgefragt, indem herausgesucht wird, ob die Anzahl der Striche anders ist. Wenn die Anzahl der Striche die gleiche ist, geht das Programm zur Entscheidungsraute 176 weiter, wo die durchschnittliche Höhe über der Basislinie (HABL) berechnet und mit der HABL des Dateneintrags verglichen wird. Der Eintrag wird eliminiert, wenn die Differenz der durchschnittlichen HABLs größer ist als die halbe Höhe der Eingabezeile. Bei einer negativen Entscheidung bei der Entscheidungsraute 176 geht das Programm zur Entscheidungsraute 178 weiter, wo die Anzahl von Punkten pro Strich verglichen und der Dateneintrag eliminiert wird, wenn die Differenz der Anzahl der Punkte größer als zehn ist. Diese Entscheidung unterscheidet sich von der in der Entscheidungsraute 174 getroffenen, weil diese sich nur um die Anzahl der Punkte im jeweiligen Strich kümmert. Jedoch haben bei der Entscheidungsraute 174 manche Buchstaben, wie zum Beispiel die Großbuchstaben "E" und "A" mehr als einen Strich pro Buchstaben.
Wenn ein Dateneintrag durch die Entscheidungsraute 178 nicht eliminiert wird, dann geht das Programm zur Verarbeitungsbox 182 weiter, wo das Programm einen Maßstab zum Bestimmen der Nähe der Übereinstimmung zwischen dem ausgewählten Eintrag der Datenbank und dem gezeichneten Strich berechnet. Ein derzeit bevorzugter Maßstab ist die Summe der absoluten Werte der Differenzen zwischen den Strichwerten und den Datenbankeintragswerten von:
a) Entfernungen oder Längen in Einheiten von 1/80 der Zeilenhöhe (z.B. Abstand 26, Fig. 2) und
b) die Steigungen in Einheiten von -1/256 von 360º über alle Punkte entlang der diagonalen der Vergleichsmatrix.
Alternativ können auch dynamische Programmierverfahren zum Optimieren des Vergleichs mit von der Diagonale abweichenden Elementen verwendet werden.
Von der Verarbeitungsbox 182 geht das Programm weiter zur Entscheidungsraute 166, wo eine Übereinstimmung festgestellt wird. Tatsächlich wird eine Übereinstimmung festgestellt durch die Anwendung eines willkürlichen Maßstabs (maximale erlaubte Abweichung), die die Summe absoluter Werte der Differenzen zwischen der Charakterisierung des eingegebenen Strichs und derjenigen des gespeicherten Datenbankeintrags ist. In der Verarbeitungsbox 183 wird der niedrigere des aktuellen Maßstabs und der vorhergehende niedrigere Maßstab als die beste Übereinstimmung gespeichert. Dann geht das Programm zur Entscheidungsraute 184 weiter, wo entschieden wird, ob der vorliegende Eintrag der letzte Datenbankeintrag ist. Wenn er das nicht ist, zweigt das Programm zur Verarbeitungsbox 180 ab, wo der nächste Eintrag ausgewählt wird. Wenn es sich um den letzten Eintrag handelt, geht das Programm zur Entscheidungsraute 180 weiter, wo entschieden wird, daß eine Übereinstimmung vorliegt, weil der Maßstab unter einem bestimmten Schwellenwert liegt. Der Schwellenwert wird vom Benutzer aufgrund von mit dem System gesammelten Erfahrungen eingegeben.
Wenn keine Übereinstimmung erzielt wird, zweigt das Programm zur Entscheidungsraute 188 ab, wo bestimmt wird, ob alle Striche überprüft wurden. Wenn der letzte Strich überprüft wurde, wird der aktuelle Strich in Abfolge mit einem vorhergehenden Strich mit allen Zwei-Strich-Einträgen verglichen. Wie beim Vergleich mit allen Ein-Strich-Einträgen ist die beste Übereinstimmung aller eingegeben Striche das erkannte Symbol oder die erkannte Symbolabfolge.
Wenn jedoch der letzte Strich gelesen wurde, und immer noch keine Übereinstimmung erzielt wurde, geht das Programm zur Verarbeitungsbox 190, wo eine Frage auf dem Anzeigebildschirm 20 angezeigt wird, die den Benutzer fragt, ob ein neues Fontsymbol der Datenbank hinzugefügt werden soll. Der Benutzer antwortet, und diese Antwort wird in der Entscheidungsraute 192 verwendet. Entweder wird in der Verarbeitungsbox 194 die Strichabfolge in die Datenbank aufgenommen und das Programm geht an den Punkt oberhalb der Verarbeitungsbox 152 zurück, oder das Programm zweigt direkt an den Punkt oberhalb der Verarbeitungsbox 152 ab.
Wenn andererseits in der Entscheidungsraute 186 eine Übereinstimmung festgestellt wurde, zweigt das Programm zur Verarbeitungsbox 195 ab, wo das Programm den Datenbankinhalt verschiebt, indem der Platz des übereinstimmenden Eintrags mit dem Eintrag darüber vertauscht wird. Dann geht das Programm weiter zur Verarbeitungsbox 196, wo das Programm den Punktezähler und den Inkrementzähler auf Null stellt. Dann geht das Programm zur Verarbeitungsbox 198 weiter, wo der/die übereinstimmende(n) und charakterisierte(n) Strich bzw. Striche vom Computer als das identifizierte Fontsymbol angezeigt wird. Diese Anzeige ist an der Position, an der der Eintrag auf dem Eingabebildschirm 18 (Fig. 2) vorgenommen wurde.
Von der Verarbeitungsbox 198 geht das Programm zur Verarbeitungsbox 200 weiter, wo das Programm auf von ihm interpretierte Befehle reagieren kann. Bei einer alternativen Charakterisierung des Strichs werden die Punkte selbst und nicht die Länge, der Umfang, die Krümmung und Position verwendet.
Anhand von Fig. 9 wird diese Strichcharakterisierung näher dargestellt. Die Strichcharakterisierungsunterroutine 170 führt im wesentlichen Punkt für Punkt eine mathematische Transformation durch, wodurch die Punkte von einem kartesianischen X-Y-Koordinatensystem in ein Koordinatensystem transformiert werden, in dem die Koordinaten die normalisierte Steigung eines jeden Punkts und die normalisierte Höhe eines jeden Punkts über der Basislinie (HABL) sind.
Die Unterroutine 170 berechnet zuerst die Punkt-zu-Punkt- Steigung in der Verarbeitungsbox 220 und berechnet dann die Höhe eines jeden Punkts über der Basislinie in der Verarbeitungsbox 222. Die Steigung und HABL eines jeden Punkts werden auf 1/256 von 2π bzw. 1/80 der Breite der Eingabezeile in der Verarbeitungsbox 224 normalisiert. Von der Verarbeitungsbox 224 geht das Programm zur Verarbeitungsbox 226, wo die berech neten normalisierten Werte für jeden Punkt in einem adressierbaren Feld gespeichert werden. Die Unterroutine geht dann über den Endpunkt 228 zum Programm zurück.
Wenn der Vergleich zwischen dem jeweiligen Strich und den gespeicherten Werten vorgenommen wird, wird der Vergleich anhand der normalisierten Punktsteigung und der Höhe des Punkts über der Basislinie gemacht. Wie oben erwähnt, wird eine Übereinstimmung durch einen willkürlichen Maßstab festgestellt, der die Summe absoluter Werte der Differenzen zwischen dem geschriebenen Strich und dem gespeicherten Strich ist. Das System lernt durch das Aufnehmen neuer Striche in die Datenbank. Wenn die Datenbank voll wird, werden weniger oft verwendete Fontsymbole durch neue Einträge ersetzt.
Bei einer funktionsfähigen Ausführungsform der vorliegenden Erfindung identifizierte der Algorithmus erfolgreich Großund Kleinbuchstaben und Zahlen, die getrennt voneinander geschrieben wurden. Für handschrifliche Symbole, die in kontinuierlicher Weise geschrieben werden, würde eine direkte Extrapolierung ein Absuchen einer Datenbank nach Ein-, Zwei-, Drei- usw. -Strich-Symbolen und eine Suche nach einer bestmöglichen Übereinstimmung erfordern. Nach der Identifikation einer Strichübereinstimmung wird zunächst ein "neuer" Buchstabe versuchsweise erkannt, im weiteren Verlauf werden dann aber die nächsten Striche analysiert, und es wird überprüft, ob sich das vorhergehende Symbol in eine bessere Übereinstimmung ändert. Zum Beispiel werden zwei als "Einsen" identifizierte Striche zum Großbuchstaben "H" verändert, sobald der Querstrich erkannt wurde.
Das in Fig. 7 bis 9 illustrierte System kann von einem Durschnittsfachmann auf dem Gebiet der Computerprogrammierung in so gut wie jeder Computersprache programmiert werden. Die Quellcodeauflistung eines die offenbarte Erfindung verwendenden Anwenderprogramms ist vollständig in Anhang II der veröffentlichten europäischen Patentanmeldung Nr. EP-A-0 254 561 enthalten, die am 27. Januar 1988 veröffentlich wurde, die hier als Referenz mit einbezogen ist und auf die hier Bezug genommen wird Der Quellcode ist in Microsoft Basic geschrieben, einer verbreiteten Computersprache, die für so gut wie alle Mikrocomputer und Betriebssysteme geeignet ist. Das Programm ist eine vollständige Text-Editier-Demonstration, die die oben beschriebenen Funktionen von Fig. 7 bis 9 kodiert und die die Verbesserungen aufzeigt, die bei herkömmlichen Textverarbeitungssystemen gemacht werden können.
Das Programm kann im Speicher eines Mikrocomputers oder Mikroprozessors mit einem Speicherbedarf von ungefähr 25 K Maschinenspeicher gespeichert werden, woran gesehen werden kann, daß das Programm nicht viel teueren Speicherplatz verbraucht und das Programm relativ schnell läuft. Wenn das Programm in einer anderen Sprache als Basic geschrieben ist, die weniger Speicherplatz benötigt, wie zum Beispiel eine Assemblersprache, kann das Programm auch noch kleiner gemacht werden.
Ein Verzeichnis der im Quellcode verwendeten Variablen ist im Anhang III der veröffentlichten europäischen Patentanmeldung EP-A-0 254 561 angegeben.
Fig. 13 zeigt ein Flußdiagramm für die Editiersoftware ("Editor"), die in Fig. 11A bis 11I dargestellt ist. Nach dem Laden den Editors in das System (box 229) wird die Steuerung des Bildschirms an das System zurückgegeben. Das System geht dann in normalen oben beschriebenen Weise weiter und erfaßt Punkte und zeigt sie an (Box 230), wandelt Punkte in Striche um (Box 231), charakterisiert den jeweiligen Strich (232) und versucht, für den Strich bzw. die Striche in der Datenbank eine Übereinstimmung zu finden (Box 233). In der Verarbeitungsbox 234 sendet das System gegebenenfalls das jeweilige handschriftliche Symbol an den Editor zum Interpretieren und Ausführen eines Befehls. Bei der Entscheidungsraute 235 bestimmt der Editor, ob das handschriftliche Symbol ein Editiersymbol oder ein Fontsymbol ist. Wenn das Zeichen als Editiersymbol erkannt wird, geht der Editor zur Verarbeitungsbox 236 weiter, wo bestimmt wird, welches Editiersymbol eingegeben wurde, und die Editierfunktion ausgeführt wird. Wenn das Zeichen nicht als Editierfunktion identifiziert wurde, dann wird bei der Verarbeitungsbox 237 ein dem handschriftlichen Eintrag entsprechendes alphanumerisches Zeichen angezeigt. Bei einer alternativen Konfiguration des Editors werden Fontsymbole nur dann akzeptiert, wenn der Editor im "Einfüge"-Modus ist. Diese Struktur stellt sicher, daß jedes Fontsymbol zuerst überprüft wird, bevor es in ein Dokument eingefügt wird.
Der Editor verwendet verschiedene Symbole, die so ausgelegt sind, daß das Editieren mit dem System einem herkömmlichen Editieren mit Bleistift und Papier ähnelt, nur wesentlich effizienter. Diese primären Editierfunktionen sind unter anderem:
LÖSCH-Symbol - " " Eine waagrechte, durch ein oder mehrere Zeichen gezogene Linie. Der Editor entfernt die darunterliegenden Zeichen und formatiert den Text um.
RAND-VERÄNDERN-Symbol - " " Eine senktrechte Linie, die länger als eine Linie auf der Anzeige ist. Der Editor verändert den Rand zur angegebenen Position und formatiert den Text um.
EINFÜGUNGS-Symbol - "Λ" Ein an dem Punkt, wo Text eingefügt werden soll, gemachtes Häkchen. Der Editor zeigt eine Eingabeschreibzeile (Fig. 118) an, und fügt, wenn die Eingabe erkannt wird, die Eingabe in den Text ein.
TEXT-MARKIEREN-Symbole - "< " und "> " Kleiner- und Größerzeichen, die am Anfang und am Ende eines Textblocks angebracht werden. Der markierte Text wird in Farbumkehrung angezeigt, und spezielle Blockfunktionen können durchgeführt werden.
MARKIERTEN-TEXT-LÖSCHEN - Ein im markierten Text eingetragenes Lösch-Symbol löscht den markierten Text und formatiert um.
MARKIERTEN-TEXT-BEWEGEN - Ein an einem Ort im Text eingezeichnetes Einfügungs-Symbol bewegt den markierten Text an die angezeigte Position, entfernt ihn von seiner ursprünglichen Position und formatiert den Text um.
MARKIERTEN-TEXT-ERSETZEN - Ein im markierten Text gezeichnetes Einfügungs-Symbol zeigt eine Eigabezeile an und ersetzt den markierten durch den eingegebenen Text.
Die oben beschriebenen Editiersymbole können in- die durch den jeweiligen Benutzer bevorzugten Editiersymbole geändert werden, wodurch der Editor individualisiert wird und neue Benutzer nicht ihnen unvertraute Editiersymbole lernen müssen.
Weitere Modifikationen und Verbesserungsmöglichkeiten werden dem Fachmann auffallen. Zum Beispiel können die gemeinsamen Eigenschaften des jeweiligen Fontsymbols herausgezogen und in ein synthetisches Symbol organisiert werden. Die Eigenschaften des synthetischen Symbols könnten dann übertrieben werden, um ihre Unterscheidung von allen anderen synthetischen Symbolen zu maximieren. Dies würde zu einer sehr kompakten, optimalen Datenbank führen. Andererseits führt zum Beispiel eine durch die bevorzugte Ausführungsform der Erfindung erstellte Datenbank normalerweise zu zwei bis drei verschiedenen Charakterisierungen für jedes Symbol.
Das System hat zahlreiche, fast unbegrenzte Nutzanwendungen. Die am leichtesten einzusehenden Verwendungsweisen sind Texteditieren und das Ausfüllen und Verändern von Formularen. Einige der weiteren Anwendungen, die vielleicht nicht so offensichtlich sind, ist das Schreiben in Sprachen, bei denen eine große Anzahl von Symbolen verwendet wird, wie zum Beispiel Japanisch oder Chinesisch, das Schreiben in Arabisch oder ähnlichen Sprachen, die aus einer begrenzten Anzahl komplexer Symbole aufgebaut sind; das Schreiben chemischer Gleichungen einschließlich organischer Verbindungen; das Schreiben von Noten (Musik) (ein "Fenster" mit fünf parallelen Linien kann zu diesem Zweck vorgesehen werden); das Schreiben von Symbolen und Codes zur graphischen Manipulation von Daten, einschließlich der Übertragung graphischer Daten auf eine graphische Benutzeroberfläche; in der Erziehung und Bildung, wo zum Beispiel vorgegebene Frage auf den Bildschirmen angezeigt und die Antworten in Kurrentschrift eingegeben werden; im Mathematikunterricht, wo zum Beispiel Zahlen manuell in Gleichungen eingesetzt werden und die Gleichung zum Bestimmen des Ergebnisses unter Verwendung dieser Zahlen analysiert wird; bei CAD/CAM-Anwendungen mit Symbolen, geometrischen Formen und dergleichen.
Es wurde hier eine bestimmte Ausführungsform eines tastaturlosen Computers beschrieben, auf dem gewöhnliche Compu terfunktionen durch Schreiben in normaler Weise mit einem stiftähnlichen Griffel auf einem direkt über einer flachen Anzeige angeordneten Einqabebildschirm durchgeführt werden. Der gezeigte tastaturlose Computer ist ideal konf iguriert für eine Benutzung durch tastaturlos ausgerichtete Menschen, zur Benutzung durch Menschen mit Tastatur, wobei die Nutzbarkeit gesteigert wird, und in verschiedenen Zusammenhängen und Anwendungen, bei denen eine Eingabe über eine Tastatur ungünstig oder unmöglich ist. Computer-Informations- und -Anwendersoftware kann in ein tragbares Gerät zum späteren Betrachten, zum Manipulieren von Text und Daten und zum Hinzufügen neuen Texts und neuer Daten in einer normalen Handschriftbetriebsart geladen werden. Hiernach kann der Benutzer diesen Computertext in einen anderen Computer übertragen, in ein ähnliches Gerät, einen externen elektronischen Speicher, einen Hardcopy-Drucker oder über ein Telekommunikationssystem. Der Computer kann handschriftliche Symbole mit großer Genaui-gkeit und einer Fähigkeit, einzelne Handschriften zu "lernen", erkennen. Die Datenbefehle können mit Hilfe eines Griffels eingegeben werden.
Wenn die Erfindung auch anhand einer die Gerät- und Verfahrensaspekte eines tastaturlosen Computersystems umfassenden ausgewählten bevorzugten Ausführungsform beschrieben wurde, so soll die Erfindung nicht als darauf beschränkt angesehen werden, da andere Ausführungsformen und Modifikationen einem Fachmann ohne weiteres ersichtlich sein werden.

Claims

1. Verfahren zum Steuern einer Vorrichtung (10) mit den folgenden Schritten:

Verwenden einer in der Hand gehaltenen Einrichtung (16) zum Schreiben oder Zeichnen eines handschriftlichen Symbols auf oder über einem Anzeigebildschirm an einem ersten Ort über oder im Bereich von einem auf dem Anzeigebildschirm (18, 20) angezeigten Textteil;

Digitalisieren von das handschriftliche Symbol darstellenden Signälen vom Anzeigebildschirm;

Verarbeiten des digitalisierten Signals zum Bestimmen der Identität des handschriftlichen Symbols als eines von einem oder mehreren vorbestimmten Befehlssymbolen zum Verändern des Texts; und

wenn das handschriftliche Symbol als ein vorbestimmtes Befehlssymbol identifiziert wurde, Eingeben eines entsprechenden Befehls zur Durchführung zum Verändern des Teils des am ersten Ort angezeigten Texts entsprechend dem Befehl.

2. Verfahren nach Anspruch 1, mit dem Schritt des Anzeigens auf dem Bildschirm (20) des Bilds des handschriftlichen Symbols während es geschrieben wird.

3. Vorrichtung zum Eingeben von Befehlen mit:

einem Anzeigebildschirm (18, 20) zum Anzeigen von Text;

einer in der Hand gehaltenen Einrichtung (16) zur Verwendung durch ämen Benutzer zum Schreiben oder Zeichnen eines handschriftlichen Symbols auf oder über einem Anzeigebildschirm an einem ersten Ort über oder im Bereich von einem auf dem Anzeigebildschirm (18, 20) angezeigten Textteil;

einer Digicalisiereinrichtung (18, 64) zum Digitalisieren des handschriftlichen Symbols;

einer mit der Digitalisiereinrichtung verbundenen Verarbeitungseinrichtung (14) zum Identifizieren des handschriftlichen Symbols als eines von einem oder mehreren vorbestimmten Befehlssymbolen zum Verändern von Text; und

wenn das handschriftliche Symbol als ein vorbestimmtes Befehlssymbol identifiziert wurde, Ausführen eines entsprechenden Befehls zum Verändern des am ersten Ort auf dem Bildschirm angezeigten Textteils je nach der Identität und dem ersten Ort des handschriftlichen Symbols auf dem Anzeigebildschirm.

4. Vorrichtung nach Anspruch 3, weiter mit einer mit der Digitalisierungseinrichtung und dem Anzeigebildschirm verbundenen Einrichtung (14) zum Anzeigen eines Bilds des handschriftlichen Symbols auf dem Anzeigebildschirm, während es geschrieben wird.

5. Vorrichtung nach Anspruch 3 oder 4, bei der die Verarbeitungseinrichtung eine Datenbank von Eigenschaften des vorbestimmten Befehlssymbols oder der vorbestimmten Befehlssymbole und mehrerer vorbestimmter Schriftartsymbole aufweist und eine Einrichtung (50) zum Vergleichen von Eigenschaften handschriftlicher Symbole mit denen in der Datenbank zum Beurteilen der Identität des jeweiligen handschriftlichen Symbols.

6. Vorrichtung nach Anspruch 5, mit Einrichtungen (50, 66) zum Anzeigen vorbestimmter Schriftart- oder Befehlssymbole auf dem Bildschirm, so daß das jeweilige vorbestimmte Schriftartsymbol und Befehlssymbol darstellende handschriftliche Symbole manuell auf dem Bildschirm definiert werden kann, und mit einer Einrichtung zum Identifizieren des manuell definierten händschriftlichen Symbols mit dem entsprechenden vorbestimmten Schriftartsymbol oder Befehlssymbol in der Datenbank.

7. Vorrichtung nach Anspruch 5 oder 6, mit einer Einrichtung (50) zum Verändern der Datenbank, wenn, je nachdem, ein handschriftliches Symbol dazu führt, daß ein falsches Schriftartsymbol auf dem Bildschirm angezeigt wird oder ein falscher Befehl ausgeführt wurde.

8. Vorrichtung nach einem der Ansprüche 3 bis 7, bei der das Befehlssymbol ein Einfügungszeichen ist.

9. Vorrichtung nach einem der Ansprüche 3 bis 8, bei der das Befehissymbol darin besteht, daß eine oder mehr waagrechte oder senkrechte Linien durch auf dem Bildschirm angezeigte Schriftartsymbole gezogen werden.

10. Vorrichtung nach einem der Ansprüche 3 bis 9, weiter mit Einrichtungen (50, 66) zum Verändern einer ersten Gruppe computergenerierter Schriftartsymbole in dem auf dem Bildschirm angezeigten Text in eine zweite Gruppe computergenerierter Schriftartsymbole, wenn das handschriftliche Symbol dem Befehlssymbol entspricht.

11. Vorrichtung nach einem der Ansprüche 3 bis 10, bei der mehrere Befehlssymbole mehrere Texteditierungssymbole aufweisen.

12. Vorrichtung nach einem der Ansprüche 3 bis 11, mit Einrichtungen (50, 66) zum Anzeigen vorbestimmter Kombinationen von Schriftartsymbolen in der Form von Text oder von Formularen auf dem Bildschirm, bei denen handschriftliche Symbole zum Eingeben von Information zum Ausfüllen eines Formulars, zum Editieren vorbestimmten Texts oder beides, je nachdem, verwendet werden können.

13. Vorrichtung nach einem der Ansprüche 3 bis 12, weiter mit einer Einrichtung (50), die auf einen vorbestimmten Befehl ein Fensler auf dem Bildschirm erzeugt, in dem kein Text oder sonstige Information ist, in das handschriftliche Symbole eingetragen werden können.

14. Vorrichtung nach Anspruch 13, bei der das Fenster verschiedene Größen und Formen haben kann.

15. Vorrichtung nach Anspruch 13 oder 14, bei der das Fenster nicht nur zum Eingeben handschriftlicher Symbole, sondern auch zum Eingeben graphischer Bilder verwendet werden kann.

16. Vorrichtung nach einem der Ansprüche 3 bis 15, bei der die vorbestimmten Schriftartsymbole computergenerierte Kanji- Symbole aufweisen.

17. Vorrichtung nach einem der Ansprüche 3 bis 16, mit Bereichen (28) auf dem Bildschirm (18, 20), die zum Veranlassen der Durchführung vorbestimmter Funktionen berührungsempfindlich sind.

18. Vorrichtung nach einem der Ansprüche 3 bis 17, mit Softkeys (28) auf dem Bildschirm (50) zum Ausführen von Betriebsbefehlen auf das Berühren eines Softkeys.

19. Vorrichtung nach einem der Ansprüche 3 bis 18, bei der die Verarbeitungseinrichtung (44) eine Einrichtung zum Bestimmen bei einem jeden Strich eines Symbols (i) der Länge des Strichs, (ii) der durchschnittlichen Neigung des Strichs, (III) der Höhe des Strichschwerpunkts über einer vorbestimmten Basislinie, (iv) des Werts der Veränderung der Strichneigung und (v) des Orts des Strichschwerpunkts im Vergleich zum Ort des Schwerpunkts des handschriftlichen Symbols.