DE69533479T2

DE69533479T2 - Zeichensatz mit zeichen aus mehreren strichen und handschrifterkennungssystem

Info

Publication number: DE69533479T2
Application number: DE69533479T
Authority: DE
Inventors: C. Jeffrey HAWKINS; K. Joseph SIPHER; II Ron MARIANETTI
Original assignee: Palm Inc
Current assignee: Palm Inc
Priority date: 1994-07-01
Filing date: 1995-06-29
Publication date: 2005-09-22
Anticipated expiration: 2015-06-30
Also published as: EP0769175B1; EP0769175A4; US6839464B2; JPH10510639A; US6493464B1; US20020196978A1; EP0769175B9; WO1996001453A1; EP0769175A1; DE69533479D1

Description

Gebiet der Erfindung
Diese Erfindung betrifft Computer-Eingabesysteme im Allgemeinen und insbesondere eine Vorrichtung und Handschrift-Alphabet zur Verwendung bei einem Handschrift-Eingabe- und -Erkennungssystem, das bei Personalcomputer-Systemen, wie beispielsweise „Palmtop"-Computern, angewendet werden.
Beschreibung des Standes der Technik
Als Computer für verschiedene Anwendungen zunehmend beliebt wurden, wurden tragbare Computer für eine breite Vielfalt von Anwendungen entwickelt. Während viele solcher tragbarer Computer zur Eingabe eine herkömmliche Tastatur nutzen, wurde für kleinere Computer, insbesondere aufweisend Handheld-Computer, die Verwendung von „Stiften" als eine Schnittstelle eingeführt als ein Weg, einen kleinen Computer einfacher handhabbar zu machen. Bei einer Stift-Schnittstelle kann ein Nutzer einen Stift oder Stylus direkt auf einem berührungssensitiven Bildschirm des Computers platzieren, um das Ausführen von Software im Computer zu steuern und Information um einzugeben. Für viele Menschen ist das Steuern eines Computers und Eingeben von Text mit einem Stift natürlicher als das Nutzen einer Tastatur.
Ein Beispiel eines stiftbasierten Handheld-Computers gemäß dem Stand der Technik ist in 1 gezeigt. Der dargestellte Handheld-Computer 1 ist typischerweise etwa 4 Zoll mal 6,5 Zoll, wobei der Großteil einer Oberfläche einen berührungssensitiven Anzeige-Bildschirm 2 aufweist. Der Anzeige-Bildschirm 2 ist typischerweise eine Flüssigkristallanzeige (LCD) mit einer Auflösung von 256 × 320 Pixel (obwohl größere oder kleinere Pixel-Arrays verwendet werden könnten). Verschiedene Technologien können verwendet werden, um die Position eines Stiftes oder Stylus' 3 zu erfassen, der gegen die Oberfläche des LCD-Bildschirms 2 drückt, sodass dem Betriebssystem des Computers die X-Y-Koordinaten der Berührung angezeigt werden. Verschiedene Hardware-Knöpfe 4 können vorgesehen sein, um verschiedene Funktionen zu steuern und/oder Energie zur Einheit zu- oder abzuschalten. Zusätzlich kann eine Vielfalt an Software-Knöpfen oder -Icons 5 in bekannter Weise vorgesehen sein, um solche Funktionen, wie beispielsweise Wort-Verarbeitung oder eine Lösch-Funktion, anzuzeigen. Auf dem Anzeige-Bildschirm 2 wird computererzeugte Information typischerweise als ASCII-Zeichen 6 angezeigt. Ein solcher Handheld-Computer ist als „Zoomer" von Casio Corporation verfügbar.
Ein gemeinsames Merkmal solcher stiftbasierter Computer ist die Verwendung elektronischer „Tinte". „Tinte" umfasst eine Reihe oder einen Streifen von Pixeln, die geändert (beispielsweise abgedunkelt oder erleuchtet) werden, wenn ein Stift 3 von einem Nutzer über den Anzeige-Bildschirm 2 bewegt wird, dabei simulierend die Verwendung einer realen Tinte auf Papier.
Einige System-Designer des Standes der Technik schlagen die Verwendung einer nicht erkannten handschriftlichen Tinteneingabe vor. Obwohl dieser Ansatz zum Aufzeichnen von Bemerkungen zur persönlichen Verwendung gut funktioniert, ist er zur Dateneingabe in eine Datei, die zu einem späteren Datum durchsucht werden muss, nicht immer geeignet. Zusätzlich erfordert Tinte bedeutend mehr Speicherplatz als ASCII-Zeichen. Demgemäß erfordern praktikable stiftbasierte Computer ein Verfahren zum Eingeben von Text, das irgendeine eine Form eines Erkennungsverfahrens aufweist.
Verschiedene Verfahren zum Erkennen von Handgeschriebenem sind wohlbekannt. Ein Ansatz im Stand der Technik ist, im Eingabebereich (der gewöhnlich der Anzeigebereich ist) eine Reihe von Zellen zum Eingeben von Zeicheninformation vorzusehen. Diese Systeme nutzen bei einem Versuch, Erkennungsgenauigkeit zu verbessern und ein Zeichen vom nächsten zu trennen, zur Eingabe von Text Zellen. Bei diesen Systemen wird ein Array von Zellen angezeigt, und der Nutzer schreibt in jede Zelle ein Zeichen. Obwohl die Zellen beim Verbessern der Erkennungsgenauigkeit helfen, finden die meisten Menschen es unpraktisch, in Zellen zu schreiben. Zusätzlich sind diese Systeme aufgrund der Anzahl an Zellen, die notwendig sind, um selbst einen kurzen Satz aufzunehmen, bei einem Palmtop-Computer, der einen begrenzten Daten-Eingabebereich aufweist, nicht sehr praktikabel.
Ein anderes Zeichen-Erkennungssystem ist im US-Patent Nummer 5,125,039, betitelt: „Object Recognition System", vom Erfinder der vorliegenden Erfindung beschrieben. Bei solch einem System schreibt der Nutzer Text ohne Zellen in einer Freiform-Weise. Nachdem ein Nutzer verschiedene Tinten-Zeichen eingegeben hat, wendet der Computer spezielle Algorithmen an, um die Tinten-Strokes in Zeichen zu separieren und dann jedes Tinten-Zeichen als ein ASCII-Zeichen zu erkennen. Es ersetzt dann die vom Nutzer gezeichnete Tinten-Darstellung der Zeichen durch die standardisierte ASCII-Darstellung dieser Zeichen. Obwohl diese Systeme weniger Eingabefläche als Zell-Eingabesysteme erfordern, sind sie weiterhin auf einem Palmtop-Computer, der eine kleine Anzeige aufweist, schwierig zu implementieren. Zusätzlich hat der Computer die zusätzliche Belastung des Herausfindens, wo ein Zeichen endet und das nächste beginnt. Dies führt zu Erkennungsfehlern.
Eine zusätzliche Hauptschwierigkeit, die von Handschrift-Erkennungssystemen des Standes der Technik aufgezeigt wird, ist die Verzögerungszeit zwischen Texteingabe und Texterkennung. Die Systeme des Standes der Technik benötigen typischerweise zwischen 2 bis 5 Sekunden, nachdem der Nutzer das Tinten-Zeichen auf das Eingabetablett geschrieben hat, um das ASCII-Zeichen zu erkennen und auf einer Anzeigevorrichtung anzuzeigen. Bei üblicher Verwendung erfordern Systeme des Standes der Technik, dass der Nutzer einige Wörter schreibt und dann einige Sekunden auf den Computer wartet, um den Erkennungsprozess zu starten. Alternativ führen einige Systeme (beispielsweise das „Newton" von Apple Computer) eine Erkennung durch, ohne dass der Nutzer anhält und wartet. Allerdings werden bei diesen Systemen die Wörter weiterhin einige Sekunden, nachdem sie geschrieben worden sind, erkannt. In allen Fällen kann der Nutzer nicht sofort erkennen, wenn ein Erkennungsfehler aufgetreten ist. Dieser Typ von Handschrift-Text-Erkennungssystem macht die Fehlerkorrektur schwierig, da der Nutzer ständig auf der Anzeige nach Wörtern schauen muss, die der Nutzer einige Sekunden vorher eingegeben hat, um sicher zu sein, dass Text korrekt eingegeben und korrekt interpretiert wurde. Ferner ist, wenn ein Nutzer einmal einen Fehler erfasst, die Fehlerkorrektur schwierig, da der Nutzer zunächst das Wort oder die Zeichen, das/die zu korrigieren ist/sind, selektieren muss.
Zusammenfassend sind drei der Hauptprobleme bei aktuellen Handschrift-Erkennungssystemen die Verzögerung vom Schreiben bis zur Erkennung, die begrenzte Schreibfläche von Palmtop-Computern und die Schwierigkeit des präzisen Erkennens separater Zeichen bei Nicht-Zell-Eingabesystemen.
Daher ist eine verbesserte Stift-Daten-Eingabe-Lösung erforderlich, die Text auf einer kleinen Anzeige präzise und effizient erkennen kann. Es wurde deutlich, dass ein entscheidendes Merkmal solch einer verbesserten Lösung die Fähigkeit ist, ähnlich der Reaktion von aktuell verfügbaren Personalcomputern, bei denen Tastatur-Eingabegeräte verwendet werden, Eingabetext sofort (d. h. mit geringer oder nicht wahrnehmbarer Verzögerung) zu erkennen und anzuzeigen. Palmtop-Computer mit der Fähigkeit, Text sofort zu erkennen und anzuzeigen, bieten dem Nutzer die Möglichkeit, Fehler schnell zu erkennen und zu korrigieren. Die sofortige Erkennung erlaubt ferner die Verwendung von kleineren Eingabeflächen, da die Eingabefläche zum Schreiben aufeinanderfolgender Zeichen wiederverwendet werden kann.
Eines der Haupthindernisse angesichts „sofortiger" Handschrift-Text-Erkennungssysteme wird durch die Mehrfachstrich(Mehrfach-Stroke)-Charakteristik vieler englischer Text-Zeichen aufgezeigt. D. h. viele Zeichen weisen mehr als einen Stift-Stroke auf. In diesem Zusammenhang ist ein einzelner Stift-Stroke als eine kontinuierliche Bewegung eines Stiftes während des Aufrechterhaltens eines Kontakts mit dem Schreib-Tablett definiert. Beispielsweise weisen die Buchstaben „T", „H" und „E" typischerweise mehrere Stift-Strokes auf, während die Buchstaben „S" und „O" typischerweise einen einzigen Stift-Stroke aufweisen. Erkennungssysteme des Standes der Technik haben aufgrund der Tatsache, dass Zeichen mehr als einen Stift-Stroke aufweisen können, Schwierigkeiten beim Erreichen der notwendigen „sofortigen" Erkennung.
Beispielsweise war es aufgrund der Möglichkeit, dass jedes gegebene Eingabe-Zeichen ein Mehrfach-Stroke-Zeichen sein könnte, schwer zu ermitteln, wann ein Nutzer das Schreiben eines Einstrich(Ein-Stroke)-Zeichens abgeschlossen hat, oder wann der Nutzer fortfährt, ein Mehrfach-Stroke-Zeichen zu schreiben. Beispielsweise könnte eine vertikale Linie den Buchstaben „I" repräsentieren, oder sie könnte den ersten Stroke bei den Mehrfach-Stroke-Buchstaben „T", „H" oder „E" darstellen. In der Vergangenheit haben Erkennungssysteme diese Mehrdeutigkeit gelöst mittels Wartens, bis der Nutzer das Schreiben angehalten hat, oder mittels Aufweisens einer festen Verzögerungs-Zeitdauer, nach der Zeichen erkannt wurden, oder mittels Erfassens des Beginns eines nächsten Strokes ausreichend weit von vorherigen Strokes entfernt als kennzeichnend ein neues Zeichen. Alle dieser Ansätze sind aufgrund der eingeführten Erkennungszeit-Verzögerungen unzureichend.
In letzter Zeit wurden zwei Ansätze zur sofortigen Erkennung von handgeschriebenem Text versucht. Keiner dieser beiden Ansätze hat sich als vollständig zufriedenstellend erwiesen. Der erste Ansatz wird von Sharp Electronics aus Japan bei ihrem PVF1-Handheld-Computersystem angeboten, das „sofortige" Erkennung von sowohl englischen als auch japanischen Zeichen bietet. Das Sharp-System nutzt ein modifiziertes Zell-Eingabeverfahren. Es zeigt mehrere benachbarte Zellen auf einem Bildschirm zur Texteingabe an. Jedes Textzeichen wird in eine der Zellen geschrieben. Erkennungszeitverzögerungen werden reduziert, da das System weiß, das Erkennen eines Zeichens, das vorher in eine erste Eingabezelle geschrieben wurde, zu beginnen, sobald der Nutzer das Schreiben in eine andere Eingabezelle beginnt. Das erkannte Zeichen wird, sobald der Erkennungsprozess endet, nachfolgend auf dem Bildschirm (nicht in der Zelle) angezeigt. Expertennutzer können mehrere Zeichen mittels Wechselns zwischen zwei benachbarten Zellen schnell eingeben. Dies unterscheidet sich von vorherigen Zell-Eingabesystemen, bei denen der Nutzer Zeichen in einer Links-nach-Rechts-Weise in eine Vielzahl von Zellen schrieb. Der Sharp-Ansatz erreicht schnellere Erkennungsreaktion auf einem verkleinerten Anzeigebereich als vorherige Systeme. Allerdings leidet er an mehreren Nachteilen.
Obwohl das Sharp-System weniger Zellen nutzt (so wenig wie zwei werden ausreichen), nehmen die Zellen weiterhin einen signifikanten Bereich einer Bildschirmfläche ein. Zusätzlich muss der Nutzer wie bei allen Zell-Eingabesystemen aufmerksam sein, um immer in der Zelle zu schreiben. Fällt ein Stroke eines Mehrfach-Stroke-Zeichens außerhalb der Zelle, wird das Zeichen nicht korrekt erkannt. Dies erfordert, dass der Nutzer während des Schreibens zu jedem Zeitpunkt aufmerksam auf den Bildschirm schaut. Ein anderer und ernsthafterer Nachteil ist der, dass die Erkennung von Zeichen nicht vollständig „sofort" erfolgt. Bei diesem System beginnt die Erkennung eines Zeichens nicht, bis der Nutzer das Schreiben eines nachfolgenden Zeichens beginnt. Obwohl dieses System eine Verbesserung gegenüber den Systemen des Standes der Technik darstellt, bei denen Erkennungsverzögerungen größer waren, ist die Erkennung weiterhin verzögert. So wird, wenn der Nutzer lediglich ein Zeichen schreibt, oder wenn der Nutzer das letzte Zeichen in einer Folge schreibt, dieses Zeichen nicht bis nach einer vorbestimmten Totzeitverzögerung erkannt. Diese Verzögerung nach dem Schreiben eines einzelnen Zeichens macht es frustrierend und daher unpraktisch, schnelle Eingabeänderungen, wie beispielsweise das Schreiben eines „Rückwärtsschritt"(backspace)-Zeichens, durchzuführen oder ein einzelnes Zeichen einzufügen.
Ein zweiter Ansatz in sofortiger Erkennung von handgeschriebenem Text wurde vor kurzem von Xerox Corporation aus Palo Alto, CA in beispielsweise D. Goldberg und C. Richardson: „Touch-Typing with a Stylus", Proc. of INTERCHI' i3, Seiten 80–87, 24–29, April 1993, ACM 0-89791-575-5/93/0004/0080 beschrieben. Xerox lehrt ein Verfahren, wobei jedes Zeichen, das ein Nutzer zu schreiben wünscht, durch einen Ein-Stroke-Glyphen repräsentiert wird. Da jedes Zeichen unter Verwenden eines einzigen Strokes dargestellt wird, beginnt die Erkennung, sobald der Nutzer den Stift vom Schreib-Tablett abhebt. Das System bietet verbesserte Erkennungsgeschwindigkeiten gegenüber dem Sharp-Ansatz und vermeidet die mit dem Beschreiben von Zellen, die bei dem Sharp-System verwendet werden, verbundenen Probleme. Jedoch leidet das Xerox-Verfahren an zwei Haupt-Nachteilen. Als Erstes ist der Xerox-Ansatz schwer zu erlernen, da er erfordert, dass sich der Nutzer zum Eingeben von Text ein komplett neues Alphabet merkt. Das Alphabet ist speziell entworfen, um die Erkennungsfähigkeiten des Computers zu maximieren und nicht die Einfachheit des Erlernens zu maximieren. Die Xerox-Offenbarung erkennt diese Schwierigkeit, gibt dennoch zu bedenken, dass die Ineffizienz des Lernens des Alphabets durch die verbesserten Erkennungsgeschwindigkeiten kompensiert wird, wenn der Nutzer einmal ein Experte wird.
Zweitens ist der Xerox-Ansatz mit einem vollständigen Satz an Zeichen schwierig zu implementieren. Der Nutzer muss für jedes mögliche Zeichen eine Einzel-Stroke-Darstellung erlernen. Obwohl diese Aufgabe lösbar sein kann, wenn ausschließlich die 26 Buchstaben des englischen Alphabets in einem Fall (groß oder klein) dargestellt werden, gibt es viel mehr Zeichen, die eine Darstellung und Erkennung erfordern. Beispielsweise müssen sowohl große als auch kleine englische Zeichen erkannt werden. Europäische Sprachen haben ebenso mehrere akzentuierte Buchstaben wie andere einzigartige Zeichen. Zusätzlich gibt es eine Unzahl an Interpunktionszeichen und mathematischen Symbolen, die eine Darstellung erfordern. Das Zuordnen jedes dieser Zeichen einem eindeutigen Einzel-Stroke-Glyphen erfordert das Erfinden vieler fremder und neuer Glyphen, die nicht intuitiv und daher vom Durchschnittsnutzer schwer zu erlernen sind. Verstärkend diese Schwierigkeit ist das Problem des gleichzeitigen Anschauens akzentuierter Buchstaben (beispielsweise A, Á, À, Ä und Â). Das Zuordnen eindeutiger Glyphen für diese Zeichen würde das erweiterte Alphabet insbesondere nicht intuitiv und schwer erlernbar machen.
Diese Einschränkungen eines Ein-Stroke-Alphabets, wie von Xerox gelehrt, werden verstärkt, wenn versucht wird, ein Sofort-Erken nungssystem für asiatische Sprachen zu erzeugen. Beispielsweise ist es nahezu unmöglich, aufgrund der großen Anzahl an Symbolen, die dargestellt werden müssen, Einzel-Stroke-Alphabete für asiatische Symbole, wie beispielsweise japanisches Katakana oder Hiragana, chinesisches Kanji oder koreanisches Hangul zu definieren.
Demgemäß gibt es ein Bedürfnis nach einem verbesserten Handschrift-Text-Erkennungssystem, das in der Lage ist, sofort und präzise handgeschriebene Texteinträge zu erkennen. Ferner gibt es ein Bedürfnis nach einem verbesserten Handschrift-Texteintragungs- und -erkennungssystem, das nutzerfreundlich, einfach zu erlernen und einfach zu implementieren ist.
Die vorliegende Erfindung bietet solch ein Handschrift-Text-Erkennungssystem.
Zusammenfassung der Erfindung
Die vorliegende Erfindung ist durch die beigefügten Ansprüche definiert. Sie nutzt einen Stift oder Stylus als eine Eingabevorrichtung für ein stiftbasiertes Computer-Handschrift-Erkennungssystem, das in der Lage ist, einen speziellen, vordefinierten Satz an Zeichen-Strokes oder Glyphen zu interpretieren. Die Erfindung lehrt ein System, das eine wirkliche sofortige Zeichenerkennung bietet, dennoch zu schreibende Zeichen mit einer beliebigen Anzahl an Strokes erlaubt, daher ermöglichend, das System auf natürliche Weise zu nutzen und einfach zu erlernen. Die vorliegende Erfindung definiert drei verschiedene Kategorien von Stift-Strokes: (1) Vor-Zeichen-Modifizierungs-Strokes, (2) Zeichen- oder Symbol-Strokes und (3) Nach-Zeichen-Modifizierungs-Strokes.
Vor-Zeichen-Modifizierungs-Strokes gehen Zeichen-Strokes vor und informieren das vorliegende Erkennungssystem, dass nachfolgend eingegebene Zeichen-Strokes aufgrund des Vor-Zeichen-Modifizierungs-Strokes in einer definierten Weise zu modifizieren sind. Sie wirken primär derart, dass die Interpretation von einem nachfolgend eingegebenen Zeichen-Stroke gesteuert wird. Beispielsweise kann ein Vor-Modifizierungs-Steuerungs-Stroke kennzeichnen, dass der nächste Zeichen-Stroke als ein Interpunktionszeichen zu interpretieren ist. Vor-Zeichen-Modifizierungs-Strokes können oder können nicht eine sofortige sichtbare Anzeigeänderung hervorrufen. Bei dem bevorzugten Ausführungsbeispiel der Erfindung führen Vor-Zeichen-Modifizierungs-Strokes zu einer Anzeigeänderung (mittels entweder Änderns eines Status-Kennzeichens oder mittels Anzeigens eines temporären Zeichens), sodass der Nutzer weiß, dass der Vor-Zeichen-Modifizierungs-Stroke erfolgreich eingegeben wurde.
Zeichen-Strokes verursachen immer, dass in dem Moment, in dem der Stroke auf dem Schreib-Tablett eingegeben ist, ein gemäß einem beliebigen vorher eingegebenen Vor-Zeichen-Modifizierungs-Stroke interpretierter Buchstabe oder anderes Symbol anzuzeigen ist. Irgendwelche aufgrund vorheriger Vor-Zeichen-Modifizierungs-Strokes angezeigten Status-Kennzeichen oder temporären Zeichen werden auf das Erkennen eines Zeichen-Strokes hin entfernt.
Nach-Zeichen-Modifizierungs-Strokes bringen das Erkennungssystem dazu, ein Zeichen oder Symbol, das vorher eingegeben und angezeigt wurde, in einer definierten Weise zu modifizieren. Beispielsweise kann ein Nach-Zeichen-Modifizierer verwendet werden, um einem Zeichen ein diakritisches Zeichen hinzufügen.
Ein wichtiger Vorteil der vorliegenden Erfindung ist deren Fähigkeit, Zeichen, die aus mehreren Stift-Strokes bestehen, zu erkennen, dennoch weiterhin eine sofortige Erkennung und Anzeige des erkannten Zeichen zu bieten. Mittels Kombinierens sich gegenseitig ausschließender Vor-Zeichen-Modifizierungs-Strokes, Zeichen-Strokes und Nach-Zeichen-Modifizierungs-Strokes kann eine Unzahl an alphabetischen, numerischen, Interpunktionszeichen- und akzentuierten Zeichen mit natürlichen und einfach zu erlernenden Weisen eingegeben werden.
Die Verwendung der drei unterschiedlichen Typen von Strokes gewährleistet, dass das System immer weiß, ob der Nutzer ein neues Zeichen beginnt, ein Zeichen abgeschlossen hat oder ein vorher erkanntes Zeichen modifiziert. Dies ermöglicht dem System, die sofortige Reaktion, die erwünscht ist, bereitzustellen.
Es wird gezeigt werden, dass die vorliegende Erfindung flexibel ist und verwendet werden kann, um nicht nur englische und andere romanische zeichenbasierte Sprachen sondern andere Schreib-Alphabete, wie beispielsweise japanisches Hiragana und Katakana, einzugeben.
Die Details des bevorzugten Ausführungsbeispiels der vorliegenden Erfindung werden in den beigefügten Zeichnungen und der nachstehenden Beschreibung dargelegt. Sind die Details der Erfindung einmal bekannt, werden einem Fachmann zahlreiche zusätzliche Innovationen und Änderungen klar.
Kurzbeschreibung der Zeichnungen
1 ist eine linksseitige perspektivische Vorderansicht, die einen stiftbasierten Handheld-Computer des Standes der Technik zeigt.
2 ist ein Flussdiagramm, das das bevorzugte Ausführungsbeispiel des Handschrift-Erkennungssystems der vorliegenden Erfindung beschreibt.
3 zeigt die Stift-Strokes, die verwendet werden, um die 26 Buchstaben des gewöhnlichen englischen Alphabets bei einem System des Standes der Technik, das von Xerox gelehrt wird, darzustellen.
4a zeigt die Stift-Strokes, die bei dem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung verwendet werden, um die 26 Buchstaben des gewöhnlichen englischen Alphabets darzustellen.
4b zeigt die Stift-Strokes, die bei dem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung verwendet werden, um die 10 Ziffern des arabischen Zahlensystems darzustellen.
5a zeigt die Stift-Strokes, die bei dem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung als Zeichen-Strokes verwendet werden, um drei übliche „Nicht-Druck"-Zeichen (das Leerzeichen, das Backspace und den Wagenrücklauf) darzustellen.
5b zeigt die Stift-Strokes, die bei dem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung als Vor-Zeichen-Modifizierungs-Strokes verwendet werden, um groß geschriebene Buchstaben, Interpunktionszeichen und erweiterte Zeichen darzustellen.
5c zeigt die Stift-Strokes, die bei dem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung verwendet werden, um übliche Interpunktionszeichen-Symbole, wenn vom Vor-Zeichen-Modifizierungs-Stroke für Interpunktionszeichen eingeleitet, darzustellen.
6 zeigt die Stift-Strokes, die bei dem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung verwendet werden, um verschiedene erweiterte Symbole, wenn vom Vor-Zeichen-Modifizierungs-Stroke für erweiterte Symbole eingeleitet, darzustellen.
7a zeigt die Stift-Strokes, die bei dem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung als Nach-Zeichen-Modifizierungs-Strokes verwendet werden, um Akzente Buchstaben hinzuzufügen, die mit einem Zeichen-Stroke und keinen oder mehrere Vor-Zeichen-Modifizierungs-Strokes erzeugt wurden.
7b zeigt verschiedene Beispiele von schreibakzentuierten Buchstaben unter Verwenden mehrerer bei dem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung angewendeter Stift-Strokes.
7c zeigt ein Beispiel des Schreibens eines akzentuierten Großbuchstabens unter Verwenden eines Vor-Zeichen-Modifizierungs-Strokes, eines Zeichen-Strokes und eines Nach-Zeichen-Modifizierungs-Strokes.
8 zeigt die Wörterbuch-Abbildung, die verwendet wird, um Katakana-Zeichen einzugeben. Jeder dieser Einträge besteht aus entweder einem einzigen Zeichen-Stroke, einem Vor-Zeichen-Modifizierungs-Stroke kombiniert mit einem Zeichen-Stroke oder zwei Vor-Zeichen-Modifizierungs-Strokes kombiniert mit einem Zeichen-Stroke. Diese Abbildung folgt dem wohlbekannten Romaji-Eingabesystem.
9 zeigt die Folge von Strokes und die resultierende Anzeige, wenn ein Drei-Stroke-Katakana-Zeichen eingegeben wird.
10 zeigt die Wörterbuch-Abbildung, die verwendet wird, um spezielle Zwei-Katakana-Zeichen-Sequenzen einzugeben. Jeder dieser Einträge besteht aus zwei Vor-Zeichen-Modifizierungs-Strokes und einem Zeichen-Stroke. Diese Abbildung folgt dem wohlbekannten Romaji-Eingabesystem.
11a zeigt benannte Stift-Strokes, die bei dem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung zum Definieren verschiedener Symbole nützlich sind.
11b zeigt Variationen der Stift-Strokes, die bei dem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung verwendet werden können, um die 26 Buchstaben des gewöhnlichen englischen Alphabets darzustellen.
11c zeigt die Stift-Strokes, die bei dem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung als Zeichen-Strokes verwendet werden, um allgemeine „Nicht-Druck"-Zeichen darzustellen.
11d zeigt die Stift-Strokes, die bei dem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung als Zeichen-Strokes verwendet werden, um übliche Interpunktionszeichen darzustellen.
11e zeigt die Stift-Strokes, die bei dem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung als Zeichen-Strokes verwendet werden, um zusätzliche Interpunktionszeichen darzustellen.
11f zeigt die Stift-Strokes, die bei dem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung als Zeichen-Strokes verwendet werden, um erweiterte Zeichen darzustellen.
11g zeigt die Stift-Strokes, die bei dem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung als Zeichen-Strokes verwendet werden, um nicht akzentuierte fremdländische Buchstaben darzustellen.
Gleiche Bezugszeichen und Bezeichnungen in den verschiedenen Zeichnungen bezeichnen gleiche Elemente.
Ausführliche Beschreibung der Erfindung
Durch diese Beschreibung hindurch sollten das gezeigte bevorzugte Ausführungsbeispiel und gezeigte Beispiele als Beispiele anstatt als Einschränkungen der vorliegenden Erfindung betrachtet werden.
Übersicht
Die vorliegende Erfindung ist vorzugsweise als ein Computerprogramm implementiert, das auf einem stiftbasierten Computersystem, wie beispielsweise den oben beschriebenen „Zoomer"- und „Newton"-Produkten, betrieben wird. Das Computerprogramm ist auf einem Speichermedium oder einer -einrichtung, die mittels eines Computers lesbar sind, gespeichert und konfiguriert und betreibt den Computer, wenn das Speichermedium oder -einrichtung mittels des Computers gelesen wird, wobei der Computer derart betrieben wird, dass handgeschriebene Strokes ermittelt, erkannt, klassifiziert und mitunter angezeigt werden. Jedoch können, wie im Stand der Technik bekannt ist, die Logik-Funktionen solch eines Computerprogramms als ein elektronisches System, wie beispielsweise eine programmierte Firmware, mikrocodiert oder ein hartverdrahtetes Logik-System sein.
2 ist ein Flussdiagramm, das den grundlegenden Prozess der Erfindung beschreibt. Der Betrieb beginnt bei Schritt 100, wo ein Stift-Stroke aufgenommen wird. Ein Stroke ist eine Bewegung eines Stiftes oder einer äquivalenten Eingabevorrichtung durch einen Nutzer auf einem Tablett, Pad oder Digitalisierer. Ein Stroke beginnt, wenn der Stift das Tablett berührt, und endet, wenn der Nutzer den Stift vom Tablett entfernt. Die Position und Bewegung des Stifts während des Strokes wird in eine Folge von X-Y-Koordinaten umgewandelt. Diese Stift-Positionsdaten werden von der Stift-Eingabevorrichtung empfangen und zum Glyphen-Erkennerabschnitt des Zeichen-Eingabesystems weitergeleitet.
In Schritt 101 erkennt die Glyphen-Erkennerlogik basierend auf der Bewegung und Form des Eingabe-Strokes die Stift-Stroke-Daten als eine Interpretation eines bestimmten Glyphen seiend. Die von der vorliegenden Erfindung genutzte Erkennungsprozedur ist im Wesentlichen die, die im US-Patent Nr. 5,125,039, betitelt „Object Recognition System", erteilt Jeffrey Hawkins, einem der vorliegenden Erfinder, offenbart ist. Dieses Patent ist an dieser Stelle durch Bezugnahme aufgenommen.
In Schritt 102 wird in einem Wörterbuch nachgeschlagen, um nachzuschauen, wie der aktuelle Glyph zu interpretieren ist. Jedem Glyph ist eine Definition zugeordnet, die die aktuelle Klassifikation des Glyphen als ein Vor-Zeichen-Modifizierungs-Stroke, ein Zeichen(bedeutend irgendein Symbol)-Stroke, ein Nach-Zeichen-Modifizierungs-Stroke oder als ein gegenwärtig nicht zugewiesener Stroke aufweist. Die Definition des jeweiligen Glyphen umfasst ferner, welches Zeichen oder anderer Kennzeichner, wenn es einen gibt, als Reaktion auf einen Stroke auszugeben ist, der mit diesem Glyphen übereinstimmt. Es umfasst ferner eine Spezi fikation hinsichtlich dessen, welche Änderungen, wenn es welche gibt, auf alle Glyphen-Definitionen als Reaktion auf einen Stroke durchzuführen sind, der mit diesem Glyphen übereinstimmt.
Schritte 103 und 104 sind Entscheidungsschritte. Abhängig davon, ob der aktuelle Stroke einen Vor-Zeichen-Modifizierungs-Stroke, einen Zeichen-Stroke, einen Nach-Zeichen-Modifizierungs-Stroke oder einen nicht zugewiesenen Stroke darstellt, werden unterschiedliche Aktionen unternommen. Im Fall von Vor-Zeichen-Modifizierungs-Strokes geht die Steuerung zu Schritt 200 über.
In Schritt 200 verursacht die Verarbeitungslogik eine durchzuführende Anzeige, dass ein bestimmter Vor-Zeichen-Modifizierungs-Stroke eingegeben wurde. Während der Vor-Zeichen-Modifizierungs-Stroke nicht zu einem Zeichen führt, das vom Zeichen-Erkenner ausgegeben wird, ist es nichtsdestotrotz wünschenswert, dem Nutzer eine Anzeige, welcher Vor-Zeichen-Modifizierungs-Stroke empfangen wurde, anzuzeigen. Bei dem bevorzugten Ausführungsbeispiel der Erfindung wird ein Zeichen angezeigt, das für den Vor-Zeichen-Modifizierungs-Stroke repräsentativ ist. Wird beispielsweise ein einfacher „Schritt"- oder „Punkt"-Vor-Zeichen-Modifizierungs-Stroke verwendet, sodass der nächste Zeichen-Stroke als ein Interpunktionszeichen-Symbol interpretiert wird, dann könnte ein Aufzählungszeichen- oder „Punkt"-Zeichen angezeigt werden, kennzeichnend, dass der Punkt-Stroke erfolgreich eingegeben wurde. Diese Zeichen sind temporär und werden in Schritt 300 entfernt.
In Schritt 201 wird die Definition im Glyphen-Wörterbuch für einen oder mehrere Glyphen gemäß dem eingegebenen Vor-Zeichen-Modifizierungs-Stroke, wie nachstehend weiter beschrieben, modifiziert.
In Schritt 300 werden, wenn die Klasse des aktuellen Strokes „Zeichen" ist, dann alle vorher angezeigten Kennzeichen oder Zeichen, die Vor-Zeichen-Modifizierungs-Strokes darstellen, gelöscht und von der Anzeige entfernt.
Die Definition des entsprechenden Glyphen im Wörterbuch umfasst das Zeichen, das in Reaktion auf das Empfangen von Strokes, die mit dem Glyphen übereinstimmen, auszugeben ist. In Schritt 301 gibt die Verarbeitungslogik dieses Zeichen für die Anzeige aus.
In Schritt 302 wird die Definition im Glyphen-Wörterbuch für einen oder mehrere Glyphen gemäß dem eingegebenen Zeichen-Stroke und dem aktuellen Stand des Wörterbuchs, wie nachstehend weiter beschrieben, modifiziert.
In Schritt 400, wenn die Klasse des aktuellen Stift-Strokes „Nach-Zeichen-Modifizierer" ist, verursacht dann die Verarbeitungslogik, dass das zuletzt ausgegebene Zeichen entfernt und durch ein neues oder modifiziertes Zeichen ersetzt wird. Bei dem bevorzugten Ausführungsbeispiel wird das vorherige Zeichen mittels Sendens eines „Backspace"-Zeichens an das Anzeigesystem entfernt. Das neue oder modifizierte Zeichen wird mittels der dem Nach-Zeichen-Modifizierungs-Stroke entsprechenden Glyphen-Definition ermittelt.
In Schritt 401 wird die Definition im Glyphen-Wörterbuch für einen oder mehrere Glyphen gemäß dem eingegebenen Nach-Zeichen-Modifizierungs-Stroke und dem aktuellen Stand des Wörterbuchs, wie nachstehend weiter beschrieben, modifiziert.
Zu jedem Zeitpunkt spezifiziert das Glyphen-Wörterbuch exakt eine Interpretation für jeden Eingabe-Glyphen, bei dem das System weiß, wie es ihn zu erkennen hat. Es ist bei dieser Interpretation möglich, vorgesehen zu sein, diesen Glyphen zu ignorieren. Beispielsweise ist der Glyph, der wie ein Paar von Augengläsern (siehe 5c) aussieht, in den ursprünglichen Wörterbuch-Definitionen nicht aktiv. Wird ein Stroke, der diesem Glyphen entspricht, empfangen, wenn dieser Glyph nicht aktiv ist, wird der Stroke erkannt, allerdings ignoriert. Andere Male jedoch wird der Augenglas-Glyph nicht ignoriert. Beispielsweise wird nach der Erkennung eines Zeichen-Strokes für ein „u" oder „a" der Augengläser-Glyph als ein Nach-Zeichen-Modifizierungs-Stroke aktiv und entspricht dem Umlaut-Akzent. Wird dann der Augengläser-Glyph eingegeben, wird das ursprüngliche „u"- oder „a"-Eingabezeichen zu „ü" oder „ä" geändert. In ähnlicher Weise ist nach einem Vor-Zeichen-Modifizierungs-Stroke für ein Interpunktionszeichen der Augengläser-Glyph als ein Zeichen-Stroke definiert, der das „%"-Zeichen repräsentiert.
Zu jedem Zeitpunkt muss jeder Stroke, der erkannt wird, ein Vor-Zeichen-Modifizierungs-Stroke, ein Zeichen-Stroke, ein Nach-Zeichen-Modifizierungs-Stroke sein oder nicht zugeordnet sein. Er kann zu keinem Zeitpunkt mehrere Klassifikationen aufweisen. Nichtsdestotrotz kann jeder Stroke, wenn erkannt, die Definition einiger oder aller Glyphen modifizieren, sodass sie neu klassifiziert werden. Daher kann ein Glyph manchmal einem Zeichen-Stroke entsprechen und andere Male einem Nach-Zeichen- oder Vor-Zeichen-Modifizierungs-Stroke entsprechen.
Schritte 201, 302 und 401 modifizieren alle das Wörterbuch, sodass die Definitionen von Glyphen neu zugeordnet werden. Es gibt zahlreiche Wege, wie das Wörterbuch organisiert werden kann, um diese Modifizierung zu ermöglichen. Bei dem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung ist das Wörterbuch als eine Baum-Datenstruktur implementiert. Die Wurzelebene des Baums enthält Definitionen für all die im Initialzustand des Systems definierten Vor-Zeichen-Modifizierungs-Strokes und Zeichen-Strokes. Wird einer dieser Strokes eingegeben, kann es einen für diesen Stroke definierten nachfolgenden Zweig geben, der neue Definitionen für all die Glyphen enthält. Jeder Stroke führt zu einem neuen Punkt in der Baum-Datenstruktur, weshalb das Wörterbuch modifiziert wird. Das Implementieren des Wörterbuchs als eine Baum-Datenstruktur ist flexibel und ermöglicht, dass das Wörterbuch im ROM eingerichtet ist. Andere Verfahren zum Organisieren des Wörterbuchs, wie im Stand der Technik bekannt, wären möglich.
3 zeigt die im vorher referenzierten Stand der Technik von Xerox gelehrten Glyphen zum Eingeben des englischen Alphabets (in dieser und nachfolgenden Figuren kennzeichnet ein Punkt an einem Ende eines Strokes, dass der Stroke beginnend an diesem Ende gezeichnet ist). Dieses System erreicht eine sofortige Erkennung mittels Erzwingens, dass jedes Zeichen mithilfe ausschließlich eines einzigen Strokes einzugeben ist. Dieser starre Ein-Stroke-Ansatz macht es schwierig, den Zeichensatz über das Basisalphabet hinaus signifikant zu erweitern. Xerox lehrt kein Verfahren für Interpunktionszeichen, akzentuierte Buchstaben, erweiterte Zeichen, Großbuchstaben, Zahlen oder andere nichtromanische Alphabete. Das Xerox-Alphabet war ferner auf Eingabe-Geschwindigkeit und Einfachheit der Erkennung ausgelegt. Dies führt zu einem Glyphen-Satz, der nicht vertraut aussieht und schwer zu erlernen ist.
11a zeigt benannte Stift-Strokes, die bei dem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung zum Definieren verschiedener Symbole nützlich sind. Diese Strokes, Variationen dieser Strokes und andere Strokes, wie Zeichen-Strokes, Vor-Zeichen-Modifizierungs-Strokes und Nach-Zeichen-Modifizierungs-Strokes, können so definiert sein, dass sie im Wesentlichen irgendein Zeichen oder Symbol repräsentieren.
4a zeigt den Glyphen-Satz, der bei dem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung zum Eingeben des englischen Alphabets verwendet wird. Dieses Alphabet wurde als so vertraut wie möglich und einfach zu erlernen seiend ausgewählt, weiterhin festhaltend an den Prinzipien, die bei dieser Erfindung gelehrt werden. Die meisten dieser Alphabet-Zeichen werden mit einem einzigen Zeichen-Stroke geschrieben. Jedoch lehrt die vorliegende Erfindung ein Verfahren des Erlangens einer sofortigen Erkennung mithilfe mehrerer Strokes. Es wurde durch Nutzertest herausgefunden, dass die meisten Menschen Schwierigkeiten haben, ein Einzel-Stroke-„X" zu erlernen. Daher wird „X" im Basisalphabet mit zwei aufeinanderfolgenden Strokes geschrieben. Der erste Stroke, der von oben links nach unten rechts verläuft, ist ein Vor-Zeichen-Modifizierungs-Stroke, und der zweite Stroke, der von oben rechts nach unten links verläuft, ist ein Zeichen-Stroke. Ein Nutzertest hat gezeigt, dass diese Zwei-Stroke-Kombination weitaus einfacher zu schreiben ist als jedes Ein-Stroke-„X".
Das in 4a gezeigte Alphabet bietet nahezu 100%ige Erkennungsgenauigkeit, ist dennoch einfach zu erlernen und nutzt aufgrund seiner offensichtlichen Einfachheit natürliche Hand-Schreibweisen.
11b zeigt, dass es in Wirklichkeit mehrere Wege (unterschiedliche Strokes) gibt, die verwendet werden können, um viele dieser Buchstaben zu schreiben, was das System noch einfacher erlernbar und anzuwenden macht. Das Erkennungssystem bildet einfach die Eingabe-Strokes für diese Buchstaben auf dasselbe Ausgabe-Symbol im Glyphen-Wörterbuch ab. Beispielsweise gibt es zwei Wege, „Y" zu schreiben: der in 4a gezeigte Glyph und eine Form ähnlich einem klein geschriebenen „Y", wie in 11b gezeigt. Ein Nutzertest hat gezeigt, dass einige Nutzer ein Verfahren und einige das andere bevorzugen.
4b zeigt den Glyphen-Satz, der bei dem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung zum Eingeben der Ziffern 0 bis 9 verwendet wird. Viele dieser Glyphen werden ebenfalls verwendet, um Buchstaben des Alphabets einzugeben. Ein Verfahren zum Überwinden dieses Mehrdeutigkeits-Problems ist, einen separaten Zahlenmodus aufzuweisen, wo ein Nutzer nur Ziffern eingeben kann. Dieser Zahlenmodus kann mittels Drückens eines Knopfes auf der Anzeige des Computers, mittels Schreibens eines „Num-Feststell"-Glyphen oder anderer Mittel eingegeben werden. Bei dem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung kann ein Nutzer einen Zahlenmodus mittels entweder Antippens eines Icons auf dem Bildschirm oder mittels Schreibens eines „Vorwärts-Schrägstrich"-Strokes (eine schräge Linie, geschrieben von unten links nach oben rechts) starten und verlassen. Ein Test hat gezeigt, dass ein Nutzer gelegentlich vergisst, den Zahlenmodus nach dem Schreiben mehrerer Ziffern zu verlassen. Eine Verfeinerung der vorliegenden Erfindung hilft, dieses Problem zu beseitigen, indem der Zahlenmodus automatisch verlassen wird, wenn der Nutzer einen Zeichen-Stroke schreibt, der nur als ein Buchstabe interpretiert werden kann, oder wenn der Nutzer den Vor-Zeichen-Modifizierungs-Stroke für Großbuchstaben-Umschaltung schreibt.
5a zeigt den Glyphen-Satz, der bei dem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung zum Eingeben dreier üblicher „Nicht-Druck"-Zeichen verwendet wird: das Leerzeichen, das Backspace und der Wagenrücklauf. Ein Erkennungssystem mit sofortiger Reaktion arbeitet auf vielerlei Weise eher wie eine Tastatur als wie ein herkömmliches Handschrift-Erkennungssystem. Beispielsweise finden Nutzer, da sie Ergebnisse sofort sehen, es natürlicher, über ein fehlerhaftes Zeichen „zurückzuschreiten", als es zu überschreiben oder mit einer Handbewegung zu löschen. Daher können einfache Zeichen-Strokes für Leerzeichen, Backspace, Wagenrücklauf und andere Tastatur-Äquivalente vorgesehen sein. 11c stellt ausführlich andere Nicht-Druck-Tastatur-Äquivalente dar.
5b zeigt den Glyphen-Satz, der bei dem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung als Vor-Zeichen-Modifizierungs-Strokes für das englische Alphabet verwendet wird. Die drei Strokes werden verwendet, um jeweils anzuzeigen, dass der nachfolgende Zeichen-Stroke einen Großbuchstaben, ein Interpunktionszeichen oder ein erweitertes Zeichen darstellt. Wenn gewünscht, können andere Vor-Zeichen-Modifizierungs-Strokes als „Feststell"-Umschalt-Strokes definiert werden, die eine Wirkung haben, bis sie zurückgesetzt werden. Beispielsweise würde ein „Groß-Feststell"-Stroke verursachen, dass alle nachfolgenden Strokes interpretiert werden, als ob das Vor-Zeichen-Modifizierungs-„Groß-"-Stroke vor jedem nachfolgendem Stroke eingegeben wurde.
5c zeigt den Glyphen-Satz, der bei dem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung zum Eingeben allgemeiner Interpunktionszeichen-Symbole verwendet wird. Alle dieser Glyphen sind als Zeichen-Strokes klassifiziert, wenn von einem Vor-Zeichen-Modifizierungs-Stroke eingeleitet, der Interpunktionszeichen darstellt. Wie in 5b gezeigt, wird bei dem bevorzugten Ausführungsbeispiel der Erfindung ein „Punkt"-Stroke verwendet, um ein Interpunktionszeichen zu kennzeichnen. Eine vollständigere Liste von bevorzugten Interpunktionszeichen ist in 11d und 11e gezeigt.
6 zeigt den Glyphen-Satz, der bei dem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung zum Eingeben verschiedener erweiterter Symbole verwendet wird. Alle dieser Glyphen sind als Zeichen-Strokes klassifiziert, wenn von einem Vor-Zeichen-Modifizierungs-Stroke eingeleitet, der erweiterte Symbol-Zeichen darstellt. Wie in 5b gezeigt, wird ein „Schrägstrich"-Stroke bei dem bevorzugten Ausführungsbeispiel der Erfindung verwendet, um ein Erweitertes-Symbol-Zeichen zu kennzeichnen. Eine vollständigere Liste von bevorzugten erweiterten Symbolen ist in 11f gezeigt.
7a zeigt den Glyphen-Satz, der bei dem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung zum Hinzufügen von Akzenten oder diakritischen Zeichen zu Buchstaben verwendet wird. Diese Glyphen werden nach dem Eingeben eines Buchstaben, der akzentuiert werden kann, als Nach-Zeichen-Modifizierungs-Strokes klassifiziert.
7b zeigt verschiedene Beispiele davon, wie ein Nutzer einen akzentuierten Buchstaben unter Verwenden einer Zwei-Stroke-Kombination eines Zeichen-Strokes und eines Nach-Zeichen-Modifizierungs-Strokes schreiben würde. Das Schreiben dieser akzentuierten Buchstaben mittels Anwendens der vorliegenden Erfindung ist sehr ähnlich dem, wie der Nutzer sie auf Papier schreiben würde. Als erstes schreibt der Nutzer einen Basisbuchstaben, fügt dann einen Akzent hinzu. Nach dem Schreiben des Basisbuchstaben-Strokes wird das entsprechende Zeichen sofort auf der Anzeige ausgegeben. Auf das Schreiben des Akzent-Nach-Zeichen-Modifizierungs-Strokes hin wird der Basisbuchstabe gelöscht und durch den korrekten, akzentuierten Buchstaben ersetzt. Daher erreicht das System eine sofortige Erkennungsantwort auf ein Mehrfach-Stroke-Zeichen, obwohl es ursprünglich unbekannt ist, ob der Nutzer einen Ein-Stroke-Buchstaben oder einen Mehrfach-Stroke akzentuierten Buchstaben schreibt.
7c zeigt ein Beispiel davon, wie ein Nutzer ein akzentuiertes Großbuchstaben-Zeichen unter Verwenden einer Drei-Stroke-Kombination eines Vor-Zeichen-Modifizierungs-Strokes, eines Zeichen-Strokes und eines Nach-Zeichen-Modifizierungs-Strokes schreiben würde. Die Strokes sind in der Reihenfolge nummeriert, in der sie geschrieben werden. Als erstes schreibt der Nutzer einen Vor-Zeichen-Modifizierungs-Stroke, kennzeichnend, dass der nachfolgende Buchstabe groß geschrieben werden soll. Dies verursacht die Anzeige eines temporären Zeichens, in diesem Fall eines „Pfeil nach oben"-Zeichens, das die Annahme des Strokes darstellt. Als nächstes schreibt der Nutzer einen Zeichen-Stroke. Das temporäre Zeichen wird entfernt und durch den geeigneten Großbuchstaben ersetzt. Als letztes schreibt der Nutzer einen Nach-Zeichen-Modifizierungs-Stroke, verursachend, dass der Basis-Großbuchstabe gelöscht und durch den korrekten akzentuierten Großbuchstaben ersetzt wird.
Die vorliegende Erfindung ist ziemlich flexibel und kann verschiedene Typen von Sprach-, Alphabet- und Symbol-Systemen annehmen. 8 stellt ein Verfahren dar, wie die Erfindung angepasst werden kann, um schnell und einfach das japanische Katakana-Alphabet einzugeben. In Japan ist ein übliches Verfahren zum Eingeben von Katakana mit einer Tastatur das „Romaji"-Verfahren genannt. Bei dem Romaji-Verfahren gibt ein Nutzer das englische phonetische Äquivalent der Katakana-Zeichen ein. Beispielsweise gibt der Nutzer, um das Katakana für „Sushi" einzugeben, „su" ein, was in der Anzeige des entsprechenden Katakana-Symbols resultiert. Dann gibt der Nutzer „shi" ein, was in der Anzeige des entsprechenden Katakana-Symbols resultiert. Alle der etwa 90 Katakana-Zeichen können mit Kombinationen von einem, zwei oder drei eingegebenen Buchstaben eingegeben werden. Die vorliegende Erfindung kann dieses Verfahren einfach mittels eines Wechsels auf das Wörterbuch von Glyphen-Abbildungen kopieren. Bei dem bevorzugten Ausführungsbeispiel eines Katakana-Stroke-Erkennungssystems gemäß der vorliegenden Erfindung weist das neue Wörterbuch Strokes, die die Konsonanten „BCDGHKMNPRSTXYZ" darstellen, als Vor-Zeichen-Modifizierungs- Strokes zu und ordnet Strokes, die die Vokale „AEIOU" darstellen, als Zeichen-Strokes zu. Einige Katakana-Zeichen werden mittels nur eines Zeichen-Strokes eingegeben. Einige Katakana-Zeichen werden mittels eines Vor-Zeichen-Modifizierungs-Strokes und eines Zeichen-Strokes eingegeben. Einige Katakana-Zeichen werden mittels zweier Vor-Zeichen-Modifizierungs-Strokes und eines Zeichen-Strokes eingegeben. Im letzteren Fall werden vorzugsweise zwei temporäre Kennzeichen-Zeichen angezeigt, darstellend die beiden Vor-Zeichen-Modifizierungs-Strokes. Beide temporäre Zeichen werden auf das Eingeben des Zeichen-Strokes hin gelöscht und durch das endgültige Katakana-Zeichen ersetzt. Diese Sequenz ist in 9 dargestellt.
10 zeigt, wie spezielle Doppel-Katakanasymbol-Kombinationen mittels Drei-Stroke-Kombinationen von zwei Vor-Zeichen-Modifizierungs-Strokes und einem Zeichen-Stroke eingegeben werden können. Diese Abbildung folgt weiterhin dem in Japan üblichen Romaji-Verfahren. Sie stellt die Flexibilität der vorliegenden Erfindung dar, indem gezeigt ist, wie ein Zeichen-Stroke in der Anzeige von mehr als einem Zeichen oder Symbol resultieren kann. Im Prinzip kann ein Zeichen-Stroke oder Nach-Zeichen-Modifizierungs-Stroke in der Ausgabe und Anzeige einer beliebig langen Sequenz von Zeichen resultieren.
Es gibt bei dieser speziellen Implementierung viele nette Punkte, die an dieser Stelle nicht ausführlich dargestellt werden aber jedem klar wären, der im Romaji-Eingabesystem erfahren ist und mit der vorliegenden Erfindung vertraut ist. Beispielsweise ist der Stroke, der den Buchstaben „N" darstellt, im Ursprung ein Vor-Zeichen-Modifizierungs-Stroke. Einmal eingegeben, wird er als ein Zeichen-Stroke neu zugeordnet. Dies ermöglicht die Eingabe des „NN"-Katakana-Symbols, was eine Ausnahme zur allgemeinen Konsonant-Vokal-Paarung für Katakana ist.
11g zeigt die Stift-Strokes, die bei dem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung als Zeichen- Strokes verwendet werden, um nicht akzentuierte fremdländische Zeichen darzustellen.
Die Prinzipien der vorliegenden Erfindung können auf andere Zeichensätze, wie beispielsweise japanisches Hiragana, chinesisches Kanji oder koreanisches Hangul, erweitert werden. Die Konzepte der vorliegenden Erfindung können auch erweitert werden, sodass Nutzern eine größere Flexibilität geboten ist. Beispielsweise könnte das Computersystem derart programmiert sein, dass es einem Nutzer ermöglicht ist, neue Eingabe-Strokes zu definieren und/oder Symbole, Zeichen oder sogar vollständige Wörter oder Ausdrücke einer Kombination von Eingabe-Strokes zuzuordnen. Daher könnte ein nutzerverwaltetes Wörterbuch aufgebaut werden, wo der Nutzer die Sequenzen von Zeichen – oder Symbolen, Text oder Programm-Funktionen – definieren könnte, denen ein Stroke, eine Mehrfach-Stroke-Kombination oder Sequenz von mehreren Stroke-Kombinationen zuzuordnen ist. Alternativ könnte der Nutzer innerhalb einer Tabelle (oder einer anderen Datenstruktur) auch neue Strokes definieren und dem jeweiligen derartigen Stroke einen Kontext zuweisen.
Zusammenfassung
Das vorliegende Erkennungssystem bietet durch Erreichen sofortiger Erkennung von Mehrfach-Stroke-Zeichen ohne das Verwenden von Zellen zur Eingabe verschiedene Verbesserungen gegenüber Systemen des Standes der Technik. Es verbessert Systeme des Standes der Technik mittels sofortigen Anzeigens jedes geschriebenen Zeichens, sobald der Nutzer das Zeichen beendet. Weder erfährt es unnötige Verzögerungen, noch sind zusätzliche Aktionen eines Nutzers erforderlich, um eine Eingabe zu übersetzen. Die sofortige Reaktion hilft einem Nutzer, Fehler schnell zu identifizieren und sie zu korrigieren. Das vorliegende System erreicht diese sofortige Antwort während gleichzeitigen Anpassens an Zeichen, die einfacher erlernt werden und unter Verwenden von Mehrfach-Strokes geschrieben werden. Oben bereitgestellte Beispiele umfassen akzentuierte Buchstaben, Interpunktionszeichen, erweiterte Symbole, den Buchstaben „X" und den Katakana-Zeichensatz. Das Definieren von Zeichen mittels Mehrfach-Strokes macht die vorliegende Erfindung viel einfacher anzuwenden und zu erlernen als Systeme des Standes der Technik, die Einzel-Stroke-Nur-Buchstaben erfordern.
Ein anderer vom vorliegenden Erkennungssystem gebotener Vorteil ist, dass große Sätze an Zeichen ohne das Abhängen von einem großen Satz an eindeutigen Strokes oder Glyphen dargestellt werden können. Beispielsweise nutzen akzentuierte Buchstaben denselben Basis-Zeichen-Stroke wie ihre nicht akzentuierten Entsprechungs-Buchstaben. In der gleichen Weise sind Interpunktionszeichen und Großbuchstaben unter Verwenden einer Kombination von Vor-Modifizierungs-Steuer-Strokes und Zeichen-Strokes realisiert, Die vorliegende Erfindung bietet einen zusätzlichen Vorteil gegenüber Systemen des Standes der Technik, da das vorliegende System nicht das mehrfache Beschreiben von Zellen oder eine andere große On-Screen-Ausstattung erfordert. Wertvoller Anzeigeraum wird dadurch eingespart, erlaubend dem vorliegenden System, bei sehr kleinen Einrichtungen angewendet zu werden.
Das vorliegende System lehrt ferner ein Alphabet zum Eingeben auf romanischen Zeichen basierender Sprachen, welches Eingeben, obwohl nicht identisch mit einem herkömmlicher Nutzer-Schreibweise, sehr ähnlich und daher einfach zu erlernen sind. Ein Nutzer kann nahezu 100%ige Erkennungsgenauigkeit erreichen, wenn er dieses Alphabet anwendet, ferner ist es sehr einfach zu erlernen und anzuwenden, da es einem natürlichen Schreibstil sehr ähnlich ist.
Eine Anzahl von Ausführungsbeispielen der vorliegenden Erfindung wurde beschrieben. Nichtsdestotrotz ist es verständlich, das verschiedene Modifikationen durchgeführt werden können, ohne sich vom Geist und Umfang der Erfindung zu entfernen, Beispielsweise umfasst die Erfindung, während spezielle Strokes und Zuordnungen für derlei Strokes offenbart wurden, andere Strokes, Kombinationen und Zuordnungen. Ferner kann, wie oben bemerkt, ein Stroke einem beliebigen Kontext, wie beispielsweise Zeichen, Symbol(en), Text oder Programm-Funktionen, zugeordnet sein. Der Ausdruck „Zeichen" sollte daher so verstanden werden, dass er irgendeinen dieser Kontexte umfasst. Demgemäß ist es verständlich, dass die Erfindung nicht durch das spezifische dargestellte Ausführungsbeispiel sondern ausschließlich durch den Umfang der beigefügten Ansprüche eingeschränkt wird.

Claims

Elektronisches Handschrift-Erkennungssystem zum Interpretieren von Eingabe-Strokes und Anzeigen entsprechender Zeichen, wobei das System eine Eingabe-Schreiboberfläche, eine Stifteinrichtung zum Eingeben von Strokes auf der Eingabe-Schreiboberfläche, wobei jeder Stroke eine einzige kontinuierliche Bewegung der Stifteinrichtung, während in Kontakt mit so einer Eingabe-Schreiboberfläche, aufweist, und eine Anzeige zum Anzeigen von Zeichen aufweist, wobei das System aufweist: (a) Stroke-Erkennungslogik zum Erkennen jedes einzelnen Eingabe-Strokes nach Eingabe und Zuordnen des jeweiligen erkannten Strokes einem entsprechenden Glyphen, wobei jeder Glyph ein Mitglied eines einer Mehrzahl von Sätzen von Glyphen ist, wobei jeder Glyph von nur einem einzigen Stroke gebildet ist, wobei die Sätze von Glyphen zumindest aufweisen: (1) einen Satz von Zeichen-Glyphen; (2) einen Satz von Nach-Zeichen-Modifizierungs-Glyphen; (b) Verarbeitungslogik, gekoppelt mit der Stroke-Erkennungslogik, zum: (1) Ausgeben zu der Anzeige ein erstes Zeichen, das einem Zeichen-Glyphen entspricht, dem ein erster Eingabe-Stroke zugeordnet ist, in Reaktion auf das Erkennen des ersten Strokes; und (2) Ausgeben zu der Anzeige ein zweites Zeichen derart, dass das erste Zeichen ersetzt wird, wobei das zweite Zeichen durch die Kombination des ersten Zeichens und eines Nach-Zeichen-Modifizierungs-Glyphen, dem ein dem ersten Stroke unmittelbar nachfolgender nächster erkannter Eingabe-Stroke zugeordnet ist, eindeutig bestimmt wird, wobei das zweite Zeichen in Reaktion darauf ausgegeben wird, dass der nächste Eingabe-Stroke erkannt ist.
System gemäß Anspruch 1, wobei die Sätze von Glyphen ferner einen Satz von Vor-Zeichen-Modifizierungs-Glyphen aufweisen, und wobei die Verarbeitungslogik ferner verwendet wird, um: (1) zu der Anzeige eine temporäre Anzeige einer Erkennung des Vor-Zeichen-Modifizierungs-Glyphen, dem ein Anfangs-Eingabe-Stroke zugeordnet ist, in Reaktion darauf auszugeben, dass der Anfangs-Eingabe-Stroke erkannt wurde; (2) das erste Zeichen, das der Kombination der Zeichen-Glyphen, denen der erste Eingabe-Stroke zugeordnet ist, mit dem Vor-Zeichen-Modifizierungs-Glyphen, dem der Anfangs-Eingabe-Stroke zugeordnet ist, entspricht, auszugeben.
System gemäß Anspruch 1 oder 2, wobei die Stroke-Erkennungslogik und Verarbeitungslogik in einem stiftbasierten tragbaren Computer ausgebildet sind.
System gemäß Anspruch 2, wobei die Verarbeitungslogik die temporäre Anzeige einer Erkennung in Reaktion auf das Ausgeben des ersten Zeichens entfernt.
System gemäß Anspruch 1 oder 2, wobei eine Änderung des angezeigten Zeichens mittels Ausgebens eines „Backspace"-Zeichens, sodass das angezeigte Zeichen gelöscht wird, und dann mittels Ausgebens eines geänderten Zeichens, sodass das gelöschte Zeichen ersetzt ist, erreicht wird.
System gemäß Anspruch 1 oder 2, wobei eine Erkennung eines Strokes die Klassifizierung zumindest eines nachfolgenden Strokes verändert.
System gemäß Anspruch 2, wobei eine Erkennung eines Vor-Zeichen-Modifizierungs-Strokes die Definition des Zeichens, das zumindest einem nachfolgenden Eingabe-Zeichen-Glyphen entspricht, verändert.
Automatisches Verfahren zum Interpretieren von Eingabe-Strokes und Anzeigen entsprechender Zeichen auf einem elektronischen Handschrift-Erkennungssystem, wobei das System eine Eingabe-Schreiboberfläche, eine Stifteinrichtung zum Eingeben von Strokes auf der Eingabe-Schreiboberfläche, wobei jeder Stroke eine einzige kontinuierliche Bewegung der Stifteinrichtung, während in Kontakt mit so einer Eingabe-Schreiboberfläche, aufweist, und eine Anzeige zum Anzeigen von Zeichen aufweist, wobei das Verfahren die Schritte aufweist: (a) Erkennen (101–103) jedes einzelnen Eingabe-Strokes nach Eingabe und Zuordnen (101–103) des jeweiligen erkannten Strokes einem entsprechenden Glyphen, wobei jeder Glyph ein Mitglied eines einer Mehrzahl von Sätzen von Glyphen ist, wobei jeder Glyph von nur einem einzigen Stroke gebildet ist, wobei die Sätze von Glyphen zumindest aufweisen: (1) einen Satz von Zeichen-Glyphen; (2) einen Satz von Nach-Zeichen-Modifizierungs-Glyphen; (b) in Reaktion auf das Empfangen eines ersten Eingabe-Strokes Ausgeben (300–301) ein erstes Zeichen, das einem Zeichen-Glyphen entspricht, dem der erste Eingabe-Stroke zugeordnet ist; und (c) in Reaktion auf das Empfangen eines dem Eingabe-Stroke unmittelbar nachfolgenden nächsten Eingabe-Strokes Ausgeben (400) zu der Anzeige ein zweites Zeichen derart, dass das erste Zeichen ersetzt wird, wobei das zweite Zeichen mittels Erkennens der Kombination des angezeigten ersten Zeichens mit dem Nach-Zeichen-Modifizierungs-Glyphen, dem der nächste Eingabe-Stroke zugeordnet ist, eindeutig bestimmt wird.
Automatisches Verfahren gemäß Anspruch 8, wobei die Sätze von Glyphen ferner einen Satz von Vor-Zeichen-Modifizierungs-Glyphen aufweisen, wobei das automatische Verfahren den zusätzlichen Schritt des Ausgebens einer temporären Anzeige einer Erkennung eines Vor-Zeichen-Modifizierungs-Glyphen, dem ein Anfangs-Eingabe-Stroke zugeordnet ist, zu der Anzeige aufweist, und wobei das Ausgeben des ersten Zeichens der Kombination des ersten Zeichen-Glyphen, dem der erste Eingabe-Stroke zugeordnet ist, mit dem Vor-Zeichen- Modifizierungs-Glyphen, dem der Anfangs-Eingabe-Stroke zugeordnet ist, entspricht.
Automatisches Verfahren gemäß Anspruch 8 oder 9, wobei eine Änderung des angezeigten Zeichens mittels Ausgebens eines „Backspace"-Zeichens, sodass das angezeigte Zeichen gelöscht wird, und dann mittels Ausgebens eines geänderten Zeichens, sodass das gelöschte Zeichen ersetzt ist, erreicht wird.
Automatisches Verfahren gemäß Anspruch 8 oder 9, wobei eine Erkennung eines Strokes die Klassifizierung zumindest eines nachfolgenden Strokes verändert.
Automatisches Verfahren gemäß Anspruch 9, wobei eine Erkennung eines Vor-Zeichen-Modifizierungs-Strokes die Definition des Zeichens, das zumindest einem nachfolgenden Eingabe-Zeichen-Glyphen entspricht, verändert.
Steuerprogramm, das dinghaft auf einem mittels eines programmierbaren Computers lesbaren Speichermedium gespeichert ist, sodass der Computer, wenn das Speichermedium mittels des Computers gelesen wird, mittels des Steuerprogramms betrieben wird, wobei der Computer eine Anzeige und eine Eingabe-Schreiboberfläche aufweist und betrieben wird, um handgeschriebene Strokes zu ermitteln, zu erkennen und zu klassifizieren, wobei jeder Stroke eine einzige kontinuierliche Bewegung der Stifteinrichtung, während in Kontakt mit so einer Eingabe-Schreiboberfläche, aufweist, wobei derartige Funktionen durch die Kombination des Steuerprogramms und des Computers durchgeführt werden, der die Funktionen ausführt: (a) Erkennen jedes einzelnen Eingabe-Strokes nach Eingabe und Zuordnen des jeweiligen erkannten Strokes einem entsprechenden Glyphen, wobei jeder Glyph ein Mitglied eines einer Mehrzahl von Sätzen von Glyphen ist, wobei jeder Glyph von nur einem einzigen Stroke gebildet ist, wobei die Sätze von Glyphen zumindest aufweisen: (1) einen Satz von Zeichen-Glyphen; (2) einen Satz von Nach-Zeichen-Modifizierungs-Glyphen; (b) in Reaktion auf das Empfangen eines ersten Eingabe-Strokes Ausgeben ein erstes Zeichen, das einem Zeichen-Glyphen entspricht, dem der erste Eingabe-Stroke zugeordnet ist; und (c) in Reaktion auf das Empfangen eines dem Eingabe-Stroke unmittelbar nachfolgenden nächsten Eingabe-Strokes Ausgeben zu der Anzeige ein zweites Zeichen derart, dass das erste Zeichen ersetzt wird, wobei das zweite Zeichen mittels Erkennens der Kombination des angezeigten ersten Zeichens mit dem Nach-Zeichen-Modifizierungs-Glyphen, dem der nächste Eingabe-Stroke zugeordnet ist, eindeutig bestimmt wird.
Steuerprogramm gemäß Anspruch 13, wobei die Sätze von Glyphen ferner einen Satz von Vor-Zeichen-Modifizierungs-Glyphen aufweisen, und wobei das Steuerprogramm ferner den Computer dazu bringt, die Funktionen des Ausgebens einer temporären Anzeige einer Erkennung eines Vor-Zeichen-Modifizierungs-Glyphen, dem ein Anfangs-Eingabe-Stroke zugeordnet ist, zu der Anzeige durchzuführen, und wobei das Ausgeben des ersten Zeichens der Kombination des ersten Zeichen-Glyphen, dem der erste Eingabe-Stroke zugeordnet ist, mit dem Vor-Zeichen-Modifizierungs-Glyphen, dem der Anfangs-Eingabe-Stroke zugeordnet ist, entspricht.
Speichermedium, das mittels eines programmierbaren Computers, wenn gekoppelt mit dem Speichermedium, lesbar ist, wobei das Speichermedium ein Steuerprogramm beinhaltet, das auf ihm dinghaft gespeichert ist, sodass der Computer, wenn das Speichermedium mittels des Computers gelesen wird, mittels des Steuerprogramms betrieben wird, wobei der Computer eine Anzeige und eine Eingabe-Schreiboberfläche aufweist und betrieben wird, um handgeschriebene Strokes zu ermitteln, zu erkennen und zu klassifizieren, wobei jeder Stroke eine einzige kontinuierliche Bewegung der Stifteinrichtung, während in Kontakt mit so einer Eingabe-Schreiboberfläche, aufweist, wobei das Steuerprogramm eingerichtet ist, den Computer derart zu betreiben, dass er die Funktionen ausführt: (a) Erkennen jedes einzelnen Eingabe-Strokes nach Eingabe und Zuordnen des jeweiligen erkannten Strokes einem entsprechenden Glyphen, wobei jeder Glyph ein Mitglied eines einer Mehrzahl von Sätzen von Glyphen ist, wobei jeder Glyph von nur einem einzigen Stroke gebildet ist, wobei die Sätze von Glyphen zumindest aufweisen: (1) einen Satz von Zeichen-Glyphen; (2) einen Satz von Nach-Zeichen-Modifizierungs-Glyphen; (b) in Reaktion auf das Empfangen eines ersten Eingabe-Strokes Ausgeben ein erstes Zeichen, das einem Zeichen-Glyphen entspricht, dem der erste Eingabe-Stroke zugeordnet ist; und (c) in Reaktion auf das Empfangen eines dem Eingabe-Stroke unmittelbar nachfolgenden nächsten Eingabe-Strokes Ausgeben zu der Anzeige ein zweites Zeichen derart, dass das erste Zeichen ersetzt wird, wobei das zweite Zeichen mittels Erkennens der Kombination des angezeigten ersten Zeichens mit dem Nach-Zeichen-Modifizierungs-Glyphen, dem der nächste Eingabe-Stroke zugeordnet ist, eindeutig bestimmt wird.
Speichermedium gemäß Anspruch 15, wobei die Sätze von Glyphen ferner einen Satz von Vor-Zeichen-Modifizierungs-Glyphen aufweisen, und wobei das auf dem Speichermedium gespeicherte Steuerprogramm ferner den Computer dazu bringt, die Funktionen des Ausgebens einer temporären Anzeige einer Erkennung eines Vor-Zeichen-Modifizierungs-Glyphen, dem ein Anfangs-Eingabe-Stroke zugeordnet ist, zu der Anzeige durchzuführen, und wobei das Ausgeben des ersten Zeichens der Kombination des ersten Zeichen-Glyphen, dem der erste Eingabe-Stroke zugeordnet ist, mit dem Vor-Zeichen-Modifizierungs-Glyphen, dem der Anfangs-Eingabe-Stroke zugeordnet ist, entspricht.