DE69527101T2

DE69527101T2 - Handschrifteingabegerät mit Verwendung mehr als einer Erfassungstechnologie

Info

Publication number: DE69527101T2
Application number: DE69527101T
Authority: DE
Inventors: Zeev Bar-Itzhak; Ehud Baron; Victor Korsensky; Alexander Prishvin
Original assignee: INVIBRO TECHNOLOGIES Ltd
Current assignee: INVIBRO TECHNOLOGIES Ltd
Priority date: 1994-02-04
Filing date: 1995-02-01
Publication date: 2003-01-02
Anticipated expiration: 2015-02-02
Also published as: ATE219588T1; EP0666543A2; ZA95811B; JPH0836462A; EP0666543A3; IL108566A0; DE69527101D1; US5517579A; CA2141836A1; CN1128380A; EP0666543B1; AU1154895A; KR950033780A; TW403877B

Description

GEBIET DER ERFINDUNG

Die vorliegende Erfindung betrifft im Allgemeinen Computereingabeeinrichtungen und insbesondere Handschrifterkennungs-Computereingabeeinrichtungen.

HINTERGRUND DER ERFINDUNG

Es gibt eine beträchtliche Menge von Aktivitäten im Gebiet der On-Line-Handschrifterkennung. Der Stand der Technik, der im Jahr 1990 vorlag, ist in "The State of the Art in On-Line Handwriting Recognition" von Charles C. Tappert et al. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 12, No. 8, August 1990 zusammengefasst.
Allgemein gesagt wird gegenwärtig eine On-Line-Handschriftanalyse für zwei unterschiedliche Anwendungen verwendet: eine Identitätsüberprüfung und eine Eingabe von handschriftlichen Buchstaben und Zahlen in einen Computer. Die zwei Anwendungen weisen stark entgegengesetzte Betriebsanforderungen und Zielrichtungen auf. Eine Handschriftanalyse für eine Identitätsüberprüfung erfasst Merkmale der Handschrift, die für jede Person unterschiedlich sind und somit verwendet werden können, um eine gegebene Person eindeutig zu identifizieren. Im Gegensatz dazu zielt eine Handschriftanalyse für eine alphanumerische Eingabe in einen Computer darauf ab, den Effekt der vielen Merkmale, die für eine Identitätsüberprüfung wichtig sind, zu minimieren und sich auf universelle Handschriftcharakteristiken zu konzentrieren, die mit gegebenen Symbolen assoziiert werden können, unabhängig von dem einzelnen Schreiber.
Gegenwärtig existierende und vorgeschlagene Systeme, die eine Handschriftanalyse für eine alphanumerische Eingabe in einen Computer bereitstellen, sind im Allgemeinen auf eine Erkennung davon ausgerichtet, wie ein Symbol ausschaut und nicht wie es erzeugt wird. Demzufolge verwenden derartige Systeme Digitalisierer oder Grafiktabletts.
Unterschriftüberprüfungssysteme versuchen andererseits biometrische Charakteristiken des Schreibers zu identifizieren und Anzeichen wie ein Druck oder eine Beschleunigung während des Schreibvorgangs zu verwenden.
Das U.S. Patent 4,345,239 verwendet eine Stiftbeschleunigung zur Verwendung in einem Unterschriftüberprüfungssystem. Das U.S. Patent 5,054,088 verwendet sowohl Beschleunigungs- als auch Druckdatencharakteristiken einer Handschrift für eine Identitätsüberprüfung. Wie mit den obigen Patenten angedeutet, wird eine Stiftbeschleunigung für eine Überprüfung einer Unterschrift verwendet, weil sie ein persönliches Merkmal, ein Charakteristikum von jeder Person, ist. Demzufolge ist eine Stiftbeschleunigung für eine alphanumerische Eingabe nicht verwendet worden.
Das U.S. Patent 4,751,741 beschreibt eine Stift-Typ-Zeichenerkennungsvorrichtung, die ausschließlich Stiftdruckdaten verwendet.
Das U.S. Patent 4,695,741 beschreibt einen Lichtstift, der mit einem Beschleunigungsmessgerät ausgerüstet ist, um das Antippen des Computerbildschirms mit dem Stift zu erfassen. Wie mit dem obigen Patent angedeutet, wird eine Stiftbeschleunigung allgemeiner nicht verwendet, um einen Kontakt zwischen einem Stift und einer Oberfläche zu bestimmen.
Das U.S. Patent 4,845,684 beschreibt eine handgehaltene Ultraschallvorrichtung zum Erfassen eines Kontakts zwischen einem Stift und einer Schreiboberfläche. Das obige Patent offenbart nicht die Verwendung von Beschleunigungsdaten.
Die US-A-4122435 beschreibt eine Vorrichtung unter Verwendung von Beschleunigungsmessgeräten, die dann, wenn sie zum Schreiben auf einer speziellen Oberfläche verwendet wird, Signale erzeugt, die für eine Handschriftanalyse verwendet werden können.
Eine Positionsdigitalisierung durch eine Ultraschallpositionsdigitalisierung ist in dem Stand der Technik altbekannt, z. B. aus den U.S. Patenten 3,731,273; 4,317,672; 4,578,674; 4,654,648; 4,758,691; 4,814,552; 4,862,152; 4,991,148; 5,142,506; 5,214,615; 5,239,139; und 5,280,457. Andere Veröffentlichungen, die eine Ultraschallpositionsdigitalisierung beschreiben, umfassen "A sonic pen: a digital stylus system" von Brenner und DeBruyne, IEEE Transactions on Computers, Vol. C-19, No. 6, Juni 1970, Seiten 546-548; "Compact Large-Area Graphic Digitizier for PC" von DeBruyne, IEEE Computer Graphics and Application, Dezember 1986, Seiten 49-53; IBM Technical Disclosure Bulletin, Vol. 12, No. 3, August 1969, Seiten 390; und "US cursor position detection", IBM Technical Disclosure Bulletin, Vol. 27, No. 11, April 1985.
In der Praxis werden digitalisierte Positionen, die aus einer Ultraschallmessung abgeleitet werden, nicht genau genug bestimmt, um sogar minimal eine operative Handschrifterkennung zu ermöglichen, sodass eine Handschrifterkennung aus einer Ultraschallpositionserfassung in dem Stand der Technik nicht bekannt ist.
Die SU-A-1357986 offenbart eine Grafikdatenausleseeinheit mit Beschleunigungssensoren, die in einer Ebene angeordnet sind, die symmetrisch zu einer Gehäuseachse ist. Ein Schreibelement weist einen Drucksensor an seiner Spitze und senkrecht zur Gehäuseachse auf.
In dem Journal of the Institute of Electronics, Information and Communicaton Engineers D-I (Japan) 1993 ist ein Verfahren zum Extrahieren einer Zeicheninformation aus einem Stift offenbart, das zwei Beschleunigungssensoren zum Messen einer x- und einer y-Komponente der Stiftbewegung verwendet. Ein Stiftberührungssignal wird von einem kleinen Hochfrequenzbeschleunigungssignal, verursacht durch eine Reibung zwischen dem Stift und dem Papier, erzeugt.
Die vorliegende Erfindung zielt darauf ab, eine verbesserte Computereingabeeinrichtung bereitzustellen.
Demzufolge stellt die Erfindung eine Handschrifterkennungsvorrichtung bereit, die eine Handschrifteingabevorrichtung umfasst, die wenigstens zwei verschiedene Erfassungstechniken verwendet, um eine Handschrift zu erfassen, und die wenigstens ein Beschleunigungsmessgerät umfasst, das in dem in der Hand gehaltenen Schreibelement an einer anderen Stelle als an einer Spitze davon angeordnet ist; und eine Symbolidentifikationsvorrichtung, die einen Ausgang der Handschrifteingabeeinrichtung empfängt, um eine Ausgangsanzeige von Symbolen, die von der Handschrift dargestellt werden, bereitzustellen und wobei die Symbolidentifikationsvorrichtung einen ersten Identifikationskanal zum Verwenden eines Eingangs von der Handschrifteingabevorrichtung, um einen ersten Ausgang bereitzustellen, der eine Identifikation von Symbolen darstellt, einen zweiten Identifikationskanal zum Verwenden eines Ausgangs von dem einen Beschleunigungsmessgerät, um einen zweiten Ausgang bereitzustellen, der eine Identifikation von Symbolen darstellt, und eine Symbolwählvorrichtung zum Wählen zwischen dem ersten und dem zweiten Ausgang auf Grundlage von vorgegebenen Kriterien, umfasst.
Die Handschrifteingabevorrichtung kann einen Positionsdigitalisierer umfassen.
Das wenigstens eine Beschleunigungsmessgerät kann eine Vielzahl von zueinander orthogonal angeordneten Beschleunigungsmessgeräten umfassen.
Die Symbolidentifikationsvorrichtung kann eine kombinierte Positions- und Beschleunigungsverarbeitungsvorrichtung umfassen, die die Eingänge von dem Digitalisierer und dem wenigstens einen Beschleunigungsmessgerät beim Identifizieren von Symbolen kombiniert.
Bei der Handschrifterkennungsvorrichtung nach Anspruch 1 umfasst die Handschrifteingabevorrichtung eine Ultraschallpositionsbestimmungsvorrichtung, die in Luft betriebsfähig ist.
Die Handschrifteingabevorrichtung kann betriebsfähig sein, um auf einem Computerschirm zu schreiben.
Die Erfindung stellt auch ein Handschrifterkennungsverfahren bereit, umfassend das Verwenden von wenigstens einem Beschleunigungsmessgerät, das in einem Handschriftgerät an einer anderen Stelle als an der Spitze davon angeordnet ist, und wenigstens einer zusätzlichen unterschiedlichen Erfassungstechnik zum Erfassen einer Handschrift; und Empfangen einer Ausgangsanzeige der Handschrift und Bereitstellen einer Ausgangsanzeige von Symbolen, die von der Handschrift dargestellt werden, wobei der Schritt zum Bereitstellen einer Ausgangsanzeige von Symbolen einen Eingang von einem Digitalisierer verwendet, um einen ersten Ausgang, der eine Identifikation von Symbolen darstellt, entlang eines ersten Identifikationskanals bereitzustellen, und einen Eingang von dem wenigstens einen Beschleunigungsmessgerät verwendet, um einen zweiten Ausgang, der eine Identifikation von Symbolen darstellt, entlang eines zweiten Identifikationskanals bereitzustellen, und zwischen den ersten und zweiten Ausgängen auf Grundlage von vorgegebenen Kriterien wählt.
Die wenigstens eine zusätzliche Erfassungstechnik kann eine Positionsdigitalisierung umfassen.
Das Verfahren kann ferner das Identifizieren von Symbolen durch Kombinieren von digitalisierten Positionseingängen und einer erfassten Beschleunigungsinformation umfassen.
Der Schritt zum Empfangen kann das Verwenden von digitalisierten Positionseingaben, um einen ersten Ausgang bereitzustellen, der Identifikationssymbole darstellt, ein Verwenden einer Beschleunigungsinformation, um einen zweiten Ausgang bereitzustellen, der eine Identifikation von Symbolen darstellt, und ein Wählen zwischen den ersten und zweiten Ausgängen umfassen.

KURZBESCHREIBUNG DER ZEICHNUNGEN

Die vorliegende Erfindung lässt sich aus der folgenden ausführlichen Beschreibung im Zusammenhang mit den Zeichnungen besser verstehen und erkennen. In den Zeichnungen zeigen:
Fig. 1A ein vereinfachtes halbbildliches Halbblockdiagramm einer Darstellung der Handschrifterkennungsvorrichtung, die in Übereinstimmung mit einer bevorzugten Ausführungsform der vorliegenden Erfindung konstruiert und betreibbar ist;
Fig. 1B ein vereinfachtes halbbildliches Halbblockdiagramm einer Darstellung einer Handschrifterkennungsvorrichtung, die in Übereinstimmung mit einer alternativen bevorzugten Ausführungsform der vorliegenden Erfindung konstruiert und betreibbar ist;
Fig. 2A bis 2H schematische Zeichnungen von bevorzugten Aufbauten von Abschnitten der Vorrichtung der Fig. 1A und 1B;
Fig. 3 ein vereinfachtes Blockdiagramm der Handschrifterkennungsvorrichtung der Fig. 1A und 1B;
Fig. 4A ein vereinfachtes Flussdiagramm, das den Lehrprozess darstellt, der von der Handschrifterkennungsvorrichtung der Fig. 1A und 1B ausgeführt wird;
Fig. 4B ein vereinfachtes Flussdiagramm, das den Erkennungsprozess darstellt, der von der Handschrifterkennungsvorrichtung der Fig. 1A und 1B ausgeführt wird;
Fig. 5A bis 5D grafische Darstellungen von Daten, die ein bevorzugtes Verfahren für einen Abschnitt der Lehr- und Erkennungsprozesse darstellen, die von der Handschrifterkennungsvorrichtung der Fig. 1A und 1B ausgeführt werden;
Fig. 6A eine vereinfachte Darstellung eines bevorzugten mechanischen Aufbaus des Digitalisierungsstifts/Beschleunigungsmessgeräts der Fig. 1A;
Fig. 6B eine vereinfachte Darstellung eines bevorzugten mechanischen Aufbaus des Digitalisierungsstifts/Beschleunigungsmessgräts der Fig. 1B;
Fig. 7 ein vereinfachtes halbbildliches Halbblockdiagramm einer Handschrifterkennungsvorrichtung, die in Übereinstimmung mit einer anderen alternativen bevorzugten Ausführungsform der vorliegenden Erfindung konstruiert und betreibbar ist;
Fig. 8 ein vereinfachtes Blockdiagramm der Handschrifterkennungsvorrichtung der Fig. 7;
Fig. 9A ein vereinfachtes Flussdiagramm, das den Lehrprozess zeigt, der von der Handschrifterkennungsvorrichtung in der Fig. 7 ausgeführt wird; und
Fig. 9B ein vereinfachtes Flussdiagramm, das den Erkennungsprozess darstellt, der von der Handschrifterkennungsvorrichtung der Fig. 7 ausgeführt wird.

AUSFÜHRLICHE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN

Nun wird auf Fig. 1A Bezug genommen, die eine vereinfachte bildliche Darstellung einer Handschrifterkennungsvorrichtung ist, die in Übereinstimmung mit der vorliegenden Erfindung konstruiert und betrieben wird. Ein Digitalisierungsstift/Beschleunigungsmessgerät 10 wird verwendet, um auf einem Grafiktablett 12 zu schreiben.
Der Stift 10 umfasst auch ein eingebautes Beschleunigungsmessgerät 25, beispielsweise ein Modell ICS 3031-2, welches kommerziell von 1C Sensors, 1701 McCarthy Blvd., Milpitas, CA 95035 erhältlich ist. Alternativ kann der Stift 10 eine Vielzahl von Beschleunigungsmessgeräten umfassen, wobei diese Beschleunigungsmessgeräte orthogonal oder nicht angeordnet sein können.
Der Stift 10 umfasst auch einen oder mehrere Verstärker 30, der/die dem einen oder mehreren Beschleunigungsmessgeräten 25 zugeordnet ist/sind. Fig. 2A ist eine schematische Zeichnung einer bevorzugten Ausführungsform eines Verstärkers 30, der sich zur Verwendung bei der Anwendung eignet.
Alternativ kann der Stift 10 mit einer nachrüstbaren Vorrichtung ausgerüstet werden, die ein oder mehrere Beschleunigungsmessgeräte 25 wie voranstehend beschrieben umfasst, und auch zugehörige Verstärker 30, wie voranstehend beschrieben, umfasst. Die Vorrichtung kann die Form eine Kappe, die auf das Ende des Stifts 10 passt, eines Rings, der den Stift umschließt, oder irgendeiner anderen geeigneten Form aufweisen.
Das Grafiktablett 12 erfasst die Position der Spitze des Stifts 10 relativ zu dem Tablett 12 und stellt einen digitalisierten Ausgang von Daten bereit, die die Position beschreiben. Das Grafiktablett 12 kann irgendein geeignetes Grafiktablett sein, wie ein Wacom Tablet Processor model SD-510C, das von WACOM Computer Systems GmbH, Hellersberstraße 4, W-4040 Neuss 1, in Deutschland erhältlich ist.
Die Daten von dem einen oder den mehreren Beschleunigungsmessgeräten in dem Stift 10 werden als "Beschleunigungsmessdaten" bezeichnet. Beschleunigungsmessdaten und Ortsdaten von dem Grafiktablett 12 werden jeweils durch getrennte Kabel an eine Steuerschaltung 40 gesendet. Alternativ können die Beschleunigungsmessdaten und die Ortsdaten über ein einzelnes Kabel gesendet werden. Gemäß einer noch weiteren Alternative können die Beschleunigungsmessdaten und die Ortsdaten durch irgendeine Art von geeigneter Kommunikationsstrecke, beispielsweise Ultraschall, Infrarot oder durch irgendeine andere geeignete Einrichtung, gesendet werden.
Die Steuerschaltung 40 verstärkt die Beschleunigungssignale von dem Stift 10 und wandelt sie in eine digitale Form um, vorzugsweise unter Verwendung eines Analog/Digital-Wandlers. Fig. 2B ist eine schematische Ansicht einer bevorzugten Ausführungsform eines Analog/Digital-Wandlers, der sich zur Verwendung bei dieser Anwendung eignet.
Die Steuerschaltung 40 sendet dann kombinierte synchronisierte Beschleunigungsdaten und Positionsdaten an einen Beschleunigungs- und Positionsdatenprozessor 50. Der Datenprozessor 50 kann irgendein geeigneter Computer sein, z. B. ein IMB PC-kompatibler Computer mit einem 80386 Prozessor- Chip.
Dem Datenprozessor 50 sind eine Symbolanzeige 60 und eine Eingabeeinrichtung 70 zugeordnet. Die Erkennung tritt innerhalb des Datenprozessors 50 auf und die erkannten Symbole werden auf der Symbolanzeige 60 angezeigt. Wenn erforderlich kann der Benutzer Korrekturen von Erkennungsfehlern unter Verwendung der Eingabeeinrichtung 70 eingeben. Alternativ kann der Benutzer Korrekturen unter Verwendung des Stifts 10 und des Digitalisierungstabletts 12, um zwischen Alternativen, die auf der Symbolanzeige angezeigt werden, zu wählen, oder unter Verwendung irgendeiner anderen geeigneten Einrichtung eingeben.
Die Funktionalität der Einrichtung der Fig. 1A wird nun beschrieben. Der Benutzer verwendet den Stift 10, um Symbole auf dem Grafiktablett 12 zu schreiben. Der Stift 10 sendet Beschleunigungsdaten, die die Beschleunigung des Stifts 10 während des Schreibvorgangs beschreiben, an die Steuerschaltung 40. Das Grafiktablett 12 sendet Stiftspitzen-Positionsdaten, die die Position der Spitze des Stifts 10 über der Zeit beschreiben, an die Steuerschaltung 40.
Die Steuerschaltung 40 verstärkt und digitalisiert die Beschleunigungsdaten. Wenn die Beschleunigungsdaten und die Positionsdaten nicht zeitlich synchronisiert sind, synchronisiert die Steuerschaltung 40 die Beschleunigungs- und Positionsdaten durch Anpassen von Stiftstatussignalen mit den Beschleunigungsdaten. Stiftstatussignale werden nachstehend näher unter Bezugnahme auf Fig. 4B beschrieben. Die kombinierten synchronisierten Daten werden durch die Steuerschaltung 40 an den Datenprozessor 50 gesendet.
Alternativ kann die Steuerschaltung 40 auch einen Prozessor und einen Speicher, der zum Speichern der kombinierten synchronisierten Daten geeignet ist, umfassen. In diesem Fall kann der Stift 10, das Grafiktablett 12 und die Steuerschaltung 40 verwendet werden, um die kombinierten synchronisierten Daten zu erzeugen und zu speichern. Dann werden zu einem späteren Zeitpunkt die Daten von der Steuerschaltung 40 an den Datenprozessor 50 gesendet, damit eine Handschrifterkennung auftritt.
Bevor die Handschrifterkennung auftreten kann, muss der Datenprozessor 50 eine Datenbank erzeugen, die Daten für jedes Symbol umfasst, das erkannt werden kann und das für jede Person, die die Vorrichtung verwendet, spezifisch ist. Die Datenbank wird hier als die Pro-Person-/Pro-Symbol-Datenbank bezeichnet.
Während eines Lehrvorgangs steuert der Datenprozessor 50 die Erzeugung der Pro-Person-/Pro- Symbol-Datenbank von Handschriftcharakteristiken. Die Pro-Person-/Pro-Symbol-Datenbank umfasst Daten für jede Person, deren Handschrift dem System bekannt ist, wobei ein oder mehrere Prototypen für jedes Symbol beschrieben wird. Jeder Prototyp umfasst Parameter, die das Symbol, so wie es von der Person geschrieben wird, beschreibt, wobei die Parameter mit näheren Einzelheiten nachstehend unter Bezugnahme auf den Schritt 240 beschrieben werden.
Während eines Lehrvorgangs schreibt der Benutzer Symbole von einem vorher angeordneten Skript, das dem Datenprozessor 50 bekannt ist, und die zugehörigen Symbole erscheinen auf der Symbolanzeige 60 während des Schreibvorgangs. Vorzugsweise umfasst das vorher angeordnete Skript mehrere Wiederholungen von jedem Symbol. Vorzugsweise sollten die Symbole auf Grundlage der Erfahrung des Erfinders an verschiedenen Teilen eines Worts auftreten, wie am Beginn, in der Mitte und am Ende, überall in dem vorher angeordneten Skript. Die Funktionalität des Datenprozessors 50 während des Lehrvorgangs wird mit näheren Einzelheiten unter Bezugnahme auf Fig. 4A nachstehend beschrieben.
Während der Erkennung steuert der Datenprozessor 50 den Erkennungsprozess, der das Wählen des richtigen Symbolcodes entsprechend zu dem Symbol, das von dem Benutzer geschrieben wurde, umfasst; vorzugsweise umfasst der Erkennungsprozess auch das Wählen des richtigen Worts, das von dem Benutzer geschrieben wurde. Die Funktionalität des Datenprozessors 50 während des Erkennungsprozesses wird mit näheren Einzelheiten nachstehend unter Bezugnahme auf die Fig. 4B beschrieben.
Nun wird zusätzlich auf die Fig. 1B Bezug genommen, die eine vereinfachte halbbildliche Halbblockdiagramm-Darstellung der Handschrifterkennungsvorrichtung ist, die in Übereinstimmung mit einem alternativen Aspekt der vorliegenden Erfindung konstruiert und betreibbar ist. Die Vorrichtung der Fig. 1B ist im Wesentlichen ähnlich zu der Vorrichtung der Fig. 1A, mit Ausnahme der nachstehenden Einzelheiten.
In der Vorrichtung der Fig. 1B schreibt der Stift 10 auf einer Schreiboberfläche 75, die ein Blatt Papier, einen Computeranzeigebildschirm oder irgendeine andere geeignete Schreiboberfläche sein kann.
Für den Fall, dass die Schreiboberfläche 75 aus einem Computeranzeige-Bildschirm besteht, kann der Stift optional verwendet werden, um ohne Tinte zu schreiben, sodass der Stift 11 strikt als eine Dateneingabeeinrichtung für den zugehörigen Computer dient. Es sei darauf hingewiesen, dass der Stift 10 in diesem Fall besonders dafür geeignet ist, um allgemein als eine Dateneingabe- und Zeigeeinrichtung zu arbeiten, genauso wie für eine Funktion wie nachstehend beschrieben für eine Handschriftanalyse.
Der Stift 10 der Fig. 1B ist ähnlich zu dem Stift 10 der Fig. 1A und umfasst zusätzlich einen Ultraschallsender 80, wie ein Modell MA 40S3S, der kommerziell von Marata Electronics GmbH, Halbeinstraße 21-23, D-8500 Nürnberg, Deutschland, erhältlich ist. Der Ultraschallsender 80 kann auf dem Stift an einer geeigneten Stelle, wie in der Nähe der Spitze, angebracht sein. Alternativ kann der Ultraschallsender 80 an dem Stift nachgerüstet werden. Weiter alternativ kann der Ultraschallsender 80 eine Vielzahl von Sendern umfassen.
Eine Vielzahl von Ultraschallsendern 85, beispielsweise ein Modell MA40S3R, das von Murata Electronics GmbH, Halbeinstraße 21-23, D-8500 Nürnberg-Deutschland, erhältlich ist, sind an vorgegebenen Positionen in der Nähe der Schreiboberfläche 75 angeordnet. Für den Fall, dass die Schreiboberfläche 75 ein typisches Blatt Papier oder einen typischen Computeranzeige-Bildschirm umfasst, werden zwei Ultraschallempfänger 85 typischerweise ausreichen, um die Position des Stifts 10 zu bestimmen. Für den Fall, dass die Schreiboberfläche 75 im Vergleich mit einem typischen Blatt Papier oder einem typischen Computeranzeige-Bildschirm groß ist, werden mehr als zwei Empfänger bevorzugt.
Für den Fall, dass zwei Empfänger 85 verwendet werden, ist die Linie, die von den Mitten der zwei Empfänger bestimmt wird, vorzugsweise im Wesentlichen parallel zu der Ebene, in der die Schreiboberfläche 75 größtenteils liegt. Für den Fall, dass mehr als zwei Empfänger 85 verwendet werden, ist die Linie, die von den Mitten der Empfänger bestimmt wird, vorzugsweise im Wesentlichen in einer Ebene parallel zu der Ebene, in der die Schreiboberfläche 75 zum größten Teil liegt, angeordnet.
Die Empfänger 85 sind vorzugsweise relativ zu der Schreiboberfläche 75 in derartiger Weise angeordnet, dass die Genauigkeit der Messung der Position des Stifts maximiert wird. Für den Fall der MA40S3R-Empfänger, auf die voranstehend hingewiesen wurde, ist der bevorzugte minimale Abstand zwischen jedem Empfänger 85 und dem nächsten Abschnitt der Schreiboberfläche 75 20 cm, und der bevorzugte maximale Abstand zwischen jedem Empfänger 85 und dem weitesten Abschnitt der Schreiboberfläche 75 ist 1 m.
Die Empfänger 85 weisen typischerweise eine bevorzugte Empfangsrichtung auf; die Empfänger 85 sollten vorzugsweise in die allgemeine Richtung des Gebiets gerichtet sein, in dem der Stift 10 verwendet werden wird. Ferner weist der Sender 80 typischerweise eine bevorzugte Senderichtung auf; der Stift 10 sollte vorzugsweise so verwendet werden, dass die bevorzugte Senderichtung des Senders 80 in Richtung auf die Empfänger 85 hin sein wird.
Die Steuerschaltung 90 triggert periodisch den Ultraschallsender 80, akkumuliert Daten von den Ultraschallempfängern 85 und berechnet die Position des Stifts 10 auf Grundlage der akkumulierten Daten. Die Steuerschaltung 90 umfasst einen Digitalsignalprozessor, der hier als ein "DSP" bekannt ist, beispielsweise ein Modell ADSP 2101, welches kommerziell von Analog Devices, One Technology Way, P.O.B. 9106, Norwood, MA 02062-9106, USA, erhältlich ist.
Die Steuerschaltung 90 umfasst ebenfalls eine Vielzahl von digitalen Zählern, die betriebsmäßig einer Vielzahl der Ultraschallempfänger 85 zugeordnet sind. Ein geeigneter Zähler ist ein Modell 74HCT4040, welches kommerziell von RCA GmbH, Ridierstraße 35A, 8000 München 2, Deutschland, erhältlich ist. Die Steuerschaltung 90 umfasst ferner geeignete Speichereinheiten für eine Datenspeicherung und eine Programmspeicherung.
Die Steuerschaltung 90 verstärkt und digitalisiert auch die Beschleunigungsdaten. Die Steuerschaltung 90 verstärkt die Beschleunigungssignale von dem Stift 10 und wandelt sie in eine digitale Form um, vorzugsweise unter Verwendung eines Analog/Digital-Wandlers. Fig. 2B ist eine schematische Zeichnung einer bevorzugten Ausführungform eines Analog/Digital-Wandlers, der zur Verwendung bei dieser Anwendung geeignet ist.
Die Funktionalität der Vorrichtung der Fig. 1B wird nun beschrieben. Der Benutzer verwendet einen Stift 10 zum Schreiben von Symbolen auf eine Schreiboberfläche 75. Der Stift 10 sendet Beschleunigungsdaten, die während des Schreibvorgangs die Beschleunigungsvorgänge des Stifts 10 beschreiben, an die Steuerschaltung 90.
Die Steuerschaltung 90 sendet Signale an den Stift 10, wobei der Ultraschallsender 80 getriggert wird, um eine Sequenz von Impulsen zu emittieren. Typischerweise sendet die Steuerschaltung 90 einen Burst von Impulsen, wobei jeder Burst von dem nächsten Burst durch eine spezifizierte Zeitperiode getrennt ist. Vorzugsweise werden vier eng beabstandete Impulse in jedem Burst gesendet, und die Bursts sind durch 25 Mikrosekunden getrennt. Es wird nun zusätzlich auf die Fig. 2C Bezug genommen, die eine schematische Zeichnung eines bevorzugten Aufbaus des Abschnitts der Steuerschaltung 90 ist, die Signale an den Stift 10 sendet.
Die Steuerschaltung 90 startet die Zähler, die darin enthalten sind, bei dem Beginn jedes Bursts neu. Jeder Ultraschallempfänger 85 empfängt die Ultraschallwellen, die von dem Ultraschallsender 80 als Teil des Burst emittiert werden, und sendet ein Signal an die Steuerschaltung 90. Auf einen Empfang eines Signals von den Ultraschallempfängern 85 hin stoppt die Steuerschaltung 90 den zugehörigen Zähler. Nun wird zusätzlich auf die Fig. 2D bis 2H Bezug genommen, die schematische Zeichnungen eine bevorzugten Aufbaus des Abschnitts einer Steuerschaltung 90, umfassend die Zähler, den DSP und zugehörige elektronische Schaltungen, sind.
Die Steuerschaltung 90, parallel zu den anderen Betriebsvorgängen, die von der Steuerschaltung 90 ausgeführt werden, berechnet die Koordinaten der Spitze des Stifts 10 auf Grundlage der Werte in den Zählern innerhalb der Steuerschaltung. Die Steuerschaltung 90 filtert die Signale des Zählers durch Entfernen von großen Sprüngen in dem Zählerwert zwischen jedem Burst und dem nächsten; typischerweise werden Sprünge, die 25 bis 30 Einheiten des Zählers übersteigen, als groß angesehen.
Wenn ein großer Sprung, der einen einzelnen Datenpunkt umfasst, von der Steuerschaltung 90 erfasst wird, wird der Wert des Punkts als der Durchschnitt der vorangehenden und der nächsten Werte neu berechnet. Wenn ein großer Sprung zwei Datenpunkte umfasst, berechnet die Steuerschaltung 90 die Werte unter Verwendung einer linearen Interpolation neu. Wenn ein großer Sprung mehr als zwei Datenpunkte umfasst, berechnet die Steuerschaltung 90 die Werte der Punkte nach dem Sprung durch Subtrahieren der Höhe des Sprungs, gemessen über die vorangehenden Datenpunkte, neu.
Die Steuerschaltung 90 entfernt ein Quantisierungsrauschen der Zähler. Wenn ein Sprung einer Einheit auf dem Zähler, der einen einzelnen Datenpunkt umfasst, erfasst wird, berechnet die Steuerschaltung 90 den Wert von diesem Datenpunkt unter Verwendung einer Interpolation nullter Ordnung, was dem Datenpunkt einen Wert gibt, der gleich zu demjenigen der vorangehenden und nachfolgenden Datenpunkte ist.
Die Steuerschaltung 90 berechnet dann die Spitze des Stifts 10 unter Verwendung einer Triangulation wie folgt. Der Zählerwert stellt die Zeit zwischen der Aussendung eines Impulses von dem Ultraschallsender 80 und dem Empfang des Impulses von einem der Ultraschallempfänger 85, die zu dem Zähler gehören, dar. Weil die Schallgeschwindigkeit in Luft als isotrop genommen wird, stellt der Zählerwert auch den Abstand zwischen dem Ultraschallsender 80 und dem einen der Ultraschallempfänger 85 dar, der zu dem Zähler gehört. Die Position des Stifts 10 wird dann durch Anwenden des Satzes von Pythagoras berechnet.
Die Steuerschaltung 90 filtert dann die Signale unter Verwendung eines Tiefpassfilters, beispielsweise einem derartigen, das in Digital Filter Design von T. W. Parks und C. S. Burrus, veröffentlicht von John Wiley & Sons, 1987, Kapitel 7, Abschnitt 7.3.3, beschrieben ist, und zwar unter Verwendung des Tiefpassdigitalfilters vierter Ordnung mit einer Grenzfrequenz von 0,03.
Die Positionsdaten, die so von der Steuerschaltung 90 berechnet werden, können die Positionsdaten umfassen, die danach von der Vorrichtung in Fig. 1B verwendet werden. Alternativ können, wie nachstehend beschrieben, Positionsdaten aus einer Kombination von Daten, die von Ultraschallempfängern 85 empfangen werden, und Beschleunigungsdaten berechnet werden.
Die Steuerschaltung 90 verstärkt und digitalisiert die Beschleunigungsdaten. Wenn die Beschleunigungsdaten und die Positionsdaten zeitlich nicht synchronisiert sind, dann synchronisiert die Steuerschaltung 90 die Beschleunigungs- und Positionsdaten durch Anpassen von Stiftstatussignalen mit den Beschleunigungsdaten. Die Stiftstatussignale werden nachstehend mit näheren Einzelheiten unter Bezugnahme auf Fig. 4B beschrieben. Die kombinierten synchronisierten Daten werden von der Steuerschaltung 90 an den Datenprozessor 50 gesendet.
Alternativ kann die Steuerschaltung 90 auch einen Prozessor und einen Speicher, der zum Speichern der kombinierten synchronisierten Daten geeignet ist, umfassen. In diesem Fall kann der Stift 10 und die Steuerschaltung 90 verwendet werden, um die kombinierten synchronisierten Daten zu erzeugen und zu speichern. Dann werden zu einer späteren Zeit die Daten von der Steuerschaltung 90 an den Datenprozessor 50 gesendet, damit eine Handschrifterkennung auftritt.
Für den voranstehend beschriebenen Fall, bei dem Daten von den Ultraschallempfängern 85 mit Beschleunigungsdaten kombiniert werden, um Positionsdaten zu ermitteln, werden die verbesserten Positionsdaten durch den Datenprozessor 50 berechnet. Alternativ können die neuen Positionsdaten von dem DSP berechnet werden, der voranstehend unter Bezugnahme auf die Steuerschaltung 90 beschrieben wurde.
Der Datenprozessor 50 filtert die Positionsdaten von der Steuerschaltung 50, um andere Komponenten als Rauschen zu entfernen. Beispielsweise können die Beschleunigungsdaten von einem Butterworth-Digitalfilter gefiltert werden, das in Digital Filter Design von T. W. Parks und C. S. Burrus, veröffentlicht von John Wiley & Sons, 1987, Kapitel 7, Abschnitt 7.3.3, beschrieben wird, und zwar unter Verwendung des Tiefpassdigitalfilters vierter Ordnung mit einer Grenzfrequenz von 0,7 bis 0,9.
Die Rauschkomponente wird erzeugt, wenn der Stift 10, der gerade von dem Benutzer bewegt wird, über Unregelmäßigkeiten beim Schreiben auf der Oberfläche 75, einschließlich mikroskopischer Unregelmäßigkeiten, bewegt wird. Für den Fall der meisten Schreiboberflächen 75, beispielsweise für ein Blatt Papier, treten die mikroskopischen Oberflächenunregelmäßigkeiten bei regulären Intervallen über der Oberfläche 75 auf. Die Anzahl von Spitzen in einer Rauschkomponente wird verwendet, um die Anzahl von Oberflächenunregelmäßigkeiten, die durchquert wurden, und somit den durchquerten Abstand darzustellen.
Der Datenprozessor 50 identifiziert und zählt die Spitzen in dem Rauschen. Die Anzahl von Spitzen pro Einheitsabstand kann vorher für den bestimmten Typ von Schreiboberfläche 75 bestimmt werden, kann durch einen Lernprozess bestimmt werden oder kann durch andere Vorgehensweisen bestimmt werden.
Die Positionen, die von der Steuerschaltung 90 aus den Ultraschalldaten bestimmt werden, werden verwendet, um die Bewegungsrichtung zu spezifizieren, und die Anzahl von Spitzen in der Rauschkomponente, wie voranstehend beschrieben, werden verwendet, um den durchquerten Abstand zu spezifizieren. Der Datenprozessor 50 berechnet aus der Bewegungsrichtung und dem durchquerten Abstand aktualisierte und genauere Positionsdaten. Vorzugsweise ist die Abtastrate der Beschleunigungsdaten, die zum Berechnen des Rauschens verwendet wird, größer als die Datenübertragungsrate von Ultraschalldaten von der Steuerschaltung 90.
Bevor eine Handschrifterkennung auftreten kann, muss der Datenprozessor 50 eine Datenbank erzeugen, die Daten für jedes Symbol umfasst, das erkannt werden muss, spezifisch für jede Person, die die Vorrichtung verwendet. Die Datenbank wird hier als die Pro-Person-/Pro-Symbol-Datenbank bezeichnet.
Während des Lehrvorgangs steuert der Datenprozessor 50 die Erzeugung der Pro-Person-/Pro- Symbol-Datenbank von Handschriftcharakteristiken. Die Pro-Person/Pro-Symbol-Datenbank umfasst Daten für jede Person, deren Handschrift dem System bekannt ist, wobei ein oder mehrere Prototypen für jedes Symbol beschrieben werden. Jeder Prototyp umfasst Parameter, die das Symbol, so wie es von der Person geschrieben wird, beschreiben; die Parameter werden nachstehend mit näheren Einzelheiten unter Bezugnahme auf den Schritt 240 beschrieben.
Während des Lehrvorgangs schreibt der Benutzer Symbole von einem vorher angeordneten Skript, das dem Datenprozessor 50 bekannt ist, und die zugehörigen Symbole erscheinen auf einer Symbolanzeige 60 während des Schreibvorgangs. Vorzugsweise enthält das vorher angeordnete Skript mehrere Wiederholungen von jedem Symbol. Vorzugsweise sollten diese Symbole, auf Grundlage der Erfahrungen des Erfinders, an unterschiedlichen Teilen eines Worts auftreten, wie am Beginn, in der Mitte und am Ende, überall in dem vorher angeordneten Skript. Die Funktionalität des Datenprozessors 50 während des Lehrprozesses wird mit näheren Einzelheiten nachstehend unter Bezugnahme auf Fig. 4A beschrieben.
Während der Erkennung steuert der Datenprozessor 50 den Erkennungsprozess, der das Wählen des richtigen Symbolcodes entsprechend zu dem Symbol, das von dem Benutzer geschrieben wurde, umfasst; vorzugsweise umfasst der Erkennungsprozess auch das Wählen des richtigen Worts, das von dem Benutzer geschrieben wurde. Die Funktionalität des Datenprozessors 50 während des Erkennungsprozesses wird nachstehend mit näheren Einzelheiten unter Bezugnahme auf Fig. 4B beschrieben.
Nun wird zusätzlich auf die Fig. 3 Bezug genommen, die ein vereinfachtes Blockdiagramm der Handschrifterkennungsvorrichtung der Fig. 1A und 1B ist. Die Handschrifterkennungsvorrichtung der Fig. 3 empfängt einen Eingang von dem Stift 10 und entweder von dem Grafiktablett 12 oder der Steuerschaltung 90. Die Daten von entweder dem Grafiktablett oder der Steuerschaltung 90, die die Positionen des Stifts 10 darstellen, werden hier als "Positionsdaten" bezeichnet.
Wenn der Stift 10 von dem Benutzer der Handschrifterkennungsvorrichtung bewegt wird, sendet er Daten, die die Beschleunigungen des Stifts 10 über die Zeit beschreiben, an die Lehrsteuerung 130 und/oder die Handschriftserkennungssteuerung 150. Der Stift 10 stellt auch, im Zusammenhang mit dem Grafiktablett 12, Daten bereit, die die Positionen beschreiben, die von der Spitze des Stifts 10 über der Zeit überstrichen werden, wenn der Stift 10 von dem Benutzer über die Oberfläche des Grafiktabletts 12 bewegt wird. Alternativ, für den Fall der Vorrichtung der Fig. 1B, werden Positionsdaten von der Steuerschaltung 90, wie voranstehend beschrieben, bereitgestellt.
Die Daten von dem Stift 10 und die Positionsdaten können an eine Lehrsteuerung 130 gesendet werden. Die Übersendung an die Lehrsteuerung 130 tritt für jede Person auf, die das System für eine Handschrifterkennung verwenden soll, bevor die Person das System für eine Handschrifterkennung zum ersten Mal verwendet. Eine Übersendung an die Lehrsteuerung 130 tritt auch auf, wenn Erkennungsfehler erfasst werden; eine Verwendung der Lehrsteuerung 130, wenn Erkennungsfehler erfasst werden, wird hier als adaptiver Lehrvorgang bezeichnet.
Die Lehrsteuerung 130 arbeitet mit den empfangenen Daten, wobei diese Daten Handbewegungen von dem Benutzer darstellen, wenn er ein Symbol schreibt, zusammen mit einer manuell bereitgestellten Identifikation der Symbolcodes, die zu den Daten gehören. Die Lehrsteuerung 130 aktualisiert dann die Datenbank 140, die Pro-Person-/Pro-Symbol-Datenbank. Die Datenbank 140 umfasst Prototypen von Beschleunigungen und eine Symbolform für jedes Symbol, umfassend Daten, die für jede Person für jedes Symbol spezifisch sind.
Alternativ können die Daten von dem Stift 10 und die Positionsdaten an die Handschrifterkennungssteuerung 150 gesendet werden. Die Handschrifterkennungssteuerung 150 arbeitet mit den Daten, die von dem Stift 10 empfangen werden, und den Positionsdaten, um das Symbol zu erkennen, das durch die Bewegung des Stifts 10 auf dem Grafiktablett 12 oder der Schreiboberfläche 75 dargestellt wird. Der Ausgang der Handschrifterkennungssteuerung 150 umfasst eine Liste von Symbolcodes und deren jeweilige Wahrscheinlichkeiten.
Eine Handschrifterkennungs-Nachverarbeitungsschaltung 160 wählt den richtigen Symbolcode auf Grundlage der Liste von Symbolcodes und Wahrscheinlichkeiten, und eine Nachverarbeitungsinformation, die vorzugsweise eine Datenbank von vorangehenden Verwechslungen und ein Wörterbuch umfasst. Der Ausgang der Handschrifterkennungs-Nachverarbeitungsschaltung 160 ist ein Symbolcode oder ein Wort.
Nun wird zusätzlich auf die Fig. 4A und 4B Bezug genommen, die vereinfachte Flussdiagramme sind, die einen Betrieb der Handschrifterkennungsvorrichtung der Fig. 1A und 1B zeigen. Fig. 4A zeigt den Lehrprozess und Fig. 4B zeigt den Erkennungsprozess.
Das bevorzugte Verfahren zum Betrieb des Verfahrens der Fig. 4A umfasst die folgenden Schritte:
SCHRITT 210: Lesen von Positionsdaten und Beschleunigungsmessdaten parallel. Vorzugsweise werden die Beschleunigungsmessdaten öfter abgetastet als die Positionsdaten; z. B. können acht Datenpunkte aus dem Beschleunigungsmessgerät für jeden Datenpunkt in den Positionsdaten gesammelt werden.
Die kombinierten Daten umfassen vorzugsweise die X-, Y-Koordinaten der Position an der Spitze des Stifts 10 in dem Gitter des Tabletts und den Tablettkontaktstatus des Stifts 10, d. h. ob er mit der Tablettoberfläche in Kontakt ist oder nicht. Der Status kann betriebsmäßig als "Stift-oben", "Stift-unten" oder "Stift aus der Nähe des Tabletts heraus" angezeigt werden, für den Fall des Wacom Tablet Processor, der voranstehend spezifiziert wurde. Die kombinierten Daten umfassen vorzugsweise auch den Durchschnittswert der Beschleunigungsmessdatenpunkte entsprechend zu einem einzelnen Grafiktablett- Datenpunkt. Der Status des Stifts 10 kann aus Signalen abgeleitet werden, die von dem Grafiktablett 12, von einem betriebsmäßig der Spitze des Stifts 10 zugeordnetem Schalter, wie nachstehend unter Bezugnahme auf den Schritt 212 beschrieben, oder von irgendeiner anderen Einrichtung gesendet werden.
SCHRITT 212: Identifizieren des Abschlusses eines Stift-Oberflächenkontakts. Die Daten von dem Schritt 210 können den Oberflächenkontaktstatus des Stifts 10 nicht enthalten. In diesem Fall kann der Oberflächenkontaktstatus des Stifts 10 aus den Beschleunigungsdaten abgeleitet werden. Die Beschleunigungsdaten werden gefiltert, um andere Komponenten als Rauschen zu entfernen. Zum Beispiel werden die Beschleunigungsdaten von einem Butterworth-Digitalfilter gefiltert, das in Ditigal Filter Design von T. W. Parks und C. S. Burrus, veröffentlicht von John Wiley & Sons, 1987, Kapitel 7, Abschnitt 7.3.3 beschrieben ist, und zwar unter Verwendung des Tiefpassdigitalfilters vierter Ordnung mit einer Grenzfrequenz von 0,7 bis 0,9.
Die gefilterten Beschleunigungsdaten werden dann über der Zeit integriert. Die Steigung der integrierten gefilterten Beschleunigungsdaten wird dann analysiert, um den Punkt zu bestimmen, an dem die Steigung einen Schwellwert übersteigt. Der Punkt, an dem die Steigung den Schwellwert übersteigt, wird als der erste Punkt mit einem Status "Stift-unten" angesehen. Der Punkt, an dem die Steigung unter einen Schwellwert fällt, wird als der erste Punkt mit einem Status "Stift-oben" angesehen; der Schwellwert kann der gleiche wie der vorher beschriebene Schwellwert sein oder nicht. Für den Fall einer Bestimmung des Stiftstatus auf Grundlage von Beschleunigungsmessdaten gibt es keinen Status "Stift aus der Nähe heraus".
Die Schwellwerte, die voranstehend beschrieben wurden, können vorher für den bestimmten Typ von Stift und Schreiboberfläche bestimmt werden, können durch einen Lernprozess für die bestimmte Person bestimmt werden oder können durch irgendeine andere Einrichtung bestimmt werden.
SCHRITT 215: Identifizieren von einzelnen Symbolen und Wörtern. Die Daten aus dem vorangehenden Schritt werden in Daten aufgeteilt, die einzelne Symbole darstellen. Der Status, der die Statusse von "Stift-oben" oder "Stift aus der Nähe heraus" umfasst, wird hier als "Stift nicht unten" bezeichnet. Vorzugsweise wird die Anzahl von aufeinanderfolgenden Datenpunkten mit einem Status von "Stift nicht unten", wobei diese Datenpunkte eine bestimmte Dauer des Status "Stift nicht unten" darstellen, verwendet, um das Ende eines Symbols oder eines Worts anzuzeigen.
Typischerweise wird die Dauer eines Status "Stift nicht unten" innerhalb eines Bereichs von 200 Millisekunden bis 400 Millisekunden verwendet, um das Ende eines Symbols anzuzeigen. Die Dauer des Status "Stift nicht unten" in dem Bereich von 800 Millisekunden bis 1200 Millisekunden wird typischerweise verwendet, um das Ende eines Worts anzuzeigen.
Alternativ kann das Ende eines Symbols oder eines Worts mit Datenpunkten angezeigt werden, die Stiftbewegungen darstellen, die nicht Teil eines Symbols sind, oder durch irgendwelche anderen Vorkehrungen. Ausgangsdaten von dem Schritt 215 umfassen Symbolend- und Wortend-Daten.
SCHRITT 220: Normalisieren von kombinierten Daten. Die kombinierten Positionsdaten und die Beschleunigungsmessdaten werden zeitlich oder durch irgendeine andere Vorgehensweise normalisiert.
SCHRITT 230: Filtern der kombinierten Daten. Die normalisierten kombinierten Daten, die von dem vorangehenden Schritt empfangen werden, werden gefiltert, um Rauschen zu entfernen. Die Filterung kann durch eine iterative Glättung von benachbarten Punkten erreicht werden, bis die Gesamtänderung in dem Signal als Folge des Glättungsbetriebs kleiner als die gewünschte Genauigkeit der Daten ist, oder durch irgendwelche anderen geeigneten Vorkehrungen.
SCHRITT 240: Parametrisieren von kombinierten Daten. Die Daten werden in Übereinstimmung mit Kriterien, die gewählt werden, um jedes Symbol darzustellen, parametrisiert. Nun wird zusätzlich auf die Fig. 5A bis 5D Bezug genommen, die grafisch einige der Parameter darstellen.
Wenn der Stift ein einzelnes Beschleunigungsmessgerät umfasst, können die Parameter vorzugsweise folgende umfassen:
die Anzahl von Punkten vor der Normalisierung;
das normalisierte Signal des Stiftstatus;
das normalisierte Signal von Beschleunigungen;
Sinus des Winkels α, wobei dieser Winkel als der Winkel zwischen dem Vektor, der zu dem gegenwärtigen Datenpunkt (Xi, Yi, AccZi) gehört, und der XY-Ebene definiert wird, wie in Fig. 5A gezeigt;
Kosinus des Winkels α;
Sinus des Winkels β, wobei dieser Winkel als der Winkel zwischen dem Vektor, der den Punkt vor dem vorangehenden Punkt (Xi-2, Yi-2, AccZi-2) und den gegenwärtigen Punkt (Xi, Yi, AccZi) verbindet, und dem Vektor, der den gegenwärtigen Punkt mit dem Punkt nach dem nachfolgenden Punkt (Xi+2, Yi+2, AccZi+2) verbindet, in dem Raum (Xi, Yi, AccZi) definiert ist, wie in Fig. 5B gezeigt;
und Kosinus des Winkels β.
Alternativ kann der Stift z. B. drei Beschleunigungsmessgeräte umfassen, die nicht notwendigerweise zueinander orthogonal sind. Wenn die Beschleunigungsmessgeräte nicht zueinander orthogonal sind, können die Beschleunigungsdaten in äquivalente Daten in einem zueinander orthogonalen Koordinatensystem wie folgt umgewandelt werden:
Die nicht-orthogonalen Signale werden mit dem Vektor u = (u&sub1;, u&sub2;, u&sub3;)T bezeichnet und die orthogonalen Signale werden mit dem Vektor u' = (u'&sub1;, u'&sub2;, u'&sub3;)T bezeichnet, wobei T die Transponierung bezeichnet. Dann ist u' = A&sub0;A&supmin;¹u, wobei A ein Vektor der statischen Empfindlichkeitsvektoren A = (A&sub1;, A&sub2;, A&sub3;) der drei Beschleunigungsmessgeräte ist. Der statische Empfindlichkeitsvektor wird aus den Ausgängen der Beschleunigungsmessgeräte während einer definierten Orientierung ohne eine Bewegung berechnet. A&sub0; ist eine diagonalisierte Matrix der Empfindlichkeit des orthogonalen Koordinatensystems, umfassend die Normen von A&sub1;, A&sub2; und A&sub3;.
Wenn der Stift z. B. drei Beschleunigungsmessgeräte umfasst, können die Parameter vorzugsweise diejenigen umfassen, die voranstehend erwähnt wurden, plus die folgenden Parameter:
Sinus des Winkels α', wobei dieser Winkel als der Winkel zwischen dem Vektor, der zu dem gegenwärtigen Datenpunkt (AccXi, AccYi, AccZi) gehört, und der AccX- und AccY-Ebene definiert ist, wie in Fig. 5C gezeigt.
Kosinus des Winkels α';
Sinus des Winkels β', wobei dieser Winkel als der Winkel zwischen dem Vektor, der den Punkt vor dem vorangehenden Datenpunkt (AccXi-2, AccYi-2, AccZi-2) und den gegenwärtigen Punkt (AccXi, AccYi, AccZi) verbindet, und dem Vektor, der den gegenwärtigen Punkt mit dem Punkt nach dem nachfolgenden Punkt (AccXi+2, AccYi+2, AccZi+2) verbindet, in dem Raum (AccX, AccY, AccZ) definiert ist, wie in Fig. 5D gezeigt;
und Kosinus des Winkels β'.
SCHRITT 250: Verallgemeinern von Parametern. Die Parameter des Symbols, welches gerade gelernt wird, stellen ein spezifisches Exemplar des Symbols dar. Der Symbolprototyp, der von dem System gespeichert ist, soll die allgemeinen Charakteristiken des Symbols darstellen, so wie es von dieser Person gezeichnet wird. Deshalb werden die Parameter des Symbols, welches gerade gelernt wird, durch irgendeine geeignete Vorgehensweise verallgemeinert, beispielsweise durch eine Berechnung des Durchschnitts des Werts jedes Parameters von vorangehenden Exemplaren des Symbols zusammen mit dem Wert jedes Parameters aus dem gegenwärtigen Exemplar des Symbols.
SCHRITT 260: Aktualisieren der Pro-Person-/Pro-Symbol-Prototypdatenbank. Die neu berechneten Parameter aus dem vorangehenden Schritt werden in der Pro-Person-/Pro-Symbol- Prototypdatenbank gespeichert.
Das bevorzugte Verfahren der Fig. 4B umfasst die Schritte, die als Teil der Beschreibung der Fig. 4A beschrieben worden sind. Eine Beschreibung von diesen Schritten, die identisch zu den Schritten in Fig. 4A sind, sind zur Verkürzung weggelassen worden. Der Rest der Schritte in Fig. 4B umfasst die folgenden.
SCHRITT 300: Für jeden Prototyp in der Pro-Person-/Pro-Symbol-Prototypdatenbank, Bilden eines Index eines Vergleichs zwischen der Probe und dem Prototyp, kombiniert über Parameter in dem Prototyp. Gemäß einer bevorzugten Ausführungsform der vorliegenden Erfindung werden sämtliche Parameter zusammen mit dem Vergleichsindex kombiniert.
Gemäß einer anderen Einrichtung werden Parameter, die von den Grafiktablettdaten kommen, kombiniert und miteinander verglichen und Parameter aus den Beschleunigungsmessdaten werden getrennt kombiniert und verglichen, wodurch zwei Vergleichsmaße zwischen der Probe und dem Prototyp erzeugt werden. Der Anhang B ist eine Computerauflistung inder C-Programmiersprache, umfassend Routinen, die eine bevorzugte Implementierung des Schritts 300 sind. Die Routinen umfassen die folgenden, die im Abschnitt IV gefunden werden, "Erkennungsprozeduren": def_k_class; def_k_letter; def_k_word; def_k_row; mut_metric; metric_dir_y; metric_dir_x; zusammen mit verschiedenen Definitionen, die von den Routinen verwendet werden.
SCHRITT 310: Erzeugen einer Liste oder von Listen von wahrscheinlichen Symbolen, die nach der Wahrscheinlichkeit sortiert sind. Auf Grundlage des Index oder der Indizes eines Vergleichs, die im Schritt 300 erzeugt werden, wird eine einzelne Liste von wahrscheinlichen Symbolen, die nach der Wahrscheinlichkeit sortiert sind, erzeugt.
Gemäß einer bevorzugten Ausführungsform der vorliegenden Erfindung werden zwei getrennte Listen von wahrscheinlichen Symbolen, sortiert nach der Wahrscheinlichkeit, erzeugt. Wenn zwei getrennte Listen erzeugt werden, umfasst eine wahrscheinliche Symbole auf Grundlage von Grafiktablettdaten, und die andere umfasst wahrscheinlich Symbole auf Grundlage der Beschleunigungsmessdaten.
SCHRITT 320: Wählen der richtigen Symbole und des richtigen Worts auf Grundlage der Liste oder der Listen, der Datenbank von vorangehenden Verwechslungen und einem Wörterbuch. Wenn eine Liste vorher erzeugt war, sind die Symbole mit der größten Wahrscheinlichkeit die Kandidaten, aus denen das richtige Symbol gewählt wird.
Wenn mehr als eine Liste erzeugt wurde, werden die Listen kombiniert und Symbole mit der höchsten Wahrscheinlichkeit auf der kombinierten Liste sind die Kandidaten, aus denen das richtige Symbol gewählt wird. Vorzugsweise können die Listen durch eine Abstimmprozedur kombiniert werden, die zunächst die Schnittmenge der zwei Listen bildet.
Wenn die Schnittmenge der zwei Listen leer ist, sodass kein Symbol in beiden Listen auftritt, dann ist der Ausgang die Liste, die aus den Positionsdaten erzeugt wurde. Wenn die Schnittmenge nicht leer ist, sodass wenigstens ein Symbol in beiden Listen auftritt, dann umfasst die Ausgangsliste sämtliche Symbole, die in der Schnittmenge der zwei Eingangslisten enthalten sind, sortiert in Übereinstimmung mit dem Mittelwert der Wahrscheinlichkeiten, die in den zwei Listen enthalten sind.
Die Datenbank von vorangehenden Verwechslungen stellt eine Information bereit, die die Korrektur der Auswahl des richtigen Symbols auf Grundlage von vorangehenden unrichtigen Identifikationen ermöglicht. Die Datenbank von vorangehenden Verwechslungen umfasst für jedes Symbol eine Liste von anderen Symbolen, die mit dem ersten Symbol verwechselt worden sind; z. B. dass das Symbol "f" oft mit dem Symbol "b" verwechselt worden ist. Wenn ein derartiger Eintrag gefunden wird, der vorangehende Verwechslungen für ein Symbol in der Liste umfasst, werden das Symbol oder die Symbole, die vorher mit dem Symbol in der Liste verwechselt worden sind, zu der Liste hinzugefügt. In Übereinstimmung mit dem vorangehenden Beispiel, wenn das Symbol "f" in der Liste gefunden wird, dann wird das Symbol "b" zu der Liste hinzugfügt.
Eine Anzeige des Endes jedes Worts ist als Ausgang seit dem Schritt 215, der voranstehend beschrieben wurde, abgegeben worden. Auf Grundlage der Identifikation wird das höchstwahrscheinliche Wort, das die höchstwahrscheinlichen Identifikationen für jedes Symbol in der Liste umfasst, identifiziert.
Das Wort mit der höchsten Wahrscheinlichkeit wird anhand des Wörterbuchs überprüft. Vorzugsweise umfasst das Wörterbuch sowohl ein allgemeines Wörterbuch, das für sämtliche Benutzer des Systems verwendet wird, als auch ein persönliches Wörterbuch für jeden Benutzer des Systems. Wenn ein Eintrag in dem Wörterbuch für das höchstwahrscheinliche Wort existiert, dann wird das Wort als die richtige Identifikation gewählt.
Wenn das Wort mit der höchsten Wahrscheinlichkeit nicht in dem Wörterbuch gefunden wird, werden sämtliche möglichen Wortkombinationen in der Liste gebildet, und jedes wird anhand des Wörterbuchs überprüft. Unter allen derartigen Worten, die in dem Wörterbuch gefunden werden, wird dann das Wort mit der höchsten Wahrscheinlichkeit als die richtige Identifikation gewählt.
Wenn keines der Wörter in dem Wörterbuch gefunden wird, dann wird das höchstwahrscheinliche Wort als die richtige Identifikation gewählt.
SCHRITT 330: Überprüfung, um nachzusehen, ob eine Korrektur eingegeben worden ist. Während des Erkennungsprozesses wird der Benutzer des Systems vorzugsweise mit einer visuellen Anzeige jedes erkannten Symbols versehen.
Nachdem das Ende eines Worts erfasst ist, wird der Benutzer des Systems vorzugsweise mit einer visuellen Anzeige des erkannten Worts versehen. Der Benutzer kann manuell anzeigen, dass ein gegebenes Wort unrichtig erkannt wurde und kann eine Korrektur eingeben.
SCHRITT 340: Aktualisieren der Datenbank von vorangehenden Verwechslungen. Auf Grundlage einer manuellen Korrektur, die im Schritt 330 eingegeben wird, oder einer automatischen Korrektur auf Grundlage des Wörterbuchs, wird die Datenbank von vorangehenden Verwechslungen aktualisiert. Auf Grundlage einer manuellen Korrektur wird auch das persönliche Wörterbuch aktualisiert, wenn das korrigierte Wort nicht in dem Wörterbuch gefunden wird.
Nun wird zusätzlich auf die Fig. 6A Bezug genommen, die eine vereinfachte Darstellung eines bevorzugten mechanischen Aufbaus des Digitalisierungsstifts/Beschleunigungsmessgeräts 10 der Fig. 1A ist. Der Stift 10 kann einen elektromagnetischen Stift umfassen, beispielsweise einen WACOM SP-200, der von WACOM Computer Systems GmbH, Hellersbergstraße 4, W-4040 Neuss 1, Deutschland, erhältlich ist, oder irgendeinen anderen geeigneten Stift, der zur Verwendung mit einem geeigneten Modell von Grafiktablett ausgelegt ist. Der Stift 10 umfasst auch eine elektromagnetische Spule 410, die im Zusammenhang mit dem Grafiktablett 12 arbeitet, um eine Anzeige des Orts der Spitze des Stifts 10 bereitzustellen. Der Stift 10 umfasst ferner einen Farbtank 420, der die Möglichkeit bereitstellt, auf Papier oder einer anderen Oberfläche zu schreiben.
Der Stift 10 umfasst auch drei eingebaute zueinander orthogonale Beschleunigungsmessgeräte 25, beispielsweise ICS 3031-2, die von 1C Sensors erhältlich sind. Alternativ können eine Vielzahl von Beschleunigungsmessgeräten vorhanden sein, die nicht notwendigerweise orthogonal angeordnet sind. Gemäß einer noch weiteren Alternative kann nur ein Beschleunigungsmessgerät vorhanden sein.
Der Stift 10 umfasst auch zugehörige Verstärker 30, die voranstehend unter Bezugnahme auf Fig. 1A beschrieben wurden. Der Stift 10 umfasst ferner ein Kommunikationskabel 450, welches zum Senden von Daten an die Steuerschaltung 40 verwendet wird. Alternativ können die Daten durch irgendeine Art von geeigneter Kommunikationsstrecke gesendet werden, beispielsweise per Utraschall, Infrarot oder durch irgendeine andere geeignete Einrichtung.
Nun wird zusätzlich auf die Fig. 6B Bezug genommen, die eine vereinfachte Darstellung eines bevorzugten mechanischen Aufbaus des Digitalisierungsstifts/Beschleunigungsmessgeräts 10 der Fig. 1B zeigt. Der Stift 10 kann ein Gehäuse umfassen, beispielsweise ein ABS-Plastikgehäuse oder irgendein anderes geeignetes Gehäuse. Der Stift 10 kann ferner einen Farbtank 420 und eine zugehörige Feder umfassen, die die Fähigkeit bereitstellt, auf Papier oder einer anderen Oberfläche zu schreiben.
Der Stift 10 umfasst auch drei eingebaute, zueinander orthogonale Beschleunigungsmessgeräte 25, beispielsweise ICS 3031-2, die von 1C Sensors erhältlich sind. Alternativ kann eine Vielzahl von Beschleunigungsmessgeräten vorgesehen sein, die nicht notwendigerweise orthogonal angeordnet sind. Gemäß einer weiteren Alternative kann nur ein Beschleunigungsmessgerät vorhanden sein.
Der Stift 10 umfasst auch zugehörige Verstärker 30, die voranstehend unter Bezugnahme auf Fig. 1A beschrieben wurden.
Der Stift 10 umfasst auch einen Ultraschallsender 80, wie oben spezifiziert. Der Stift 10 umfasst ferner Kommunikationskabel 450, die zum Senden von Daten an die Steuerschaltung verwendet wird. Alternativ können die Daten durch irgendeine Art von geeigneter Kommunikationsstrecke, beispielsweise über Ultraschall, Infrarot oder irgendeine andere geeignete Einrichtung, gesendet werden.
Nun wird auf Fig. 7 Bezug genommen, die eine vereinfachte bildliche Darstellung einer anderen alternativen bevorzugten Ausführungsform einer Handschrifterkennungsvorrichtung ist, die in Übereinstimmung mit der vorliegenden Erfindung konstruiert und betrieben wird. Der Stift 10 wird verwendet, um in ein Notebook, auf einem Blatt Papier oder auf irgendeiner anderen geeigneten Oberfläche zu schreiben. In der Vorrichtung der Fig. 7 ist der Stift 10 wie voranstehend beschrieben, aber das eine oder die mehreren Beschleunigungsmessgeräte 25 umfassen eine Vielzahl von Beschleunigungsmessgeräten.
Die Vorrichtung der Fig. 7 umfasst einen Scanner 500, beispielsweise einen Logitech ScanMan, Modell 256. Der Benutzer schreibt mit dem Stift 10 auf einer Schreiboberfläche 512. Die obige Beschreibung in Bezug auf Fig. 1 trifft auch auf die Fig. 7 zu, mit Ausnahme der nachstehenden Beschreibung für Fig. 7.
Der Stift 10 sendet Beschleunigungsdaten durch die Steuerschaltung 40 an den Datenprozessor 50. Nachdem der Schreibvorgang abgeschlossen ist, wird die Oberfläche 512 unter Verwendung eines Scanners 500 gescannt. Ein Lehrvorgang und eine Erkennung treten dann auf Grundlage der kombinierten Daten von dem Stift 10 und dem Scanner 500 auf.
Nun wird zusätzlich auf Fig. 8 Bezug genommen, die ein vereinfachtes Blockschaltbild der Handschrifterkennungsvorrichtung der Fig. 7 ist. Die Handschrifterkennungsvorrichtung der Fig. 8 empfängt einen Eingang von dem Stift 10 und dem Scanner 500.
Der Stift 10 sendet, wenn er von dem Benutzer der Handschrifterkennungsvorrichtung bewegt wird, Daten, die die Beschleunigungen des Stifts 10 über der Zeit beschreiben, an die Beschleunigungslehrsteuerung 630 und/oder die Beschleunigungshandschrifterkennungssteuerung 650.
Der Ausdruck OCR, so wie er hier verwendet wird, bedeutet eine optische Zeichenerkennung. Der Scanner 500 sendet, wenn er die Schreiboberfläche 512 scannt, Daten, die das Bild auf der Oberfläche 512 beschreiben, an die OCR-Lehrsteuerung 635 und/oder die OCR-Steuerung 655.
Die Daten von dem Stift 10 und von dem Scanner 500 können an die Beschleunigungslehrsteuerung 630 bzw. die OCR-Lehrsteuerung übertragen werden. Eine Übertragung an die Beschleunigungslehrsteuerung 630 oder die OCR-Lehrsteuerung 635 tritt für jede Person auf, die das System für eine Handschrifterkennung benutzen soll, bevor die Person das System für eine Handschrifterkennung zum ersten Mal benutzt. Eine Übertragung an die Beschleunigungslehrsteuerung 630 oder die OCR-Lehrsteuerung 635 tritt auch auf, wenn Erkennungsfehler erfasst werden; die Verwendung der Beschleunigungslehrsteuerung 630 oder der OCR-Lehrsteuerung 635, wenn Erkennungsfehler erfasst werden, wird hier als adaptiver Lehrvorgang bezeichnet.
Die Beschleunigungslehrsteuerung 630 oder die OCR-Lehrsteuerung 635 arbeiten mit den empfangenen Daten, wobei die Daten Handbewegungen von dem Benutzer darstellen, wenn er ein Symbol schreibt, zusammen mit einer manuell bereitgestellten Identifikation der Symbolcodes, die zu den Daten gehören. Die Beschleunigungslehrsteuerung 630 aktualisiert dann die Datenbank 640, eine Pro-Person-/Pro- Symbol-Beschleunigungsdatenbank; die OCR-Lehrsteuerung 635 aktualisiert die Datenbank 645, eine Pro- Person-/Pro-Symbol-OCR-Datenbank. Die Datenbank 640 und die Datenbank 645 umfassen Prototypen von Beschleunigungen und eine Symbolform für jedes Symbol, die Daten umfasst, die spezifisch für jede Person für jedes Symbol sind.
Alternativ können die Daten von dem Stift 10 und dem Scanner 500 an die Beschleunigungshandschrifterkennungssteuerung 650 bzw. die OCR-Steuerung 655 gesendet werden. Die Beschleunigungshandschrifterkennungssteuerung 650 und die OCR-Steuerung 655 arbeiten mit den Daten, die von dem Stift 10 bzw. dem Scanner 500 empfangen werden, um das Symbol zu erkennen, das durch die Bewegung des Stifts 10 auf dem Scanner 500 dargestellt wird.
Der Ausgang der Beschleunigungshandschrifterkennungssteuerung 650 umfasst eine Liste von Symbolcodes und deren jeweilige Wahrscheinlichkeiten. Eine Beschleunigungshandschrifterkennungs- Nachverarbeitungsschaltung 660 wählt den richtigen Symbolcode auf Grundlage der Liste von Symbolcodes und Wahrscheinlichkeiten und auf Grundlage einer Nachverarbeitungsintonation, die vorzugsweise eine Datenbank von vorherigen Verwechslungen und ein Wörterbuch umfasst. Der Ausgang der Beschleunigungshandschrifterkennungs-Nachverarbeitungsschaltung 660 ist eine List von Symbolcodes und/oder Wörtern, die nach der Wahrscheinlichkeit sortiert sind.
Die Speicherschaltung 670 für erkannte Wörter speichert, für jedes erkannte Wort, die sortierte Liste von wahrscheinlichen Daten, die von der Beschleunigungshandschrifterkennungs- Nachverarbeitungsschaltung 660 ausgegeben werden. Die gespeicherten Listen werden für eine spätere Verarbeitung gehalten.
Der Ausgang der OCR-Steuerung 655 umfasst für jedes Symbol in dem gescannten Bild von dem Scanner 500 eine Liste von wahrscheinliche Symbolcodes, die nach der Wahrscheinlichkeit sortiert sind. Die OCR-Steuerung 655 kann z. B. durch irgendein geeignetes kommerziell verfügbares OCR-System implementiert werden.
Der Wort/Ketten-Anpasser 680 nimmt als Eingang die Listen von Wörtern, die von der Beschleunigungshandschrifterkennungs-Nachverarbeitungsschaltung 660 ausgegeben werden, und die Liste von wahrscheinlichen Symbolcodes, die von der OCR-Steuerung 655 ausgegeben werden, auf. Der Wort/Ketten-Anpasser 680 findet eine Anpassung bzw. Übereinstimmung zwischen seinen zwei Eingangslisten. Der Ausgang des Wort/Ketten-Anpasser 680 umfasst eine Liste von Wörtern und/oder Ketten von Symbolen, und die Position jedes Worts und/oder jeder Kette auf der Schreiboberfläche 512.
Nun wird zusätzlich auf die Fig. 9A und 9B Bezug genommen, die vereinfachte Flussdiagramme sind, die einen Betrieb der Handschrifterkennungsvorrichtung der Fig. 7 in Übereinstimmung mit einer bevorzugten Ausführungsform der Erfindung zeigen. Fig. 9A zeigt den Lehrprozess und Fig. 9B zeigt den Erkennungsprozess.
Das bevorzugte Verfahren der Fig. 9A umfasst die Schritte, die als Teil der Beschreibung der Fig. 4A beschrieben worden sind. Eine Beschreibung von diesen Schritten, die identisch zu den Schritten der Fig. 4A sind, sind zur Abkürzung weggelassen worden. Der Rest der Schritte in Fig. 9A umfasst Folgendes:
SCHRITT 710: Lesen der Beschleunigungsmessdaten. Die Beschleunigungsmessdaten umfassen Datenpunkte, die eine Abtastung der Beschleunigung, gemessen durch Beschleunigungsmessgeräte 25, darstellen. Vorzugsweise ist die Abtastrate ungefähr 1600 Datenpunkte pro Sekunde, gemittelt über 8 Punkte, wobei ein Ausgang von ungefähr 200 Datenpunkten pro Sekunde erzeugt wird.
SCHRITT 712: Identifizieren des Stiftoberflächen-Kontaktabschlusses. Die Daten von dem Schritt 710 umfassen nicht den Oberflächenkontaktstatus des Stifts 10. Der Oberflächenkontaktstatus des Stifts 10 kann aus den Beschleunigungsdaten abgeleitet werden, wie im Schritt 212 oben unter Bezugnahme auf die Tablettkontaktdaten erläutert wurde.
SCHRITT 715: Identifizieren von einzelnen Symbolen und Worten. Die Daten von dem vorangehenden Schritt werden in Daten, die einzelne Symbole darstellen, aufgeteilt. Der Status, der den Status von "Stift-oben" umfasst, wird hier als "Stift nicht unten" bezeichnet. Vorzugsweise wird die Anzahl von aufeinanderfolgenden Datenpunkten mit einem Status von "Stift nicht unten", wobei diese Datenpunkte eine bestimmte Dauer des Status "Stift nicht unten" darstellen, verwendet, um das Ende eines Symbols oder eines Worts anzuzeigen.
Typischerweise wird die Dauer eines Status "Stift nicht unten" innerhalb eines Bereichs von 200 Millisekunden bis 400 Millisekunden verwendet, um das Ende eines Symbols anzuzeigen. Die Dauer des Status "Stift nicht unten" in dem Bereich von 800 Millisekunden bis 1200 Millisekunden wird typischerweise verwendet, um das Ende eines Worts anzuzeigen.
Alternativ kann das Ende eines Symbols oder eines Worts durch Datenpunkte angezeigt werden, die Stiftbewegungen darstellen, die nicht ein Teil eines Symbols sind, oder durch andere Vorgehensweisen. Ausgangsdaten von dem Schritt 715 umfassen Daten eines Symbolendes und eines Wortendes.
SCHRITT 720: Normalisieren der Beschleunigungsmessdaten. Die Beschleunigungsmessdaten werden zeitlich oder durch irgendeine andere Vorgehensweise normalisiert.
SCHRITT 730: Filtern von Beschleunigungsmessdaten. Die normalisierten Beschleunigungsmessdaten, die von dem vorangehenden Schritt empfangen werden, werden gefiltert, um Rauschen zu entfernen. Die Filterung kann durch eine iterative Glättung von benachbarten Punkten erreicht werden, bis die Gesamtänderung in dem Signal als Folge eines Glättungsbetriebs kleiner als die gewünschte Genauigkeit der Daten ist, oder durch irgendeine andere geeignete Vorgehensweise.
SCHRITT 740: Parametrisieren von Beschleunigungsmessdaten. Die Daten werden in Übereinstimmung mit Kriterien, die zum Darstellen jedes Symbols gewählt sind, parametrisiert. Wenn die Beschleunigungsmessgeräte nicht orthogonal zueinander sind, können die Beschleunigungsdaten in äquivalente Daten in einem zueinander orthogonalen Koordinatensystem umgewandelt werden, wie voranstehend unter Bezugnahme auf Schritt 240 beschrieben.
Die Parameter umfassen vorzugsweise Folgendes:
Anzahl von Punkten vor einer Normalisierung;
normalisiertes Signal des Stiftsstatus;
normalisiertes Signal einer Z-Beschleunigung;
Sinus des Winkels α', der unter Bezugnahme auf Schritt 240 definiert wurde;
Kosinus des Winkels α';
Sinus des Winkels β', der unter Bezugnahme auf Schritt 240 definiert wurde;
und Kosinus des Winkels β'.
SCHRITT 760: Aktualisieren der Pro-Person-/Pro-Symbol-Beschleunigungsprototypdatenbank. Die neu berechneten Parameter aus dem vorangehenden Schritt werden in der Pro-Person-/Pro-Symbol- Beschleunigungsprototypdatenbank gespeichert.
SCHRITT 770: Ist das Ende des vordefinierten Textes erreicht worden? Ob das Ende erreicht worden ist, wird dadurch bestimmt, ob das Ende der vordefinierten Textdatei erreicht worden ist oder nicht. Wenn nicht, wird der Prozess mit dem Schritt 710 fortgesetzt. Wenn das Ende erreicht worden ist, wird der Prozess mit dem Schritt 780 fortgesetzt.
SCHRITT 780: Scannen eines geschriebenen Textes. Der Text, der auf der Oberfläche 512 geschrieben ist, wird unter Verwendung eines Scanners 500 gescannt.
SCHRITT 790: OCR-Lehrprozess. Für jedes Symbol in dem Text werden Merkmale des entsprechenden Schreibvorgangs auf der Oberfläche S 12 identifiziert.
SCHRITT 795: Aktualisieren der Pro-Person-/Pro-Symbol-OCR-Prototypdatenbank. Merkmale, die im Schritt 790 identifiziert werden, werden in der Pro-Person-/Pro-Symbol-OCR-Prototypdatenbank aktualisiert.
Das bevorzugte Verfahren der Fig. 9B umfasst Schritte, die als Teil der Beschreibung der Fig. 4A und 9A geschrieben worden sind. Eine Beschreibung von diesen Schritten, die identisch zu Schritten in den Fig. 4A und 9A sind, sind zur Verkürzung weggelassen worden. Der Rest der Schritte in Fig. 9B umfasst Folgendes:
SCHRITT 800: Für jeden Prototyp in der Pro-Person-/Pro-Symbol- Beschleunigungsprototypdatenbank, Aufbauen eines Index eines Vergleichs zwischen der Probe und dem Prototyp, kombiniert über Parameter in dem Prototyp. In Übereinstimmung mit einer bevorzugten Ausführungsform der vorliegenden Erfindung werden sämtliche Parameter zusammen kombiniert, um den Vergleichsindex zu erzeugen.
SCHRITT 810: Erzeugen einer Liste von wahrscheinlichen Symbolen, sortiert nach der Wahrscheinlichkeit. Auf Grundlage des Index oder der Indizes eines Vergleichs, die im Schritt 800 erzeugt werden, wird eine einzelne Liste von wahrscheinlichen Symbolen, sortiert nach der Wahrscheinlichkeit, erzeugt.
SCHRITT 820: Wählen der richtigen Symbole und des richtigen Worts auf Grundlage der Liste, der Datenbank von vorangehenden Verwechslungen und einem Wörterbuch. Die Symbole mit der größten Wahrscheinlichkeit sind die Kandidaten, aus denen das richtige Symbol gewählt wird.
Wie voranstehend unter Bezugnahme auf Fig. 320 beschrieben, stellt die Datenbank von vorangehenden Verwechslungen Information bereit, die die Korrektur der Auswahl des richtigen Symbols auf Grundlage von vorangehenden unrichtigen Identifikationen erlaubt.
Eine Anzeige eines Endes jedes Worts ist als Ausgang seit dem Schritt 715, der voranstehend beschrieben wurde, ausgegeben worden. Auf Grundlage der Anzeige wird das höchstwahrscheinliche Wort, umfassend die höchstwahrscheinlichen Identifikationen jedes Symbols in der Liste, identifiziert.
Das höchstwahrscheinliche Wort wird anhand des Wörterbuchs überprüft. Vorzugsweise umfasst das Wörterbuch sowohl ein allgemeines Wörterbuch, welches für sämtliche Benutzer des Systems verwendet wird, als auch ein persönliches Wörterbuch für jeden Benutzer des Systems. Wenn ein Eintrag in dem Wörterbuch für das höchstwahrscheinliche Wort existiert, wird das Wort als die richtige Identifikation gewählt.
Wenn das höchstwahrscheinliche Wort in dem Wörterbuch nicht gefunden wird, werden sämtliche möglichen Wortkombinationen in der Liste gebildet, und jedes wird anhand des Wörterbuchs überprüft. Unter sämtlichen derartigen Wörtern, die in dem Wörterbuch gefunden werden, wird das Wort mit der höchsten Wahrscheinlichkeit dann als die richtige Identifikation gewählt.
Wenn keinerlei Wörter in dem Wörterbuch gefunden werden, wird das höchstwahrscheinliche Wort als die richtige Identifikation gewählt.
SCHRITT 822: Speichern der Erkennungsinformation. Die sortierte Liste oder die möglichen Wörter, die von dem vorangehenden Schritt ausgegeben werden, werden für eine spätere Verarbeitung gespeichert.
SCHRITT 824: Prüfen nach dem Ende des Textes. Der Benutzer zeigt das Ende des Textes unter Verwendung einer Eingabeeinrichtung 70 an.
SCHRITT 826: Scannen des geschriebenen Textes. Der Scanner 500 wird zum Scannen der Schreiboberfläche 512 verwendet. Das abgetastete Bild wird an den Schritt 828 ausgegeben.
SCHRITT 828: Ausführen einer OCR. Die OCR-Steuerung 655 wird verwendet, um eine optische Zeichenerkennung für das abgetastete Bild von dem vorangehenden Schritt auszuführen. Der Ausgang des Schritts 828 umfasst für jedes Symbol in dem abgetasteten Bild aus dem Schritt 826 eine Liste von wahrscheinlichen Symbolcodes, sortiert nach der Wahrscheinlichkeit, und die Position jedes Symbols in dem abgetasteten Bild. Die OCR-Steuerung 655 kann z. B. durch irgendein geeignetes kommerziell verfügbares OCR-System implementiert werden.
SCHRITT 830: Finden von übereinstimmenden Wörtern.
Für jedes Wort von einer Beschleunigung, Auffinden von sämtlichen exakt übereinstimmenden Worten in einer OCR und Auflisten von diesen einschließlich eines Orts; oder Markieren keiner Übereinstimmung.
Für jedes Wort in der Beschleunigungsliste, an der Übereinstimmungen gefunden werden, werden nachfolgende Wörter überprüft, um nachzusehen, ob die nachfolgenden Wörter den Wörtern in nachfolgenden Stellen, wie aus der OCR-Liste angedeutet, entsprechen; dieser Prozess wird fortgesetzt, bis keine weitere Übereinstimmung gefunden wird. Es gibt mehrere mögliche Übereinstimmungen für jedes Wort in der Beschleunigungsliste. Ferner werden Übereinstimmungssequenzen von Wörtern, beginnend mit dem nächsten Wort nach dem letzten Wort der vorangehenden Liste von Übereinstimmungen gesucht.
Für jedes verbleibende nicht übereinstimmende Wort in der Beschleunigungsliste wird das am nächsten übereinstimmende Wort in der OCR-Liste auf Grundlage irgendeines Varianzmaßes identifiziert. Zum Beispiel kann das Varianzmaß die Anzahl von übereinstimmenden Buchstaben zwischen den zwei Wörtern auf der Liste, mit einem Minimum von zwei übereinstimmenden Buchstaben, sein.
Die Bereiche benachbart zu den teilweise übereinstimmenden Wörtern werden dann überprüft; wenn der Bereich vor und danach übereinstimmen, dann wird entschieden, dass die teilweise übereinstimmenden Worte übereinstimmen bzw. angepasst sind.
Die nicht übereinstimmenden bzw. nicht angepassten Wörter in der OCR-Liste werden nun untersucht. Wenn für irgendwelche verbleibenden nicht übereinstimmenden Wörter der Bereich vor und nach dem Wort übereinstimmt, wird das Wort so betrachtet, dass es passt.
Optional können irgendwelche anderen Kontext-empfindliche Verfahren, wie eine Grammatiküberprüfung oder irgendeine andere geeignete Einrichtung zum Identifizieren von fehlenden Abschnitten verwendet werden, um noch nicht angepasste Wörter zu identifizieren. Irgendwelche verbleibenden, nicht angepassten Wörter werden manuell von dem Benutzer identifiziert.
SCHRITT 840: Aktualisieren der Datenbank von vorangehenden Verwechslungen. Auf Grundlage einer manuellen Korrektur, die im Schritt 330 eingegeben wird, oder einer automatischen Korrektur auf Grundlage des Wörterbuchs wird die Datenbank von vorangehenden Verwechslungen aktualisiert. Auf Grundlage einer manuellen Korrektur wird auch das persönliche Wörterbuch aktualisiert, wenn das korrigierte Wort nicht in dem Wörterbuch gefunden wird.
Es wird darauf hingewiesen, dass verschiedene Merkmale der Erfindung, die zur Klarheit im Kontext von getrennten Ausführungsformen beschrieben werden, auch in Kombination in einer einzelnen Ausführungsform bereitgestellt werden können. Demgegenüber können verschiedene Merkmale der Erfindung, die zur Verkürzung im Kontext einer einzelnen Ausführungsform beschrieben werden, auch getrennt oder in irgendwelchen geeigneten Subkombinationen bereitgestellt werden.
Durchschnittsfachleute werden erkennen, dass die vorliegende Erfindung nicht auf diejenigen Beschreibungen beschränkt ist, die insbesondere hier gezeigt und beschrieben worden sind. Anstelle davon wird der Umfang der vorliegenden Erfindung nur durch die folgenden Ansprüche definiert.

Claims

1. Handschrifterkennungsvorrichtung, umfassend:

eine Handschrifteingabeeinrichtung, die wenigstens zwei verschiedene Erfassungstechniken zum Erfassen einer Handschrift verwendet und wenigstens ein Beschleunigungsmessgerät (25) umfasst, das in dem handgehaltenen Schreibelement (10) an einer anderen Stelle als an einer Spitze davon angeordnet ist; und

eine Symbolidentifikationsvorrichtung (50), die einen Ausgang der Handschrifteingabevorrichtung zum Bereitstellen einer Ausgangsanzeige von Symbolen, dargestellt durch die Handschrift, empfängt, und wobei die Symbolidentifikationsvorrichtung einen ersten Identifikationskanal zum Verwenden eines Eingangs, der sich von dem wenigstens einen Beschleunigungsmessgerät (25) unterscheidet, von der Handschrifteingabevorrichtung zum Bereitstellen eines ersten Ausgangs, der eine Identifikation von Symbolen darstellt, einen zweiten Identifikationskanal zum Verwenden eines Eingangs von dem wenigstens einen Beschleunigungsmessgerät zum Bereitstellen eines zweiten Ausgangs, der eine Identifikation von Symbolen darstellt, und eine Symbolwählvorrichtung zum Wählen zwischen dem ersten und dem zweiten Ausgang auf Grundlage von vorgegebenen Kriterien umfasst.

2. Handschrifterkennungsvorrichtung nach Anspruch 1, wobei die Handschrifteingabevorrichtung einen Positions-Digitalisierer (12) umfasst.

3. Handschrifterkennungsvorrichtung nach Anspruch 2, wobei das wenigstens eine Beschleunigungsmessgerät (25) eine Vielzahl von zueinander orthogonal angeordneten Beschleunigungsmessgeräten umfasst.

4. Handschrifterkennungsvorrichtung nach Anspruch 2, wobei die Symbolidentifikationsvorrichtung (50) eine kombinierte Positions- und Beschleunigungsverarbeitungsvorrichtung umfasst, die die Eingänge von dem Digitalisierer (12) und dem wenigstens einen Beschleunigungsmessgerät (25) beim Identifizieren von Symbolen kombiniert.

5. Handschrifterkennungsvorrichtung nach Anspruch 1, wobei die Handschrifteingabevorrichtung eine Ultraschallpositionsbestimmungsvorrichtung, die in Luft betreibbar ist, umfasst.

6. Handschrifterkennungsvorrichtung nach Anspruch 5, wobei die Handschrifteingabevorrichtung betreibbar ist, um auf einem Computerbildschirm (60) zu schreiben.

7. Handschrifterkennungsverfahren, umfassend die folgenden Schritte:

Verwenden wenigstens eines Beschleunigungsmessgeräts (25), das in einem Handschriftelement (10) an einer anderen Stelle als an der Spitze davon angeordnet ist, und wenigstens eines Digitalisierers, der auf einer zusätzlichen unterschiedlichen Erfassungstechnik basiert, zum Erfassen einer Handschrift;

Empfangen einer Ausgangsanzeige über die Handschrift und Bereitstellen einer Ausgangsanzeige von Symbolen, die von der Handschrift dargestellt werden,

wobei der Schritt zum Bereitstellen einer Ausgangsanzeige von Symbolen einen Eingang von einem Digitalisierer (12) zum Bereitstellen eines ersten Ausgangs, der eine Identifikation von Symbolen darstellt, entlang eines ersten Identifikationskanals verwendet und einen Eingang von dem wenigstens einen Beschleunigungsmessgerät (25) verwendet, um einen zweiten Ausgang, der eine Identifikation von Symbolen darstellt, entlang eines zweiten Identifikationskanals bereitzustellen, und zwischen den ersten und zweiten Ausgängen auf Grundlage von vorgegebenen Kriterien wählt.

8. Handschrifterkennungsverfahren nach Anspruch 7, wobei die wenigstens eine zusätzliche Erfassungstechnik eine Positionsdigitalisierung umfasst.

9. Handschrifterkennungsverfahren nach Anspruch 8 und ferner umfassend eine Identifizierung von Symbolen durch Kombinieren von digitalisierten Positionseingängen und einer erfassten Beschleunigungsinformation.

10. Handschrifterkennungsverfahren nach Anspruch 7, wobei der Schritt zum Empfangen ein Verwenden von digitalisierten Positionseingängen zum Bereitstellen eines ersten Ausgangs, der Identifikationssymbole darstellt, ein Verwenden von Beschleunigungsinformation zum Bereitstellen eines zweiten Ausgangs, der eine Identifikation von Symbolen darstellt, und ein Wählen zwischen den ersten und zweiten Ausgängen umfasst.