DE102018107409A1

DE102018107409A1 - Verfahren zur Erkennung handgeschriebener Zeichen, vorzugsweise während des Schreibens, und Schreibgerät zur Erfassung handgeschriebener Zeichen

Info

Publication number: DE102018107409A1
Application number: DE102018107409.3A
Authority: DE
Inventors: Maximilian Schrapel
Original assignee: Leibniz Universitaet Hannover
Current assignee: Leibniz Universitaet Hannover
Priority date: 2018-03-28
Filing date: 2018-03-28
Publication date: 2019-10-02

Abstract

Die vorliegende Erfindung betrifft Verfahren zur Erkennung handgeschriebener Zeichen, vorzugsweise während des Schreibens, mit wenigstens den Schritten:• mehrdimensionales Erfassen (100a) einer Bewegung des Schreibgeräts (1) auf einem beschreibbaren Untergrund (4) mittels wenigstens eines mehrdimensionalen Bewegungssensors (15) des Schreibgeräts (1),• akustisches Erfassen (100b) der Bewegung des Schreibgeräts (1) auf dem beschreibbaren Untergrund (4) mittels wenigstens eines Akustiksensor (16) des Schreibgeräts (1), und• Erkennen (800) wenigstens eines handgeschriebenen Zeichens unter Berücksichtigung der erfassten Bewegungssensordaten und der erfassten Akustiksensordaten.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Erkennung handgeschriebener Zeichen, vorzugsweise während des Schreibens, gemäß des Patentanspruchs 1, ein Computerprogrammprodukt mit einem Programmcode zur Ausführung eines derartigen Verfahrens gemäß des Patentanspruchs 11 sowie ein Schreibgerät zur Erfassung handgeschriebener Zeichen gemäß des Oberbegriffs des Patentanspruchs 12.
Es ist seit Urzeiten in vielen Kulturen bekannt, Informationen durch Schreiben in Schrift und dergleichen auszudrücken und festzuhalten. Insbesondere das Schreiben mit Schreibgeräten wie Minenstiften (z.B. Bleistifte), Federstiften (z.B. Füllfederhalter), Kugelschreibern und Tintenrollern ist seit geraumer Zeit weit verbreitet. In diesen Fällen wird jeweils eine Substanz auf einen beschreibbaren Untergrund wie üblicherweise ein weißes Papier übertragen, um dort eine Spur zu hinterlassen. Diese Spur, welche durch die Bewegung des Schreibgeräts mittels der Hand eines Benutzers ihren Verlauf erhält, stellt dann z.B. Buchstaben oder Zahlen dar, welche von einer Person durch Lesen erfasst werden können.
Viele Menschen sind es daher gewohnt, Informationen handschriftlich auszudrücken und festzuhalten. Diese Informationen liegen jedoch dann nur auf dem beschriebenen Untergrund vor und müssen von einer Person durch Lesen erfasst werden. Hierzu muss diese Person einen unmittelbaren Zugriff auf den beschriebenen Untergrund haben, um diesen optisch erfassen zu können. Auch gehen die geschriebenen Informationen verloren, wenn der beschriebene Untergrund nicht mehr zur Verfügung steht. Dies schränkt die Nutzung, Aufbewahrung und Verbreitung von geschriebenen Informationen stark ein.
Um Informationen einfacher und schneller verarbeiten, speichern und bzw. oder verbreiten zu können, werden seit der Erfindung der Computer zunehmend deren Fähigkeiten zur Datenverarbeitung, Datenspeicherung und bzw. oder Datenübertragung genutzt. Hierzu werden die Informationen, welche auch durch Schreiben ausgedrückt werden könnten, üblicherweise über eine Tastatur in den Computer eingegeben, dort gespeichert und z.B. auf einem Bildschirm dargestellt. Im Computer können diese Informationen verarbeitet sowie z.B. an einen anderen Computer übertragen werden. Auch können diese Informationen Anweisungen an den Computer sein, um seinen Betrieb zu beeinflussen.
Um handschriftlich mittels Schreibgerät erstellte Informationen einem Computer und dergleichen verfügbar zu machen ist es bekannt, den beschriebenen Untergrund z.B. in Form eines Blatts Papier mittels eines Scanners zu erfassen. Das optisch erfasste Abbild des beschriebenen Blatts Papier kann dann vom Computer mittels Bildverarbeitung und Mustererkennung verarbeitet werden, um die geschriebenen Informationen dem Computer nutzbar zu machen. Dieses technische Gebiet ist als Texterkennung oder auch als optische Zeichenerkennung (Englisch: optical character recognition (OCR)) bekannt und bezeichnet die automatisierte Texterkennung innerhalb von Bildern. Hierdurch können geschriebene Informationen jedoch lediglich im Nachhinein, sozusagen „Offline“, von einem Computer erfasst werden.
Auch ist es heutzutage üblich, Eingaben von Text auf elektronischen Geräten wie z.B. Smartphones, Tablets, Smart Watches und dergleichen direkt mit den Fingern zu tätigen, indem optisch dargestellte Tasten dadurch „gedrückt“ werden, dass ein kapazitiv-sensorischer Bildschirm mit der Fingerkuppe an dieser Stelle berührt wird. Hierbei wird jedoch die zu drückende Taste von dem Finger verdeckt, was die Bedienung erschweren kann. Auch sind die Bildschirme z.B. von Smartphones und insbesondere von Smart Watches derart klein, dass auch die optisch dargestellten Tasten sehr klein sind und von der Fingerkuppe nicht sicher wie gewünscht berührt werden können (sog. Fat-Finger-Problem), was zu fehlerhaften Eingaben führen kann. Dies kann zwar eine Eingabe von Text und anderen Zeichen mittels einer imitierten Tastatur bei derartigen Geräten ermöglichen, jedoch mit einer geringeren Korrektheit der Zeichen, mit einer geringeren Geschwindigkeit sowie mit einem geringeren Komfort für den Benutzer als bei einem handschriftlichen Schreiben der Zeichen.
Um dies zu vermeiden können zwar spezielle „Stifte“ anstelle der Finger verwendet werden. Hierbei handelt es sich jedoch lediglich um Eingabegeräte für diese kapazitiv-sensorischen Bildschirme, mit denen aber kein Schreiben möglichst ist, da keine Substanz auf einen Untergrund wie z.B. ein Papier abgegeben werden kann.
Da viele Menschen es gewohnt sind zu schreiben, werden daher seit einiger Zeit Möglichkeiten gesucht, um Computern, Smartphones, Tabletts, Smart Watches und dergleichen Informationen mittels Schreibgeräten direkt zur Verfügung stellen zu können, ohne im Nachhinein ein beschriebenes Papier scannen und verarbeiten sowie auf den kapazitiv-sensorischen Bildschirm des Geräts selbst schreiben zu müssen. Hierzu muss die geschriebene Information aus der Handlung des Schreibens heraus erkannt werden.
Die US 6,592,039 B1 beschreibt einen digitalen Stift, der eine Tintenschreibspitze aufweist, mit einem Laser auf einem Stiftkörper, der Licht auf Papier richtet, über das die Schreibspitze geführt wird. Ein Beugungsgitter reflektiert einen Referenzstrahl und lässt einen gestreuten Strahl von dem Substrat zu Translationsdetektoren durch, die folglich Interferenzmuster von Licht empfangen. Ein Prozessor empfängt die Signale von den Detektoren, erzeugt Positionssignale und speichert die Signale. Außerdem empfängt ein Strichcodedetektor einen Strichcode-Strahl von dem Substrat und ein dreidimensionaler Kraftsensor gibt ein Signal ab, das für mehrdimensionale Kräfte repräsentativ ist, die an den Stift angelegt werden. Anschließend werden die Signale zu einem Host-Prozessor hochgeladen, der sie kombiniert, um rotationskorrigierte relative Positionen (wenn kein barcodiertes Papier verwendet wird) oder rotationskorrigierte absolute Positionen (wenn barcodiertes Papier verwendet wird) zu erzeugen, die zum Rendern von alpha-numerischen Zeichen oder grafischen Darstellungen verwendet werden können.
Die US 6,686,579 B2 beschreibt einen digitalen Stift, der eine Tintenschreibspitze aufweist, mit einem Laser auf einem Stiftkörper, der Licht auf Papier richtet, über das die Schreibspitze geführt wird. Eine CMOS-Kamera oder CCD ist ebenfalls an dem Stiftkörper angebracht, um Reflexionen des Laserlichts zu erfassen, die als „Flecken“ bezeichnet werden. Ein Prozessor in dem Stiftkörper bestimmt die relative Stiftbewegung basierend auf den Flecken. Ein Kontaktsensor wie etwa ein FSR an dem Stiftkörper fühlt, wenn die Spitze gegen das Papier gedrückt wird, wobei Positionen auf einem Flash-Speicher in dem Stiftkörper aufgezeichnet werden, wenn der Kontaktsensor anzeigt, dass der Stift gegen das Papier gedrückt wird. Der Speicher kann später mit einer Handschrifterkennungsvorrichtung in Verbindung gebracht werden, um die Positionen mit alphanumerischen Zeichen zu korrelieren. Gewöhnliches Papier kann verwendet werden, aber, falls gewünscht, kann auch spezielles, mit Strichcodes versehenes Papier verwendet werden, so dass die aufgezeichneten Positionen mit einer Seitenzahl, einem Formularfeld und einer absoluten Position auf der Seite markiert werden können.
Die zuvor beschriebenen Ansätze zur Erkennung von handgeschriebenen Zeichen, welche auf der optischen Erfassung der geschriebenen Information beruhen, weisen den Nachteil auf, dass die Qualität der Bilderfassung von den Lichtverhältnissen abhängt. Die Schwankungen der Lichtverhältnisse können sich sehr störend auf die Qualität der Schrifterkennung auswirken und zu derart hohen Fehlerraten führen, dass diese Verfahren vom Benutzer nicht akzeptiert werden. Auch ist bei den zuvor beschrieben Ansätzen lediglich eine Erkennung der handgeschriebenen Zeichen im Nachhinein auf einem separaten Computer möglich, jedoch nicht direkt während der Handlung des Schreibens.
Die US 6,625,314 B1 beschreibt ein elektronisches Gerät zur Identifizierung von Orten, die mehr als einen Strich enthalten. Dieses elektronische Gerät verwendet einen Kugelumlaufsensor, um die Position und Bewegung zu erfassen, während es in Kontakt mit einer Oberfläche ist, und einem Beschleunigungssensor, wenn das Gerät nicht in Kontakt mit der Oberfläche ist. Ferner ist diese Vorrichtung in der Lage, Ungenauigkeiten in dem Beschleunigungssensor unter Verwendung von Daten zu korrigieren, die von dem Kugelrotationssensor empfangen werden. Diese Korrektur basiert auf einem berechneten Erfassungsfehler, der bestimmt wird, während der Kugelumlaufsensor aktiv ist. Die Korrektur erfolgt, wenn das Gerät wieder nicht mehr mit der Oberfläche in Kontakt ist und der Beschleunigungssensor zur Positionsbestimmung wieder verwendet wird.
Nachteilig ist hierbei, dass der Untergrund einen großen Einfluss auf die sensorischen Daten haben kann, welche durch den Kugelumlaufsensor erfasst werden. Dies kann die Erkennung von handgeschriebenen Zeichen sehr erschweren und zu Fehlerraten führen, welche für den Benutzer nicht akzeptabel sein und damit einer praktischen Umsetzung dieses Ansatzes widersprechen können.
Seitens der Firma Anoto AB ist mit dem „Live Pen 2“ als Digital-Stift ein Schreibsystem bekannt, bei dem geschriebener Text auf einen Rechner übertragen werden kann. Der Schreibstift besteht aus einem Kugelschreiber mit einer integrierten digitalen Kamera. Ein Kraftsensor detektiert das Aufsetzen der Schreibmine auf ein Spezialpapier. Bei dem Spezialpapier handelt es sich um ein Papier mit einem aufgedruckten Punktemuster. Die integrierte digitale Kamera nimmt die Schreibbewegungen des Stiftes über dem Punktemuster wahr. Die Kamera nimmt eine Vielzahl von Bildern pro Sekunde auf. Jedes aufgenommene Bild wird mit dem darauffolgenden Bild verglichen und ein integrierter Prozessor errechnet daraus unter Berücksichtigung der Stifthaltung den Richtungswechsel und die Bewegungsstrecke der in dem Stift integrierten Schreibmine. Auf dem Spezialpapier befindet sich eine Vielzahl aufgedruckter Punkte, die mit Tinte auf Kohlenstoffbasis aufgebracht sind und einen Abstand von weniger als 1 mm zueinander aufweisen. Jedes Spezialpapier besitzt ein anderes Punktemuster, so dass die einzelnen Seiten voneinander unterscheidbar sind. Eine lichtemittierende Diode (LED) beleuchtet die kohlenstoffhaltigen Tintenpunkte, die langwelliges Infrarotlicht absorbieren und somit für die integrierte Digitalkamera innerhalb des Stiftes erkennbar sind. Durch das Spezialpapier kann die Relativbewegung des Stiftes sowie die absolute Position des Stiftes auf dem Papier ermittelt werden.
Nachteilig ist bei dem „Live Pen 2“ der Firma Anoto AB, dass ein spezielles Papier notwendig ist, um dieses Schreibgerät anwenden zu können. Ferner wird die Stifthaltung vorgegeben. Auch erfolgt die Verarbeitung der Informationen erst im Nachhinein und nicht während des Schreibens.
Die US 6,577,299 B1 beschreibt ein drahtloses Stiftgerät zum Erzeugen von Signalen, die für das Schreiben durch einen Benutzer repräsentativ sind. Das drahtlose Stiftgerät umfasst einen drahtlosen Stift mit einer Schreibspitze, hinter welcher ein Druckschalter angebracht ist, welcher ein elektronisches Signal erzeugt, wenn Druck beim Schreiben auftritt. Hinter dem Druckschalter befindet sich ein Schaltungsmodul mit einem Mikroprozessor-Subsystem, das unter anderem einen Flash-Speicher enthält. Das Schaltungsmodul umfasst ferner auch Mikrobeschleunigungsmesser, Gyroskope, eine Ultraschall-Entfernungsmessungsschaltung, eine Signalkonditionierungsschaltung und eine serielle Kommunikationsschaltung. Ein Ultraschallwandler ist mit der Ultraschallentfernungsschaltung gekoppelt und wird zum Senden und Empfangen von Ultraschallsignalen verwendet. Der Stift enthält auch einen Neigungssensor.
Im Betrieb erfasst das Trägheitsnavigationssubsystem des Stifts einschließlich der Mikrobeschleunigungsmesser und Gyroskope die relative Bewegung des Stifts und bestimmt die Stiftspitzenbewegungen. Der Neigungs- oder Gyroskopsensor kann verwendet werden, um Stiftwinkel an der Schreiboberfläche zu messen, um Gravitationskomponenten der Beschleunigung aufzuheben. Um eine absolute Position in Bezug auf ein Referenzmedium zu erhalten, wird eine externe Navigation unter Verwendung von Ultraschalltechnologie, Infrarot- oder Funkfrequenzbaken realisiert. Es kann ein einzelner UltraschallSender/Empfänger an der Spitze des Stiftes positioniert werden, der auf die Oberseite oder auf die Seite des Papiers zeigt, wo Reflektoren unter Verwendung eines passiven Referenzmediums in Form einer Klammer angebracht sind, die an der Kante eines Papiers oder einer Unterlage befestigt werden kann und zwei voneinander beabstandete akustische Reflektoren mit unterschiedlichen reflektierenden Eigenschaften aufweist. Der Stift misst beim Schreiben die Entfernung zum Referenzmedium. Zwei Abstände sind erforderlich, um die Position des Stifts auf Papier in horizontalen und vertikalen Koordinaten zu bestimmen. Das Ultraschallsignal kann an zwei voneinander beabstandeten Stellen auf dem Bezugsmedium empfangen werden, so dass die Position des Stifts, d.h. die Position des Ultraschallwandlers, eindeutig bestimmt werden kann. Der Ultraschall kann ein Luftschallsignal oder ein Oberflächenwellensignal sein, das sich auf der Schreiboberfläche bewegt. Alternativ kann der Ultraschall ein Signal sein, das sich durch eine harte Oberfläche bewegt, wie z.B. einen Tisch unter einer Schreiboberfläche. Auch kann eine Einweg-Ultraschallübertragung mit Infrarotsignalisierung zurück verwendet werden.
Nachteilig ist bei dem drahtlosen Stiftgerät der US 6,577,299 B1 , dass mit der Klammer eine zusätzliche Komponente erforderlich ist, welche an der Kante eines Papiers oder einer Unterlage befestigt werden muss, um das drahtlose Stiftgerät anwenden zu können. Dies bedeutet nicht nur einen zusätzlichen Aufwand für den Benutzer sowie zusätzliche Kosten für die Klammer, sondern schränkt die Anwendung auch auf Untergründe ein, welche die Klammer überhaupt aufnehmen können. Auch ist die Anwendung des drahtlosen Stiftgeräts auf den Bereich beschränkt, in dem die Klammer und das drahtlose Stiftgerät miteinander zusammenwirken können.
Seitens der Firma Wacom ist mit dem „Inkling pen“ ein schreibfähiger Stift vergleichbar dem drahtlosen Stiftgerät der US 6,577,299 B1 bekannt, mit dem auf Papier insbesondere gezeichnet werden kann. Dabei wird ein Empfänger an das Papier geklemmt, mittels Ultraschall und Infrarot die Bewegungen des Stifts erfasst und die hierdurch erzeugte Zeichnung gespeichert, damit diese später auf einen Computer übertragen und elektronisch weiterverarbeitet werden kann.
Nachteilig ist auch bei dem „Inkling pen“ der Firma Wacom, dass mit dem Empfänger eine zusätzliche Komponente gekauft und verwendet werden muss. Auch ist die Anwendung des Stifts auf den Bereich beschränkt, in dem der Empfänger und der Stift miteinander zusammenwirken können. Ferner wird die auf das Papier gebrachte Darstellung lediglich erfasst und elektronisch zur Verfügung gestellt. Eine Erkennung eines Inhalts der Darstellung wie z.B. die Erkennung des geschriebenen Inhalts erfolgt nicht. Auch erfolgt die Verarbeitung der Informationen erst im Nachhinein und nicht während des Zeichnens.
Die DE 102 41 328 A1 beschreibt ein biometrisches Schreibsystem mit einem Schreibstiftgehäuse zur Durchführung handgeführter Bewegungen auf einer Unterlage, mindestens einem in dem Schreibstiftgehäuse integrierten Mikrofon zur akustischen Erfassung von Schallsignalen, die durch die handgeführten Bewegungen hervorgerufen werden, und mit einer Datenverarbeitungseinheit zur Berechnung biometrischer Daten in Abhängigkeit von den erfassten Schallsignalen. Die DE 102 41 328 A1 betrifft ferner ein Verfahren zur Personenidentifikation und Personenverifikation mittels eines biometrischen Schreibsystems sowie ein Verfahren zur Handschriftenerkennung und bzw. oder Handskizzenerkennung.
Das durch die Reibung des Schreibstiftes auf der Unterlage während der handgeführten Schreibbewegung hervorgerufene akustische Schreibgeräusch wird als Körperschallsignal über den Schreibstift und bzw. oder zusätzlich als Luftschallsignal über die Umgebungsluft durch das in dem Schreibstiftgehäuse integrierte Mikrofon übertragen. Das Mikrofon ist zur Übertragung des Körperschallsignals mechanisch mit einem mit dem Schreibstift verbundenen Klangkörper gekoppelt, wobei der Klangkörper als ein Resonator für bestimmte Eigenfrequenzen ausgelegt ist. Das Mikrofon ist ferner in einer in dem Schreibstiftgehäuse vorgesehenen Luftschallkammer angeordnet, welche als ein Resonator für bestimmte Eigenfrequenzen ausgelegt ist. Die Luftschallkammer ist über eine in dem Schreibstiftgehäuse vorhandene Gehäuseöffnung mit der Umgebungsluft koppelbar, um Luftschall von außerhalb des Schreibstiftgehäuses zu empfangen. Zusätzlich sind eine optische Sensoreinrichtung, die Positionsdaten der handgeführten Schreibstiftbewegung über Bildsignale von der Oberfläche der Schreibunterlage erfassen kann, sowie eine Druck-Sensoreinrichtung vorgesehen, die den statischen und dynamischen Druck des auf der Unterlage aufgesetzten und handgeführten Schreibstiftes erfassten kann.
Nachteilig ist bei dem Ansatz der DE 102 41 328 A1 , Körperschall zur Erkennung von handschriftlichen Informationen zu verwenden, dass sich der Untergrund, auf dem geschrieben wird, deutlich auf den sensorisch erfassten Körperschall auswirken kann. Ferner können sich Umgebungsgeräusche sehr auf den sensorisch erfassten Luftschall auswirken. Dies kann die Erkennung von handgeschriebenen Zeichen sehr erschweren und zu Fehlerraten führen, welche für den Benutzer nicht akzeptabel sein und damit einer praktischen Umsetzung dieses Ansatzes widersprechen können.
Eine Aufgabe der vorliegenden Erfindung ist es, ein Verfahren zur Erkennung handgeschriebener Zeichen der eingangs beschriebenen Art bereitzustellen, so dass die zuvor beschriebenen Nachteile überwunden oder zumindest reduziert werden können. Insbesondere soll die Erkennung von handgeschriebenen Zeichen wie z.B. von Text, Zahlen und dergleichen verbessert werden. Dies soll insbesondere während des Schreibens erfolgen können, d.h. sozusagen „online“ oder „live“. Insbesondere soll keine zusätzliche Hardware außer dem Schreibgerät selbst und bzw. oder kein spezieller Untergrund wie z.B. spezielles Papier verwendet werden müssen. Auch soll dies fortlaufend erfolgen können. Zumindest soll eine Alternative zu bekannten Ansätzen geschaffen werden.
Die Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des Patentanspruchs 1, durch ein Computerprogrammprodukt mit den Merkmalen des Patentanspruchs 11 sowie durch ein Schreibgerät mit den Merkmalen des Patentanspruchs 12 gelöst. Vorteilhafte Weiterbildungen sind in den Unteransprüchen beschrieben.
Somit betrifft die vorliegende Erfindung ein Verfahren zur Erkennung handgeschriebener Zeichen. Unter handgeschriebenen Zeichen sind jegliche Buchstaben, Zahlen, Satzzeichen, Schriftzeichen oder sonstige Symbole zu verstehen, welche in irgendeiner Sprache eine Bedeutung haben und üblicherweise von einer Person handschriftlich ausgedrückt sowie gelesen werden können. Das Verfahren kann vorzugsweise automatisch, d.h. selbsttätig, durch eine Datenverarbeitungseinheit wie z.B. durch einen Computer ausgeführt werden.
Das Verfahren weist wenigstens die Schritte auf:

• mehrdimensionales Erfassen einer Bewegung des Schreibgeräts auf einem beschreibbaren Untergrund mittels wenigstens eines mehrdimensionalen Bewegungssensors des Schreibgeräts,
• akustisches Erfassen der Bewegung des Schreibgeräts auf dem beschreibbaren Untergrund mittels wenigstens eines Akustiksensors des Schreibgeräts, und
• Erkennen wenigstens eines handgeschriebenen Zeichens unter Berücksichtigung der erfassten Bewegungssensordaten und der erfassten Akustiksensordaten.

Das Schreibgerät kann jegliche Art von Stift und dergleichen sein, welcher durch Abgabe einer Substanz üblicherweise von einer Person zum Schreiben verwendet werden kann wie z.B. ein Bleistift, ein Füllfederhalter, ein Kugelschreiber, ein Filzstift oder dergleichen. Als beschreibbarer Untergrund können jegliche Flächen dienen, welche die Substanz des Schreibgeräts derart aufnehmen können, dass durch die Substanz auf der Fläche ein handgeschriebenes Zeichen abgebildet werden kann. Vorzugsweise kann der beschreibbare Untergrund ein Papier oder dergleichen sein.
Der mehrdimensionale Bewegungssensor kann Geschwindigkeiten und bzw. oder Beschleunigungen in mehreren Dimensionen des kartesischen Raums erfassen, um die Bewegung des Schreibgeräts im Raum mehrdimensional erfassen zu können. Der mehrdimensionale Bewegungssensor kann vorzugsweise als Inertialsensor bzw. als inertiale Messeinheit ausgebildet sein. Dies kann insbesondere als Trägheitssensor, als Beschleunigungssensor und bzw. oder als Gyroskop bzw. als Drehratensensor umgesetzt werden. Der Akustiksensor kann vorzugsweise ein Mikrophon sein.
Der vorliegenden Erfindung liegt dabei die Erkenntnis zugrunde, dass die Verwendung von mehrdimensionalen Bewegungsdaten zur Erkennung handgeschriebener Zeichen alleine bisher unzureichende Genauigkeiten liefert bzw. der Aufwand zur Steigerung der Erkennungsgenauigkeit bzw. zur Erhöhung der Detektionsrate zusätzliche Komponenten erfordert. An einem Verfahren, welches alleinig durch die Sensordaten, welche von dem Schreibgerät selbst erfasst werden können, eine zufriedenstellende Erkennungsgenauigkeit der handgeschriebenen Zeichen erreichen kann, mangelt es bisher. Dies gilt ebenso für die Verwendung von akustischen Sensorinformationen, welche bisher alleinig verwendet werden und dabei unzureichende Genauigkeiten bei der Erkennung handgeschriebener Zeichen liefern.
Erfindungsgemäß werden daher mehrdimensionale Bewegungssensordaten in Kombination mit Akustiksensordaten ausgewertet, um hieraus handschriftliche Zeichen mit einer höheren Genauigkeit als bisher bekannt zu erkennen. Details dieser Umsetzungen werden im Folgenden näher beschrieben. Hierdurch kann eine zufriedenstellende Erkennungsgenauigkeit der handgeschriebenen Zeichen erreicht werden, so dass das erfindungsgemäße Verfahren in der Praxis angewendet werden kann.
Vorteilhaft ist hierbei auch, dass die erforderlichen Bewegungssensordaten und Akustiksensordaten mit lediglich einem erfindungsgemäßen Schreibgerät, wie weiter unten noch näher beschrieben werden wird, erfasst werden können. Hierdurch kann auf zusätzliche Komponenten verzichtet werden, deren Verwendung die Kosten und den Aufwand der Umsetzung des erfindungsgemäßen Verfahrens erhöhen könnten. Auch kann das erfindungsgemäße Schreibgerät kostengünstig und bzw. oder kompakt und bzw. oder mit einem geringen Gewicht umgesetzt werden.
Vorteilhaft ist auch, dass die bei dem erfindungsgemäßen Schreibgerät verwendeten Sensoren mit vergleichsweise geringem Energieverbrauch betrieben werden können. Insbesondere kann auf optische Messsysteme wie z.B. eine Kamera verzichtet werden, welche einen vergleichsweise hohen Energieverbrauch haben können. Dies kann die Umsetzung des erfindungsgemäßen Schreibgeräts mit einem elektrischen Energiespeicher wie z.B. mit einer Batterie oder mit einem wiederaufladbaren Akkumulator begünstigen, so dass zumindest für die Energieversorgung des erfindungsgemäßen Schreibgeräts auf eine kabelgebundene Energieversorgung verzichtet werden kann. Dies kann die Umsetzung eines drahtlosen erfindungsgemäßen Schreibgeräts hinsichtlich dieses Aspekts ermöglichen.
Die erkannten handschriftlichen Zeichen können einzelne Zeichen, wie zuvor beschrieben, sowie hieraus bestehende Notizen, Texte und dergleichen sein, welche vom Benutzer lieber handschriftlich als über eine Tastatureingabe digitalisiert werden sollen. Auch können die handschriftlichen Zeichen Eingaben und Anweisungen an vorzugsweise elektronische Geräte mit vergleichsweise kleinen Eingabemöglichkeiten wie z.B. ein Smartphone oder eine Smart Watch sein. Ferner können die handschriftlichen Zeichen eine Unterschrift eines Benutzers darstellen, welche als dem Benutzer zugehörig erkannt und von nachgeahmten Unterschriften unterschieden werden kann. Des Weiteren kann hierdurch auch eine Gestenerkennung zur Bedienung eines elektronischen Geräts umgesetzt werden. Ebenso kann hierdurch ein Zeigegerät (Englisch: Pointing Device) wie z.B. eine Maus, ein Touchpad, eine Fernbedienung und dergleichen umgesetzt werden.
Dabei ist es zu bevorzugen, wenn das erfindungsgemäße Verfahren auf einen Benutzer angepasst wird, um dessen individuelle Art und Weise des Schreibens sowohl hinsichtlich der Schreibbewegung als auch hinsichtlich der hierdurch verursachten Geräusche bei der Erkennung handgeschriebener Zeichen berücksichtigen zu können. Dies kann die Erkennungsgenauigkeit deutlich verbessern.
Das Verfahren führt die Erkennung der handgeschriebenen Zeichen vorzugsweise während des Schreibens aus, so dass die erkannten handgeschriebenen Zeichen möglichst unverzüglich zur Verfügung stehen können. Vorzugsweise wird die Erkennung der handgeschriebenen Zeichen fortlaufend während des Schreibens ausgeführt, so dass möglichst unverzüglich und kontinuierlich das Geschriebene erkannt und zur Verfügung gestellt werden kann.
Hierzu erfolgt vorzugsweise eine fortlaufende Datenübertragung der erfassten Bewegungssensordaten und der erfassten Akustiksensordaten von dem Schreibgerät an eine Datenverarbeitungseinheit wie z.B. an einen Computer, auf dem die folgenden Schritte des erfindungsgemäßen Verfahrens ausgeführt werden können. Die erkannten handschriftlichen Zeichen können dann z.B. auf dem Computer bzw. dessen Bildschirm dargestellt werden. Alternativ oder zusätzlich können die erkannten handschriftlichen Zeichen von dem Computer oder auch an anderer Stelle gespeichert, verarbeitet und bzw. oder übertragen werden.
Die Datenübertragung der erfassten Bewegungssensordaten und bzw. oder der erfassten Akustiksensordaten von dem Schreibgerät an eine Datenverarbeitungseinheit kann dabei drahtgebunden erfolgen, was die Verlässlichkeit der Datenübertragung erhöhen sowie die hierfür erforderlich Technik einfach und kostengünstig halten kann. Alternativ oder zusätzlich kann die Datenübertragung der erfassten Bewegungssensordaten und bzw. oder der erfassten Akustiksensordaten von dem Schreibgerät an eine Datenverarbeitungseinheit auch drahtlos z.B. über Bluetooth, WLAN oder dergleichen erfolgen. Dies kann den Aufwand der technischen Umsetzung erhöhen und damit auch dessen Kosten, jedoch dem Benutzer das Schreiben angenehmer werden lassen. Auch können so Einflüsse auf das Schreiben des Benutzers, welche aus der Kabelanbindung des Schreibgeräts an den Computer resultieren können, vermieden werden. Hierdurch können Störungen auf das Schreiben vermieden werden, welche aus der Verwendung eines ungewohnten Schreibgeräts resultieren können.
Die Erkennung der handgeschriebenen Zeichen während des Schreibens und insbesondere fortlaufend kann durch Zwischenschritte der Verarbeitung der erfassten mehrdimensionalen Bewegungssensordaten und bzw. oder der erfassten Akustiksensordaten begünstigt werden, indem die Datenmengen reduziert und deren Verarbeitung durch die folgenden Verarbeitungsschritte beschleunigt werden kann.
Vorzugsweise werden die erfassten Akustiksensordaten nach der sensorischen Erfassung bzw. bei der sensorischen Erfassung verstärkt, um die erfassten Akustiksensordaten anschließend besser weiterverarbeiten zu können. Hierdurch kann insbesondere eine weitere Verarbeitung der erfassten Akustiksensordaten wie z.B. ein Vorfiltern erleichtert werden. Insgesamt können die Erkenntnisse, welcher aus den erfassten Akustiksensordaten im Folgenden gezogen werden können, in ihrer Qualität durch die Signalverstärkung der erfassten Akustiksensordaten möglichst unmittelbar bei bzw. nach dem Erfassen verbessert werden.
Diese Verfahrensschritte sowie die im Folgenden beschriebenen Verfahrensschritte können durch dieselbe Datenverarbeitungseinheit oder auch auf verschiedenen Datenverarbeitungseinheiten ausgeführt werden. Insbesondere können einzelne Schritte auch auf dem erfindungsgemäßen Schreibgerät und weitere Schritte auf einer weiteren Datenverarbeitungseinheit oder auf mehreren Datenverarbeitungseinheiten ausgeführt werden. Auch können alle Schritte auf dem erfindungsgemäßen Schreibgerät ausgeführt werden. Dies kann die Umsetzung des erfindungsgemäßen Verfahrens sowie die Anwendung des erfindungsgemäßen Schreibgeräts flexibel gestalten. Auch können alle verfügbaren Möglichkeiten zur Durchführung der Verfahrensschritte auf diese Art und Weise bestmöglich genutzt werden. Dies kann auch je nach Anwendungsfall verändert werden.
Gemäß einem Aspekt der vorliegenden Erfindung weist das Verfahren wenigstens die weiteren Schritte auf:

• Filtern der erfassten Bewegungssensordaten, und bzw. oder
• Filtern der erfassten Akustiksensordaten.

Durch das Filtern können Störungen und bzw. oder Schwankungen der erfassten Sensordaten reduziert werden, was die Qualität der weiteren Verarbeitung der erfassten Sensordaten verbessern kann. Das Filtern kann vorzugsweise durch eine Mittelwertbildung erfolgen, so dass Schwankungen der erfassten Sensordaten geglättet werden können. Dies kann durch die Mittelwertbildung einfach und damit auch schnell hinsichtlich der Datenverarbeitung erfolgen, so dass die Durchführung des erfindungsgemäßen Verfahrens durch diesen Schritt bzw. durch diese Schritte nur unwesentlich verlangsamt werden kann.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung weist das Verfahren wenigstens den weiteren Schritt auf:

• Verarbeiten der gefilterten Akustiksensordaten mittels einer schnellen Fourier-Transformation oder mittels einer normierten Hilbert-Transformation.

Unter einer schnellen Fourier-Transformation (Englisch: fast Fourier transform (FFT)) ist ein Algorithmus zur effizienten Berechnung der diskreten Fourier-Transformation (DFT) zu verstehen. Mit der schnellen Fourier-Transformation kann ein digitales Signal in seine Frequenzanteile zerlegt und diese dann analysiert werden. Auch können störende Frequenzbereich herausgefiltert und die weitere Datenverarbeitung auf relevante Frequenzbereich konzentriert werden, welche dann störungsärmer sind als vor der Anwendung der schnellen Fourier-Transformation.
Unter einer normierten Hilbert-Transformation wird in der Funktionalanalysis eine lineare Integraltransformation verstanden, welche im Bereich der Fourier-Transformation und der Fourieranalyse angewendet wird. Weitere Anwendungsgebiete liegen im Bereich der Signalverarbeitung, bei der sie dazu dient, aus einem reellen Signal ein analytisches Signal bzw. ein monogenes Signal zu bilden. Auch hierdurch kann eine Verbesserung der Signalqualität der erfassten Akustiksensordaten erreicht werden. Dabei ist die Anwendung der normierten Hilbert-Transformation gegenüber der schnellen Fourier-Transformation zu bevorzugen, da die hierdurch erreichten Verbesserung der Signalqualität der erfassten Akustiksensordaten bei dem vorliegenden Anwendungsfall größer sind als bei der Anwendung der schnellen Fourier-Transformation.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung weist das Verfahren wenigstens die weiteren Schritte auf:

• Klassifizieren der erfassten Bewegungssensordaten zu wenigstens einem handgeschriebenen Zeichen, und bzw. oder
• Klassifizieren der erfassten Akustiksensordaten zu wenigstens einem handgeschriebenen Zeichen.

Durch diese Schritte wird das eigentliche Erkennen im Wesentlichen durchgeführt, da jeweils die erfassten Sensordaten mit den zu erkennenden handschriftlichen Zeichen verglichen und diesen zugeordnet werden. Mit anderen Worten werden durch das Klassifizieren jeweils die erfassten Sensordaten sowohl für die Bewegung als auch für die Akustik getrennt mit bekannten Daten verglichen, welche bereits den zu erkennenden handschriftlichen Zeichen zugeordnet ist. Dies kann durch ein Anlernen des Verfahrens vorab geschehen sein, indem ein Benutzer für jedes zu erkennende handschriftliche Zeichen wenigstens einen Schreibvorgang ausgeführt hat, welcher verfahrensgemäß erfasst und dem jeweiligen Zeichen zugeordnet wurde. Dann kann durch das Klassifizieren jeweils eine bestmögliche Zuordnung der aktuell erfassten Sensordaten zu den bekannten Daten der zu erkennenden handschriftlichen Zeichen erfolgen.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung erfolgt das Klassifizieren der erfassten Bewegungssensordaten und bzw. oder das Klassifizieren der erfassten Akustiksensordaten mittels jeweils wenigstens eines neuronalen Netzes. Hierdurch kann eine Klassifizierung einfach und zuverlässig umgesetzt werden. Insbesondere können die zu erkennenden handschriftlichen Zeichen und insbesondere eine individuelle Handschrift eines Benutzers auf diese Art und Weise erfolgreich und effizient angelernt werden. Dies kann die Erkennungsgenauigkeit verbessern sowie die Umsetzung des erfindungsgemäßen Verfahrens nur unwesentlich verlangsamen.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung weist das Verfahren wenigstens den weiteren Schritt auf:

• Validieren des aus den erfassten Bewegungssensordaten klassifizierten handgeschriebenen Zeichens durch das aus den Akustiksensordaten klassifizierten handgeschriebenen Zeichen.

Als Ergebnis der beiden Klassifikationen, wie zuvor beschrieben, kann jeweils ein erkanntes Zeichen für die beiden aktuell erfassten Sensordaten ausgegeben werden. Dabei können die beiden Klassifizierungsvorgänge zu demselben Ergebnis führen, was mit sehr hoher Wahrscheinlichkeit als zutreffend angesehen werden kann. Jedoch können die beiden Klassifizierungsvorgänge auch zu unterschiedlichen Ergebnissen für das Klassifizieren der erfassten Bewegungssensordaten und für das Klassifizieren der erfassten Akustiksensordaten führen. Dann ist zu entscheiden, welchem der beiden Klassifizierungsergebnisse vertraut und gefolgt werden soll; das andere Klassifizierungsergebnis ist zu verwerfen.
Diese Entscheidung ist durch das Validieren zu treffen. Dabei wird erfindungsgemäß zunächst von der Richtigkeit des Klassifizierungsergebnisses ausgegangen, welches auf den erfassten Bewegungssensordaten beruht, da das Erkennen von handschriftlichen Zeichen basierend auf erfassten Bewegungssensordaten bereits recht zuverlässig wenn auch verbesserungswürdig ist. Liefert das Klassifizieren der erfassten Akustiksensordaten ein abweichendes Ergebnis, so ist nach vorbestimmten Kriterien durch das Validieren die Entscheidung zu treffen, ob dem auf den erfassten Bewegungssensordaten beruhenden Klassifizierungsergebnis weiter gefolgt werden oder dieses durch das auf den erfassten Akustiksensordaten beruhenden abweichenden Klassifizierungsergebnis ersetzt werden soll.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung wählt das Validieren in Abhängigkeit des aus den erfassten Bewegungssensordaten klassifizierten handgeschriebenen Zeichens entweder das aus den erfassten Bewegungssensordaten klassifizierte handgeschriebene Zeichen oder das aus den Akustiksensordaten klassifizierte handgeschriebene Zeichen aus. Mit anderen Worten hängt es erfindungsgemäß von dem auf den erfassten Bewegungssensordaten beruhenden Klassifizierungsergebnis ab, ob dieses weiter verwendet oder durch das auf den erfassten Akustiksensordaten beruhenden abweichenden Klassifizierungsergebnis ersetzt wird.
Diesem Aspekt der vorliegenden Erfindung liegt die Erkenntnis zugrunde, dass beispielsweise die Zeichen „0“ und „6“ aufgrund der entsprechenden erfassten Bewegungssensordaten vergleichsweise schlecht voneinander unterschieden werden können. Dies ist dadurch begründet, dass die Bewegungen zum Schreiben der Zeichen „0“ und „6“ derart ähnlich sind, dass sich die geringen Unterschiede dieser Bewegungen nicht sicher in den entsprechenden erfassten Bewegungssensordaten widerspiegeln können. Dies kann zu vergleichsweise geringen Erkennungsgenauigkeiten dieser Zeichen führen.
Bei den Zeichen „0“ und „6“ liegen jedoch akustisch deutlich größere Unterschiede als in der Bewegung des Schreibens vor. Daher kann in diesem Fall das auf den erfassten Akustiksensordaten beruhende Klassifizierungsergebnis das verlässlichere Ergebnis im Vergleich zu dem auf den erfassten Bewegungssensordaten beruhenden Klassifizierungsergebnis sein. Diese Erkenntnis kann dadurch genutzt und umgesetzt werden, indem für jedes zu erkennende handgeschriebene Zeichen eine Information im erfindungsgemäßen Verfahren hinterlegt ist, ob jeweils eher dem auf den erfassten Bewegungssensordaten beruhenden Klassifizierungsergebnis oder dem auf den erfassten Akustiksensordaten beruhenden Klassifizierungsergebnis vertraut und gefolgt werden soll.
Dies kann im Schritt des Validierens berücksichtigt werden, indem für das auf den erfassten Bewegungssensordaten beruhenden Klassifizierungsergebnis geprüft wird, ob dieses auch bei Abweichungen zu dem auf den erfassten Akustiksensordaten beruhenden Klassifizierungsergebnis zu verwenden ist; dann muss das auf den erfassten Akustiksensordaten beruhende Klassifizierungsergebnis gar nicht erst betrachtet werden. Liegt jedoch ein auf den erfassten Bewegungssensordaten beruhendes Klassifizierungsergebnis vor, für dessen Zeichen bei Abweichungen zu dem auf den erfassten Akustiksensordaten beruhenden Klassifizierungsergebnis dieses zu verwenden ist, so ist das auf den erfassten Akustiksensordaten beruhenden Klassifizierungsergebnis anstelle des auf den erfassten Bewegungssensordaten beruhenden Klassifizierungsergebnisses zu verwenden, d.h. dieses ist zu überschreiben. Auf diese Art und Weise können die Stärken beider Arten von Sensordaten miteinander kombiniert und hierdurch die Erkennungsgenauigkeit der handschriftlichen Zeichen erhöht werden.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung erfolgt das akustische Erfassen der Bewegung des Schreibgeräts mittels wenigstens eines Akustiksensors des Schreibgeräts, welcher innerhalb eines geschlossenen Gehäuses des Schreibgeräts angeordnet ist. Auf diese Art und Weise können Umgebungsgeräusche reduziert werden, so dass die Schreibgeräusche deutlicher erfasst werden können. Dies kann die Qualität des Klassifizierens der erfassten Akustiksensordaten verbessern. Auch kann dies gleichzeitig durch sehr einfache konstruktive Maßnahmen kostengünstig umgesetzt werden.
Zusätzlich oder alternativ erfolgt das akustische Erfassen der Bewegung des Schreibgeräts mittels wenigstens eines Akustiksensors des Schreibgeräts, welcher ausgebildet und angeordnet ist, die Bewegung des Schreibgeräts mittels Luftschall akustisch zu erfassen. Dies kann das erfasste Sensorsignal möglichst unabhängig von dem zu beschreibenden Untergrund machen. Hierdurch kann ebenfalls die Qualität des Klassifizierens der erfassten Akustiksensordaten verbessert werden. Auch kann Luftschall sensorisch kostengünstiger erfasst werden als Körperschall, was die Umsetzung des erfindungsgemäßen Verfahrens bzw. die Realisierung eines entsprechenden Schreibgeräts kostengünstiger werden lassen kann.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung weist das Verfahren wenigstens die weiteren Schritte auf:

• Beurteilen der Qualität der erfassten Akustiksensordaten, und
• im Fall einer unzureichenden Qualität der erfassten Akustiksensordaten, Vernachlässigen der erfassten Akustiksensordaten.

Auf diese Art und Weise kann erkannt werden, falls Störgeräusche der Umgebung sich derart auf die erfassten Akustiksensordaten auswirken, dass diese sehr beeinträchtigt bis unbrauchbar werden können. In diesem Fall kann auf ein Klassifizieren der erfassten Akustiksensordaten verzichtet werden, da kein brauchbares Ergebnis zu erwarten ist. Hierdurch kann verhindert werden, dass ein auf den erfassten Bewegungssensordaten beruhendes Klassifizierungsergebnis durch ein auf den erfassten Akustiksensordaten beruhenden Klassifizierungsergebnis überschrieben wird, welches aufgrund von Störgeräuschen jedoch in diesem Fall wahrscheinlich eine geringere Erkennungsgenauigkeit aufweist als das auf den erfassten Bewegungssensordaten beruhende Klassifizierungsergebnis. In diesem Fall ist aufgrund der erkannten Störungen der erfassten Akustiksensordaten eine höhere Erkennungsgenauigkeit für das auf den erfassten Bewegungssensordaten beruhende Klassifizierungsergebnis zu erwarten, auch wenn dieses bei verlässlich erfassten Akustiksensordaten nicht zum Tragen käme. Hierdurch kann auch dieses Szenario bedacht und hierauf derart reagiert werden, dass insgesamt die Erkennungsgenauigkeit des handschriftlichen Zeichens möglichst hoch ausfallen kann.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung erfolgt das mehrdimensionale Erfassen der Bewegung des Schreibgeräts nur dann, wenn ein Kontakt einer Schreibspitze des Schreibgeräts mit dem beschreibbaren Untergrund mittels eines Kontaktsensors erfasst wird. Auf diese Art und Weise können die erfassten Bewegungssensordaten auf diejenigen Zeiträume reduziert werden, wenn tatsächlich eine Schreibbewegung stattfindet. Dies kann zum einen die Menge zu verarbeitender Daten gering halten, so dass auch das erfindungsgemäße Verfahren möglichst schnell ausgeführt werden kann. Zum anderen kann das Klassifizieren der erfassten Bewegungssensordaten auf Bewegungen reduziert werden, welche tatsächlich eine Schreibbewegung ausführen. Dies kann die Erkennungsgenauigkeit des Klassifizierens der erfassten Bewegungssensordaten erhöhen.
Die vorliegende Erfindung betrifft auch ein Computerprogrammprodukt mit einem Programmcode, der auf einem von einem Computer lesbaren Medium gespeichert ist, zur Ausführung eines Verfahrens wie zuvor beschrieben. Auf diese Art und Weise kann das erfindungsgemäße Verfahren einem Computer verfügbar gemacht werden. Unter einem Computer sind dabei jegliche Datenverarbeitungseinrichtungen zu verstehen, welche in der Lage sind, das erfindungsgemäße Verfahren auszuführen. Dies können ein Desktopcomputer, ein Laptop, ein Tablett, ein Smartphone, eine Smart Watch, ein Schreibgerät oder dergleichen sein.
Die vorliegende Erfindung betrifft auch ein Schreibgerät zur Erfassung handgeschriebener Zeichen mit einer Schreibspitze, welche ausgebildet ist, durch eine Bewegung des Schreibgeräts mittels einer Hand eines Benutzers eine Substanz auf einen beschreibbaren Untergrund zu übertragen, so dass handgeschriebene Zeichen auf dem beschreibbaren Untergrund abgebildet werden können, und mit wenigstens einem mehrdimensionalen Bewegungssensor, welcher ausgebildet ist, die Bewegung des Schreibgeräts mehrdimensional zu erfassen. Das Schreibgerät ist gekennzeichnet durch wenigstens einen Akustiksensor, welcher ausgebildet ist, die Bewegung des Schreibgeräts akustisch zu erfassen.
Wie zuvor bereits hinsichtlich des erfindungsgemäßen Verfahrens beschrieben, sind unter handgeschriebenen Zeichen jegliche Buchstaben, Zahlen, Satzzeichen, Schriftzeichen oder sonstige Symbole zu verstehen, welche in irgendeiner Sprache eine Bedeutung haben und üblicherweise von einer Person handschriftlich ausgedrückt sowie gelesen werden können. Das Schreibgerät kann jegliche Art von Stift oder dergleichen sein, welcher durch Abgabe einer Substanz üblicherweise von einer Person zum Schreiben verwendet werden kann wie z.B. ein Bleistift, ein Füllfederhalter, ein Kugelschreiber, ein Filzstift und dergleichen. Die Abgabe der Substanz kann über die Schreibspitze erfolgen, mit der das Schreibgerät in berührendem Kontakt mit dem beschreibbaren Untergrund stehen kann. Die Schreibspitze kann je nach Art des Schreibgeräts ausgebildet sein. Als beschreibbarer Untergrund können jegliche Flächen dienen, welche die Substanz des Schreibgeräts derart aufnehmen können, dass durch die Substanz auf der Fläche ein handgeschriebenes Zeichen abgebildet werden kann. Vorzugsweise kann der beschreibbare Untergrund ein Papier oder dergleichen sein.
Der mehrdimensionale Bewegungssensor kann Geschwindigkeiten und bzw. oder Beschleunigungen in mehreren Dimensionen des kartesischen Raums erfassen, um die Bewegung des Schreibgeräts im Raum mehrdimensional erfassen zu können. Der mehrdimensionale Bewegungssensor kann vorzugsweise als Inertialsensor bzw. als inertiale Messeinheit ausgebildet sein. Dies kann insbesondere als Trägheitssensor, als Beschleunigungssensor und bzw. oder als Gyroskop bzw. als Drehratensensor umgesetzt werden. Der Akustiksensor kann vorzugsweise ein Mikrophon sein.
Ein derartiges erfindungsgemäßen Schreibgerät kann zum Umsetzung des zuvor beschriebenen erfindungsgemäßen Verfahrens verwendet werden, da durch das Schreibgerät sowohl die entsprechenden Bewegungssensordaten als auch die entsprechenden Akustiksensordaten erfasst werden können. Dies kann die sensorischen Messdaten zur Verfügung stellen, welche für die Durchführung der entsprechenden Schritte des erfindungsgemäßen Verfahrens erforderlich sind. Ferner kann ein derartiges erfindungsgemäßes Schreibgerät auch zur Umsetzung alternativer Verfahren verwendet werden, welche derartig erfasste Bewegungssensordaten sowie erfasste Akustiksensordaten nutzen können.
Gemäß einem Aspekt der vorliegenden Erfindung ist der Akustiksensor innerhalb eines geschlossenen Gehäuses des Schreibgeräts angeordnet und bzw. oder der Akustiksensor ist ausgebildet und angeordnet, die Bewegung des Schreibgeräts mittels Luftschall akustisch zu erfassen. Die diesbezüglichen Eigenschaften und Vorteile wurden bereits zuvor hinsichtlich des erfindungsgemäßen Verfahrens beschrieben und sollen daher hier nicht wiederholt werden.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung ist der Bewegungssensor ein Inertialsensor, vorzugsweise ein Trägheitssensor, welcher vorzugsweise wenigstens einen Beschleunigungssensor und bzw. oder wenigstens ein Gyroskop aufweist. Die diesbezüglichen Eigenschaften und Vorteile wurden bereits zuvor hinsichtlich des erfindungsgemäßen Verfahrens beschrieben und sollen daher hier nicht wiederholt werden.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung weist das Schreibgerät wenigstens einen Kontaktsensor auf, welcher ausgebildet ist, einen Kontakt der Schreibspitze mit dem beschreibbaren Untergrund zu erfassen. Die diesbezüglichen Eigenschaften und Vorteile wurden bereits zuvor hinsichtlich des erfindungsgemäßen Verfahrens beschrieben und sollen daher hier nicht wiederholt werden.
Ein Ausführungsbeispiel und weitere Vorteile der Erfindung werden nachstehend im Zusammenhang mit den folgenden Figuren erläutert. Darin zeigt:

1 einen schematischen Längsschnitt durch ein erfindungsgemäßes Schreibgerät;
2 eine schematische seitliche Darstellung des erfindungsgemäßen Schreibgeräts beim Schreiben; und
3 ein schematisches Ablaufdiagramm eines erfindungsgemäßen Verfahrens.

Die o.g. Figuren werden in kartesischen Koordinaten betrachtet. Es erstreckt sich eine Längsrichtung X, welche auch als Tiefe X bezeichnet werden kann. Senkrecht zur Längsrichtung X erstreckt sich eine Querrichtung (nicht dargestellt), welche auch als Breite bezeichnet werden kann. Senkrecht sowohl zur Längsrichtung X als auch zur Querrichtung erstreckt sich eine vertikale Richtung Z, welche auch als Höhe Z bezeichnet werden kann.
1 zeigt einen schematischen Längsschnitt durch ein erfindungsgemäßes Schreibgerät 1. 2 zeigt eine schematische seitliche Darstellung des erfindungsgemäßen Schreibgeräts 1 beim Schreiben. Das Schreibgerät 1 ist in diesem Fall ein Stift 1 mit einem Gehäuse 10, welches von einem Benutzer mit den Fingern einer Hand umgriffen werden kann, um den Stift 1 zu halten und zum Schreiben zu führen. Der Stift 1 weist eine Schreibspitze 11 als Stiftspitze 11 auf, welche an dem unteren Ende des Stifts 1 aus dessen Gehäuse 10 herausragt. Die Stiftspitze 11 dient dazu, eine Substanz wie z.B. eine farbige Flüssigkeit auf einen beschreibbaren Untergrund 4 wie z.B. ein Blatt Papier 4 zu übertragen, siehe 2, um dort durch die Bewegung des Stifts 1 durch den Benutzer handschriftliche Zeichen durch Schreiben abzubilden. Die Stiftspitze 11 ist mit einem Substanzspeicher 12 in Form einer Mine 12 verbunden, welche die Substanz enthält und innerhalb des Gehäuses 10 angeordnet ist. Hierdurch kann die Schreibfunktion des Stifts 1 umgesetzt werden.
Erfindungsgemäß weist der Stift 1 im Inneren seines Gehäuses 10 eine Platine auf, welche sich in der Längsrichtung des Stifts 1 von der Mine 12 bis zum oberen Ende des Stifts 1 erstreckt. Von dem Ende der Platine ausgehend, welche der Mine 12 zugewandt ist, ist zunächst ein Kontaktsensor 14 auf der Platine angeordnet, welcher über eine Feder 13 mit der Mine 12 und damit auch mit der Stiftspitze 11 kraftübertragend verbunden ist. Der Kontaktsensor 14 kann über die Feder 13 von der Mine 12 bzw. von der Stiftspitze 11 betätigt werden, falls die Stiftspitze 11 von dem Benutzer auf das Papier 4 gedrückt wird. Dies kann somit sensorisch durch den Kontaktsensor 14 erfasst werden.
Als nächstes zum oberen Ende des Stifts 1 hin ist auf der Platine ein mehrdimensionaler Bewegungssensor 15 in Form eines Inertialsensors 15 angeordnet, welcher auch als Trägheitssensor 15 bezeichnet werden kann und sowohl einen mehrdimensionalen Beschleunigungssensor als auch ein Gyroskop aufweist. Mittels des Inertialsensors 15 kann eine Bewegung des Stifts 1 auf dem Papier 4 in mehreren Raumrichtungen, d.h. mehrdimensional, erfasst und als mehrdimensionale Bewegungssensordaten zur Verfügung gestellt werden.
Als nächstes zum oberen Ende des Stifts 1 hin ist ein Akustiksensor 16 in Form eines Mikrophons 16 auf der Platine angeordnet. Das Mikrophon 16 kann Luftschall aufnehmen, so dass die Geräusche, welche durch die Bewegung des Stifts 1 auf dem Papier 4 entstehen, von dem Mikrophone 16 erfasst und als Akustiksensordaten zur Verfügung gestellt werden können. Die erfassten Akustiksensordaten können vorzugsweise durch das Mikrophone 16 verstärkt werden. Dabei ist es vorteilhaft, dass das Gehäuse 10 des Stifts 1 bis auf die Stiftspitze 11 geschlossen ausgebildet ist, so dass Umgebungsgeräusche reduziert werden können, welche sich störend auf die erfassten Akustiksensordaten auswirken könnten.
Auf der Platine ist ferner eine Steuerungseinheit 17 in Form eines Mikroprozessors 17 angeordnet, welcher die Funktion der übrigen elektronischen Komponenten des Stifts 1 steuern kann. Die Bewegungssensordaten sowie die Akustiksensordaten werden von dem Mikroprozessor 17, welcher ggfs. eine Filterung der Sensordaten vornehmen kann, einer Datenwandlereinheit 18 in Form eines USB-UART-Wandlers 18 übergeben (Universal Serial Bus (USB); Universal Asynchronous Receiver Transmitter (UART)). Die gewandelten Daten können dann über eine Datenübertragungseinheit 19 in Form einer USB-Schnittstelle 19 über ein Kabel an eine Datenverarbeitungseinheit 2 in Form eines Computers 2 übertragen und z.B. auf dessen Datenausgabeeinheit 3 in Form eines Bildschirms 3 angezeigt werden, siehe 2.
Mittels des erfindungsgemäßen Stifts 1 sowie des Computers 2 kann das erfindungsgemäße Verfahren wie folgt umgesetzt werden, siehe 3:
Zunächst erfolgt ein mehrdimensionales Erfassen 100a einer Bewegung des Stifts 1 auf dem Papier 4 mittels des Inertialsensors 15 des Stifts 1. Hierbei wird jedoch mittels des Kontaktsensors 14 überprüft, ob die Stiftspitze 11 von dem Benutzer auf das Papier 4 gedrückt wird, da nur dann das mehrdimensionale Erfassen 100a der Bewegung des Stifts 1 auf dem Papier 4 erfolgt. Unabhängig von dem Kontakt der Stiftspitze 11 mit dem Papier 4 erfolgt parallel ein akustisches Erfassen 100b der Bewegung des Stifts 1 auf dem Papier 4 mittels des Mikrophons 16 des Stifts 1. Vorzugsweise beeinhaltet das akustische Erfassen 100b ein Verstärken der erfassten Akustiksensordaten. Hierdurch können sensorisch sowohl Bewegungssensordaten als auch Akustiksensordaten der Schreibbewegung des Benutzers erfasst werden, welche wie zuvor beschrieben von dem Stift 1 an den Computer 2 übertragen werden können.
Vorzugsweise werden die erfassten Bewegungssensordaten und bzw. oder die erfassten Akustiksensordaten durch das mehrdimensionale Erfassen 100a der Bewegung des Stifts 1 und bzw..oder durch das akustische Erfassen 100b der Bewegung des Stifts 1 als digitale Sensordaten zur Verfügun gestellt und durch zumindest einige der folgenden Schritte, vorzugsweise durch alle im Folgenden beschriebenen Schritte, digital verarbeitet.
Diese Daten können durch den Stift 1 bei Bedarf jeweils oder auch nur für eine Art von Sensordaten wie vorzugsweise die erfassten Bewegungssensordaten in der Datenrate reduziert werden, um die Datenmenge zu reduzieren, welche übertragen und weiterverarbeitet werden muss. Diese Datenreduzierung auf die erfassten Bewegungssensordaten anzuwenden bietet sich an, da beim Schreiben relativ geringe Geschwindigkeiten der Bewegung des Stifts 1 zu erwarten sind, so dass die Charakteristik der Bewegung auch mit einer geringeren Frequenz der erfassten Bewegungssensordaten erfasst werden kann. Gleichzeitig können die reduzierten Daten schneller zu übertragen sowie zu verarbeiten sein.
In dem Computer 2 erfolgt nun ein Filtern 200a der erfassten Bewegungssensordaten sowie ein Filtern 200b der erfassten Akustiksensordaten. Diese Schritte könnten alternativ auch von dem Mikroprozessor 17 des Stifts 1 ausgeführt werden, um den Computer 2 von dieser Aufgabe zu entlasten und bzw. oder um die Umsetzung des erfindungsgemäßen Verfahrens zu beschleunigen. Durch die Filterungen, welche vorzugsweise als Mittelwertbildungen sehr einfach und schnell umgesetzt sein können, kann die Qualität der erfassten Sensordaten jeweils verbessert werden, was sich auf die Qualität der nachfolgenden Schritte positiv auswirken kann.
Anschließend erfolgt eine zusätzliche Verarbeitung der gefilterten Akustiksensordaten, indem zunächst ein Verarbeiten 300 der gefilterten Akustiksensordaten mittels einer normierten Hilbert-Transformation erfolgt. Hierdurch können Störgeräusche in den gefilterten Akustiksensordaten reduziert werden, was die Qualität der nachfolgenden Schritte weiter verbessern kann.
Nichtsdestotrotz erfolgt anschließend ein Beurteilen 400 der Qualität der erfassten Akustiksensordaten dahingehend, ob diese überhaupt für ein anschließendes Klassifizieren 600a, siehe weiter unten, geeignet sein können. Ist dies der Fall, kann ein Klassifizieren 600a basierend auf den erfassten Akustiksensordaten erfolgen, siehe weiter unten. Liegt jedoch z.B. aufgrund von zu starken Störgeräuschen der Umgebung des Stifts 1 eine unzureichende Qualität der erfassten Akustiksensordaten vor, so wird kein Klassifizieren 600a basierend auf den erfassten Akustiksensordaten ausgeführt. Stattdessen endet dieser Pfad des erfindungsgemäßen Verfahrens an dieser Stelle und es erfolgt ein Vernachlässigen 500 der erfassten Akustiksensordaten bei dem Erkennen 800 der handgeschriebenen Zeichen.
Basierend auf den vorverarbeiteten erfassten Bewegungssensordaten sowie vorverarbeiteten erfassten Akustiksensordaten kann nun das eigentliche Erkennen 800 der handgeschriebenen Zeichen unter Berücksichtigung der erfassten Bewegungssensordaten und der erfassten Akustiksensordaten erfolgen.
In einem Unterschritt des Erkennens 800 erfolgt zunächst ein Klassifizieren 600a der erfassten Bewegungssensordaten zu einem handgeschriebenen Zeichen, indem die erfassten Bewegungssensordaten einem neuronalen Netz als Klassifikator der erfassten Bewegungssensordaten zugeführt werden. Das neuronale Netz des Klassifikators wurde im Vorfeld durch Schreibproben auf die Handschrift eines bestimmten Benutzers angelernt, indem alle zu erkennenden handschriftlichen Zeichen beim Schreiben durch das erfindungsgemäße Verfahren erfasst wurden und jeweils dem Verfahren vorgegeben wurde, welches Zeichen gerade vom Benutzer geschrieben wird. Hierdurch konnte das neuronale Netz des Klassifikators auf die Handschrift des Benutzers hinsichtlich der zu erkennenden handschriftlichen Zeichen trainiert werden. Dies erfolgte gleichzeitig für ein neuronales Netz eines Klassifikators für die erfassten Akustiksensordaten.
Der Klassifikator der erfassten Bewegungssensordaten vergleicht in der Anwendung nun die erfassten Bewegungssensordaten mit den zu erkennenden handschriftlichen Zeichen, auf welche er trainiert wurde. Dies führt stets zu einem vermeintlich erkannten handschriftlichen Zeichen, welches der Klassifikator der erfassten Bewegungssensordaten glaubt zutreffend erkannt zu haben und dieses Zeichen daher als Ergebnis des Erkennens 800 ausgeben würde.
Parallel erfolgt ein Klassifizieren 600b der erfassten Akustiksensordaten zu den zu erkennenden handschriftlichen Zeichen, indem die erfassten Akustiksensordaten einem neuronalen Netz als Klassifikator der erfassten Akustiksensordaten zugeführt werden. Dieser Klassifikator der erfassten Akustiksensordaten wurde ebenso wie der zuvor beschriebene Klassifikator der erfassten Bewegungsdaten trainiert, so dass durch den Klassifikator der erfassten Akustiksensordaten in der Anwendung ein Vergleichen der erfassten Akustiksensordaten mit den zu erkennenden handschriftlichen Zeichen erfolgen kann, auf welche er trainiert wurde. Dies führt stets zu einem vermeintlich erkannten handschriftlichen Zeichen, welches der Klassifikator der erfassten Akustiksensordaten glaubt zutreffend erkannt zu haben.
Somit stehen als Ergebnis der Schritte des Klassifizierens 600a der erfassten Bewegungssensordaten sowie des Klassifizierens 600b der erfassten Akustiksensordaten zwei vermeintlich erkannte handschriftliche Zeichen zur Verfügung. Werden dieselben Zeichen erkannt, kann dieses Ergebnis verwendet werden, da kein Grund besteht, dessen Richtigkeit anzuzweifeln. Weichen die beiden erkannten handschriftlichen Zeichen jedoch voneinander ab, so ist eine Entscheidung zu treffen, welches der beiden Zeichen als Ergebnis des Erkennens 800 verwendet werden soll, um eine möglichst hohe Erkennungsgenauigkeit zu erreichen.
Zu diesem Zweck wurden im Vorfeld alle zu erkennenden handschriftlichen Zeichen untersucht. Dabei war bekannt, welches handschriftliche Zeichen jeweils erkannt werden sollte. Wichen dabei die Ergebnisse des Klassifizierens 600a der erfassten Bewegungssensordaten und des Klassifizierens 600b der erfassten Akustiksensordaten voneinander ab, so konnte festgestellt werden, welcher Klassifikator richtig und welcher Klassifikator falsch gelegen hatte. Somit kann für jedes zu erkennende handschriftliche Zeichen aufgrund dieser Untersuchungen festgelegt werden, ob für dieses handschriftliche Zeichen das Klassifizieren 600a der erfassten Bewegungssensordaten oder das Klassifizieren 600b der erfassten Akustiksensordaten zu dem besseren bzw. zu dem richtigen Ergebnis führt und daher maßgeblich sein soll.
Dieser Fall kann beispielsweise bei den Zeichen „0“ und „6“ auftreten, da diese aufgrund der entsprechenden erfassten Bewegungssensordaten vergleichsweise schlecht voneinander unterschieden werden können. Dies ist dadurch begründet, dass die Bewegungen zum Schreiben der Zeichen „0“ und „6“ derart ähnlich sind, dass sich die geringen Unterschiede dieser Bewegungen nicht sicher in den entsprechenden erfassten Bewegungssensordaten widerspiegeln können. Dies kann zu vergleichsweise geringen Erkennungsgenauigkeiten dieser Zeichen basierend auf den erfassten Bewegungssensordaten führen. Bei den Zeichen „0“ und „6“ liegen jedoch akustisch deutlich größere Unterschiede als in der Bewegung des Schreibens vor. Daher kann in diesem Fall das auf den erfassten Akustiksensordaten beruhende Klassifizierungsergebnis das verlässlicheres Ergebnis im Vergleich zu dem auf den erfassten Bewegungssensordaten beruhenden Klassifizierungsergebnis sein.
Diese Erkenntnisse werden durch ein Validieren 700 des aus den erfassten Bewegungssensordaten klassifizierten handgeschriebenen Zeichens durch das aus den Akustiksensordaten klassifizierten handgeschriebenen Zeichen genutzt, indem das Validieren 700 in Abhängigkeit des aus den erfassten Bewegungssensordaten klassifizierten handgeschriebenen Zeichens entweder das aus den erfassten Bewegungssensordaten klassifizierte handgeschriebene Zeichen oder das aus den Akustiksensordaten klassifizierte handgeschriebene Zeichen auswählt.
Mit anderen Worten erhält der Validator ein Zeichen, welches durch das Klassifizieren 600a der erfassten Bewegungssensordaten vermeintlich erkannt wurde. Für dieses Zeichen prüft der Validator, ob das Klassifizieren 600a der erfassten Bewegungssensordaten maßgeblich ist. Ist dies der Fall, muss das Ergebnis des Klassifizierens 600b der erfassten Akustiksensordaten gar nicht betrachtet werden, da ohnehin dem Ergebnis des Klassifizierens 600a der erfassten Bewegungssensordaten gefolgt wird. In diesem Fall wird das Ergebnis des Klassifizierens 600a der erfassten Bewegungssensordaten als Ergebnis des Erkennens 800 der handgeschriebenen Zeichen ausgegeben.
Stellt der Validator jedoch fest, dass für das vermeintlich erkannte Zeichen des Klassifizierens 600a der erfassten Bewegungssensordaten das Ergebnis des Klassifizierens 600b der erfassten Akustiksensordaten maßgeblich ist, so wird das Ergebnis des Klassifizierens 600a der erfassten Bewegungssensordaten verworfen und stattdessen das Ergebnis des Klassifizierens 600b der erfassten Akustiksensordaten als Ergebnis des Erkennens 800 der handgeschriebenen Zeichen ausgegeben.
Hierdurch kann erfindungsgemäß die Erkennungsgenauigkeit für handgeschriebene Zeichen eines bestimmten Benutzers deutlich gegenüber bekannten Verfahren verbessert werden. Dies kann fortlaufend und während des Schreibens erfolgen. Gleichzeitig kann der Aufwand der hierzu erforderlichen Komponenten auf den erfindungsgemäßen Stift 1 sowie den Computer 2 beschränkt werden.
Bezugszeichenliste

X: Längsrichtung; Tiefe
Z: vertikale Richtung; Höhe
1: Schreibgerät; Stift
10: Gehäuse
11: Schreibspitze; Stiftspitze
12: Substanzspeicher; Mine
13: Feder
14: Kontaktsensor
15: Bewegungssensor; Inertialsensor; Trägheitssensor; Beschleunigungssensor und/oder Gyroskop
16: Akustiksensor; Mikrophon
17: Steuerungseinheit; Mikroprozessor
18: Datenwandlereinheit; USB-UART-Wandler
19: Datenübertragungseinheit; USB-Schnittstelle
2: Datenverarbeitungseinheit; Computer
3: Datenausgabeeinheit; Bildschirm
4: beschreibbarer Untergrund; Papier
100a: mehrdimensionales Erfassen einer Bewegung des Schreibgeräts 1 mittels Bewegungssensor 15
100b: akustisches Erfassen der Bewegung des Schreibgeräts 1 mittels Akustiksensor 16
200a: Filtern erfasste Bewegungssensordaten
200b: Filtern erfasste Akustiksensordaten
300: Verarbeiten gefilterte Akustiksensordaten
400: Beurteilen Qualität erfasste Akustiksensordaten
500: Vernachlässigen erfasste Akustiksensordaten
600a: Klassifizieren erfasste Bewegungssensordaten
600b: Klassifizieren erfasste Akustiksensordaten
700: Validieren aus erfassten Bewegungssensordaten klassifiziertes handgeschriebenes Zeichens durch aus Akustiksensordaten klassifiziertes handgeschriebenes Zeichen
800: Erkennen handgeschriebenes Zeichen

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 6592039 B1 [0009]
US 6686579 B2 [0010]
US 6625314 B1 [0012]
US 6577299 B1 [0016, 0018, 0019]
DE 10241328 A1 [0021, 0023]

Claims

Verfahren zur Erkennung handgeschriebener Zeichen, vorzugsweise während des Schreibens, mit wenigstens den Schritten: mehrdimensionales Erfassen (100a) einer Bewegung des Schreibgeräts (1) auf einem beschreibbaren Untergrund (4) mittels wenigstens eines mehrdimensionalen Bewegungssensors (15) des Schreibgeräts (1), akustisches Erfassen (100b) der Bewegung des Schreibgeräts (1) auf dem beschreibbaren Untergrund (4) mittels wenigstens eines Akustiksensors (16) des Schreibgeräts (1), und Erkennen (800) wenigstens eines handgeschriebenen Zeichens unter Berücksichtigung der erfassten Bewegungssensordaten und der erfassten Akustiksensordaten.
Verfahren nach Anspruch 1, gekennzeichnet durch wenigstens die weiteren Schritte: Filtern (200a) der erfassten Bewegungssensordaten, und/oder Filtern (200b) der erfassten Akustiksensordaten.
Verfahren nach Anspruch 2, gekennzeichnet durch wenigstens den weiteren Schritt: Verarbeiten (300) der gefilterten Akustiksensordaten mittels einer schnellen Fourier-Transformation oder mittels einer normierten Hilbert-Transformation.
Verfahren nach einem der vorangehenden Ansprüche, gekennzeichnet durch wenigstens die weiteren Schritte: Klassifizieren (600a) der erfassten Bewegungssensordaten zu wenigstens einem handgeschriebenen Zeichen, und/oder Klassifizieren (600b) der erfassten Akustiksensordaten zu wenigstens einem handgeschriebenen Zeichen.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass das Klassifizieren (600a) der erfassten Bewegungssensordaten und/oder das Klassifizieren (600b) der erfassten Akustiksensordaten mittels jeweils wenigstens eines neuronalen Netzes erfolgt.
Verfahren nach Anspruch 4 oder 5, gekennzeichnet durch wenigstens den weiteren Schritt: Validieren (700) des aus den erfassten Bewegungssensordaten klassifizierten handgeschriebenen Zeichens durch das aus den Akustiksensordaten klassifizierten handgeschriebenen Zeichen.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass das Validieren (700) in Abhängigkeit des aus den erfassten Bewegungssensordaten klassifizierten handgeschriebenen Zeichens entweder das aus den erfassten Bewegungssensordaten klassifizierte handgeschriebene Zeichen oder das aus den Akustiksensordaten klassifizierte handgeschriebene Zeichen auswählt.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das akustische Erfassen (100a) der Bewegung des Schreibgeräts (1) mittels wenigstens eines Akustiksensors (16) des Schreibgeräts (1) erfolgt, welcher innerhalb eines geschlossenen Gehäuses (10) des Schreibgeräts (1) angeordnet ist, und/oder dass das akustische Erfassen (100a) der Bewegung des Schreibgeräts (1) mittels wenigstens eines Akustiksensors (16) des Schreibgeräts (1) erfolgt, welcher ausgebildet und angeordnet ist, die Bewegung des Schreibgeräts (1) mittels Luftschall akustisch zu erfassen.
Verfahren nach einem der vorangehenden Ansprüche, gekennzeichnet durch wenigstens die weiteren Schritte: Beurteilen (400) der Qualität der erfassten Akustiksensordaten, und im Fall einer unzureichenden Qualität der erfassten Akustiksensordaten, Vernachlässigen (500) der erfassten Akustiksensordaten.
Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das mehrdimensionale Erfassen (100a) der Bewegung des Schreibgeräts (1) nur dann erfolgt, wenn ein Kontakt einer Schreibspitze (11) des Schreibgeräts (1) mit dem beschreibbaren Untergrund (4) mittels eines Kontaktsensors (14) erfasst wird.
Computerprogrammprodukt mit einem Programmcode, der auf einem von einem Computer lesbaren Medium gespeichert ist, zur Ausführung eines Verfahrens nach einem der Ansprüche 1 bis 10.
Schreibgerät (1) zur Erfassung handgeschriebener Zeichen, mit einer Schreibspitze (11), welche ausgebildet ist, durch eine Bewegung des Schreibgeräts (1) mittels einer Hand eines Benutzers eine Substanz auf einen beschreibbaren Untergrund (4) zu übertragen, so dass handgeschriebene Zeichen auf dem beschreibbaren Untergrund (4) abgebildet werden können, und mit wenigstens einem mehrdimensionalen Bewegungssensor (15), welcher ausgebildet ist, die Bewegung des Schreibgeräts (1) mehrdimensional zu erfassen, gekennzeichnet durch wenigstens eine Akustiksensor (16), welcher ausgebildet ist, die Bewegung des Schreibgeräts (1) akustisch zu erfassen.
Schreibgerät (1) nach Anspruch 12, dadurch gekennzeichnet, dass der Akustiksensor (16) innerhalb eines geschlossenen Gehäuses (10) des Schreibgeräts (1) angeordnet ist, und/oder dass der Akustiksensor (16) ausgebildet und angeordnet ist, die Bewegung des Schreibgeräts (1) mittels Luftschall akustisch zu erfassen.
Schreibgerät (1) nach einem der Ansprüche 12 oder 13, dadurch gekennzeichnet, dass der Bewegungssensor (15) ein Inertialsensor (15), vorzugsweise ein Trägheitssensor (15), ist, welcher vorzugsweise wenigstens einen Beschleunigungssensor und/oder wenigstens ein Gyroskop aufweist.
Schreibgerät (1) nach einem der Ansprüche 12 bis 14, gekennzeichnet durch wenigstens einen Kontaktsensor (14), welcher ausgebildet ist, einen Kontakt der Schreibspitze (11) mit dem beschreibbaren Untergrund (4) zu erfassen.