-
Erfindungsfeld
-
Die
vorliegende Erfindung betrifft einen Stift zum Aufzeichnen einer
ausgewählten
Sequenz von Zeichen nach dem Oberbegriff von Anspruch 1 sowie ein
Verfahren zum Durchführen
einer derartigen Aufzeichnung nach dem Oberbegriff von Anspruch
7.
-
Hintergrund
der Erfindung
-
Ein
Leser, der einen Text liest, möchte
häufig die
wichtigsten Abschnitte des Textes markieren, um diese einfach wiederfinden
zu können,
wenn er den Text erneut durchsicht, sodass er die nicht relevanten Teile
des Textes nicht mehr zu lesen braucht. Es ist bekannt, zu diesem
Zweck sogenannte Markierungsstifte zu verwenden.
-
Ein
Leser muss unter Umständen
auch ausgewählte
Teile eines Textes zu einem neuen Dokument zusammenstellen, das
in einem Textverarbeitungsprogramm in einem Computer bearbeitet
werden kann. Ein bekanntes Verfahren zum Eingeben von Text in einen
Computer sieht die Verwendung eines Scanners vor. Es gibt stationäre und tragbare Scanner.
Ein stationärer
Scanner wird verwendet, um ganze Textseiten zu scannen, wobei der
Scanner automatisch mit einer konstanten Geschwindigkeit über den
Text geführt
wird. Dieser Typ von Scanner ist nicht für das Scannen von ausgewählten Teilen
eines Textes auf einer Seite geeignet. Zu diesem Zweck kann jedoch
ein tragbarer Scanner verwendet werden.
-
US 5,301,243 gibt einen
Handscanner zum Lesen von Zeichen aus einer Zeichenkette auf einem Substrat
an. Der Scanner, der über
die zu lesenden Zeichen in Kontakt mit dem Substrat geführt wird, weist
ein optisches System auf, das einen kleinen Teil des Substrates „sieht". Das optische System
umfasst einen Zeilensensor des CCD-Typs, der eine Vielzahl von in
einer Reihe angeordneten lichtempfindlichen Elementen aufweist.
Wenn der Scanner über
die Zeichen auf dem Substrat geführt
wird, wird eine Sequenz von vertikalen „Abschnitten" der Zeichen und der
Zwischenräume
zwischen denselben aufgezeichnet. Die „Abschnitte" werden in dem Scanner
in der Form einer digitalen Bitmap gespeichert. Daraufhin wird eine
OCR-Software (OCR: Optical Character Recognition = Optische Zeichenerkennung)
verwendet, um die gescannten Zeichen zu identifizieren und in einem zeichencodierten
Format, d. h. mit Hilfe des ASCII-Codes, im Speicher zu speichern.
Die Zeichenerkennung kann entweder in dem Scanner oder in einem
externen Computer durchgeführt
werden, zu dem die in eine Bitmap umgewandelten Zeichen übertragen
werden.
-
Ein
mit der Verwendung von tragbaren Scannern assoziiertes Problem besteht
darin, dass der Scanner den Abstand zwischen den gescannten „Abschnitten" kennen muss, um
die Zeichen korrekt erkennen zu können. Das bedeutet, dass der
Scanner entweder mit einer konstanten Geschwindigkeit über die
Zeichen geführt
werden muss, was manuell sehr schwer zu bewerkstelligen ist, oder
aber einen sehr genauen Distanzmesser umfassen muss.
-
In
dem oben genannten US-Patent 5,301,243 wird das Abstandsproblem
mit Hilfe eines mechanischen Distanzmessers in der Form eines Rades
gelöst.
Ein mechanischer Distanzmesser umfasst jedoch bewegliche Teile,
was einen Nachteil in Bezug auf die Dauerhaftigkeit und die Herstellung darstellt.
Weiterhin erschwert der Distanzmesser die Aufzeichnung von Informationen
aus einer Zeitung oder ähnlichem,
wenn diese nicht auf einer harten Oberfläche aufliegt. Außerdem beeinträchtigt der Distanzmesser
die Möglichkeit,
die aufzuzeichnenden Informationen einzusehen, weil das Rad die Oberfläche, von
der die Informationen aufzuzeichnen sind, kontaktieren muss, sodass
das die Oberfläche kontaktierende
Ende des Scanners größere Abmessungen
aufweist.
-
Ein
weiteres mit bekannten tragbaren Scannern verbundenes Problem besteht
darin, dass diese stets im wesentlichen in einer vorbestimmten Richtung
ausgerichtet bleiben müssen.
Insbesondere muss der Sensor senkrecht zu der Bewegungsrichtung
des Stiftes ausgerichtet sein, d. h. senkrecht zu der Zeichensequenz.
Wenn ein Scanner in einer anderen Richtung gehalten wird oder während der
Aufzeichnung einer Sequenz von Zeichen um seine Längsachse
gedreht wird, kann der Scanner Schwierigkeiten bei der Erkennung
der aufgezeichneten Zeichen aufweisen, weil keine Richtungsinformationen in
den gescannten „Abschnitten" enthalten sind.
Dies stellt einen schwerwiegenden Nachteil des Standes der Technik
dar, weil verschiedene Individuen einen Scanner häufig auf
unterschiedliche Weise halten. Weiterhin ändert ein Individuum häufig die
Position seiner Hände,
während
sich der Scanner entlang einer Linie bewegt. Dies ist insbesondere
ein Problem, wenn ein Buch oder ähnliches
in einer Hand gehalten wird und Text aufgezeichnet werden soll.
-
US 4,949,391 gibt einen
optischen Scanner ohne Distanzmesser an. Insbesondere umfasst dieser
optische Scanner einen zweidimensionalen Sensor, der Bilder mit
teilweise überlappendem
Inhalt eines Textes aufzeichnet, über den der Scanner geführt wird.
Der Handscanner ist jedoch tatsächlich
nur eine „unintelligente" Aufzeichnungseinheit,
die Zeichen aufzeichnet, ohne sie zu interpretieren. Statt dessen
wird die OCR-Verarbeitung in einem Computer durchgeführt, der
mit dem Scanner verbunden ist. Der Scanner korreliert jeweils nacheinander
aufgezeichnete Bilder, um Spalten mit redundanten Informationen
aus den Bildern zu entfernen, sodass diese weniger Speicherplatz
erfordern. Der Scanner kann nur in einer vorbestimmten Richtung
bewegt werden, die durch ein Rad definiert wird.
-
Zusammenfassung
der Erfindung
-
Es
ist eine Aufgabe der vorliegenden Erfindung, die oben beschriebenen
Probleme des Standes der Technik vollständig oder wenigstens teilweise
zu beseitigen und insbesondere ein Verfahren und einen Stift, der
zum Aufzeichnen einer ausgewählten Sequenz
von Zeichen verwendet werden kann, ohne Hilfe eines Distanzmessers
und ohne die Anforderung einer konstanten Bewegungsgeschwindigkeit anzugeben.
-
In
diesem Zusammenhang ist es eine weitere Aufgabe, ein derartiges
Verfahren und einen derartigen Stift anzugeben, der beliebig um
seine Längsachse
gedreht werden kann, während
eine ausgewählte
Sequenz von Zeichen aufgezeichnet wird, ohne dass die Zuverlässigkeit
der Identifikation der aufgezeichneten Zeichen wesentlich reduziert
wird.
-
Diese
Aufgaben werden durch einen Stift und ein Verfahren zum Aufzeichnen
einer ausgewählten
Zeichensequenz mit den Merkmalen von jeweils den Ansprüchen 1 und
7 gelöst.
-
Wie
oben erwähnt,
werden der Stift und das Verfahren gemäß der Erfindung zum Aufzeichnen
einer ausgewählten
Sequenz von Zeichen durch das Führen
des Stiftes über
die Zeichensequenz verwendet. Die ausgewählte Sequenz kann zum Beispiel
eines oder mehrere Wörter
oder eine oder mehrere ausgewählte
Sätze aus
einem längeren
Text umfassen. Die Zeichen können
Buchstaben, Ziffern oder andere geschriebene Zeichen oder Symbole
sein. Die Zeichen können
von einem Papier oder einem anderen Medium, das sich optisch scannen
lässt,
gescannt werden.
-
Der
Stift umfasst einen lichtempfindlichen Sensor mit einer zweidimensionalen
Sensoroberfläche.
In diesem Kontext ist unter einer zweidimensionalen Sensoroberfläche eine
Sensoroberfläche
zu verstehen, die mehr als ein Pixel in zwei senkrecht zueinander
ausgerichteten Richtungen aufzeichnen kann. Der Sensor ist vorzugsweise
vom CCD-Typ.
-
Er
kann zweidimensionale Bilder in Graustufen oder Farbe aufzeichnen.
Das Bild besteht aus einer Vielzahl von Pixeln, die jeweils durch
einen Intensitätswert
definiert werden. Die Höhe
der Bilder sollte derart beschaffen sein, dass diese Raum für das höchste aufzuzeichnende
Zeichen aufweisen. Die Breite der Bilder kann auf der Basis der
gewünschten Bildaufzeichnungsfrequenz
und der verfügbaren Sensoren
gewählt
werden.
-
Weiterhin
umfasst der Stift eine Signalverarbeitungseinheit, die wenigstens
eine zentrale Verarbeitungseinheit, einen Speicher, Ein-/Ausgabeschaltungen
und Programmanweisungen für
die Implementierung des Verfahrens gemäß der Erfindung umfasst. Die
Signalverarbeitungseinheitumfasst vorzugsweise einen entsprechend
programmierten Mikroprozessor. Die Signalverarbeitungseinheit verwendet
die teilweise überlappenden
Inhalte der Bilder, um die aufgezeichneten Bilder zu einem Bild
zusammenzusetzen. Das Zusammensetzen wird sowohl vertikal als auch
horizontal vorgenommen, sodass vertikale und horizontale Richtungsinformationen
in dem Bild verwendet werden. Daraus resultiert, dass keine Duplizierung
in dem zusammengesetzten Bild auftritt.
-
Wenn
ein Bild zusammengesetzt wurde, identifiziert die Signalverarbeitungseinheit
die Zeichen in dem Bild und speichert diese in einem zeichencodierten
Format in einem Speicher des Stiftes. Das bedeutet, dass der Stift
eine Einrichtung des Standalone-Typs ist. Der Stift ist jedoch in
geeigneter Weise mit einem externen Computer verbunden, sodass die
Informationen zu diesem übertragen
werden können.
Ein zusammengesetztes Bild weist vorzugsweise eine vorbestimmte
Maximallänge
auf. Um die Geschwindigkeit zu erhöhen und die Speicheranforderungen
für aufgezeichnete,
aber noch nicht zusammengesetzte Bilder zu reduzieren, wird das
Zusammensetzen sequentiell während
der Aufzeichnung der Bilder durchgeführt. Durch die Tatsache, dass
das Zusammensetzen in Echtzeit durchgeführt werden kann, werden die
Speicheranforderungen für die
aufgezeichneten Bilder reduziert. Das Zusammensetzen wird normalerweise
fortgesetzt, bis alle aufgezeichneten Bilder zusammengesetzt wurden. Es
wird jedoch unterbrochen, wenn die vorbestimmte maximale Länge des
zusammengesetzten Bilder erreicht wurde. Alternativ hierzu kann
das Zusammensetzen erst durchgeführt
werden, nachdem die Aufzeichnung abgeschlossen wurde, wobei in diesem Fall
eine vorbestimmte maximale Anzahl von Bildern aufgezeichnet werden
kann, die dann zu einem Bild zusammengesetzt werden. Der Stift kann
eine Angabeeinrichtung umfassen, die angibt, wann der Stift zur
Wiederaufnahme der Aufzeichnung bereit ist.
-
Indem
ein Sensor mit einer zweidimensionalen Sensoroberfläche verwendet
wird, mit der Bilder mit teilweise überlappendem Inhalt aufgezeichnet werden
können,
und indem die Bilder zu einem Bild zusammengesetzt werden, kann
die Anforderung einer konstanten Bewegungsgeschwindigkeit oder das Erfordernis
eines Distanzmessers beseitigt werden. Wegen des Inhalts der teilweise überlappenden
Bilder enthalten die Bilder selbst Informationen zu ihrer relativen
Position, d. h. Distanzinformationen, sodass diese Informationen
nicht unter Verwendung eines Distanzmessers aufgezeichnet zu werden
brauchen. Außerdem
kann der Benutzer einen Stift mit einem optionalen Rotationswinkel
relativ zu dem Text halten und kann den Stift sogar während der
Aufzeichnung drehen, ohne dass die Zeichenerkennung beeinträchtigt wird,
weil die überlappenden
Bilder Richtungsinformationen enthalten, die ihre relativen Positionen
angeben. Dadurch wird die Benutzerfreundlichkeit wesentlich verbessert.
-
Vorzugsweise
weist der Stift ein Display auf, sodass der Benutzer die aufgezeichnete
Zeichensequenz lesen kann, ohne diese zuerst zu einem gewöhnlichen
Computer übertragen
zu müssen.
-
Damit
die Zusammensetzung wie oben genannt durchgeführt werden kann, muss eine
bestimmte Überlappung
des Inhalts der aufgezeichneten Bilder vorhanden sein. Der Grad
der Überlappung sollte
größer als
20% und vorzugsweise größer als 50%
sein.
-
Um
den Kontrast in den aufgezeichneten Bildern ausreichend groß vorzusehen
und um eine Unschärfe
aufgrund der Bewegung des Stiftes relativ zu der Zeichensequenz
zu vermeiden, werden die aufzuzeichnenden Zeichen vorzugsweise mit
Lichtimpulsen beleuchtet, während
der Stift über
die Zeichensequenz geführt
wird. Die Beleuchtung kann in geeigneter Weise mittels einer Beleuchtungseinrichtung
wie zum Beispiel einer LED vorgesehen werden, die in oder an der
Vorrichtung angebracht ist. Die Frequenz der Lichtimpulse sollte
der Frequenz der Aufzeichnungsbilder, d. h. der Frequenz zum Lesen
des Inhalts des lichtempfindlichen Sensors entsprechen und mit dieser
synchronisiert sein. Es kann auch ein schneller mechanischer Verschluss
anstelle der gepulsten Beleuchtung verwendet werden. Dafür ist jedoch
eine komplexere Vorrichtung erforderlich.
-
Wenn
die Bilder zusammengesetzt werden, werden die nacheinander aufgezeichneten
Bilder vorzugsweise paarweise in Bezug auf mögliche Überlappungspositionen untersucht,
um die Überlappungsposition
zu bestimmen, die die beste Entsprechung des Inhalts jedes Paares
ergibt. Die auf diese Weise bestimmte Überlappungsposition wird bei
der Zusammensetzung der Bildes des Paares verwendet.
-
Wenn
die beste Überlappungsposition
bestimmt wurde, wird vorzugsweise in Pixelintensitätswert für jedes überlappende
Pixel bestimmt. Der Pixelintensitätswert basiert auf den Intensitätswerten des
betreffenden Pixels in den Bildern des Paares. Die auf diese Weise
bestimmten Pixelintensitätswerte
werden in dem zusammengesetzten Endbild verwendet.
-
Wenn
das Gesamtbild zusammengesetzt wurde, wird das Bild vorzugsweise
in eine Vielzahl von Teilbildern unterteilt, die jeweils ein Zeichen
umfassen. Diese Unterteilung, die keine physikalische Unterteilung
zu sein braucht, sondern auf dem Gesamtbild durchgeführt wird,
dient zur Vorbereitung auf die eigentliche Zeichenerkennung, wobei
vorzugsweise jedes Zeichen separat interpretiert wird. Alternativ
hierzu werden ganze Wörter
oder Teile derselben interpretiert.
-
Die
Unterteilung des Bildes in Teilbilder kann vorgenommen werden, indem
die Intensität
der Pixel zeilen- und spaltenweise in dem zusammengesetzten Bild
addiert werden, um eine Vielzahl von Zeilensummen und eine Vielzahl
von Spaltensummen zu erhalten, wobei dann die lokalen Minima aus
den erhaltenen Zeilensummen und Spaltensummen identifiziert werden.
-
Die
Identifikation der Zeichen in dem zusammengesetzten Bild wird vorzugsweise
mithilfe eines neuronalen Netzes bewerkstelligt.
-
Vorzugsweise
wird in diesem Zusammenhang der Intensitätswert jedes Pixel in einem
Teilbild bestimmt und als Eingabesignal in das neuronale Netz eingegeben,
das dafür
ausgebildet ist, das Zeichen in dem Teilbild anhand der Eingabesignale
zu identifizieren.
-
Vor
der Identifizierung der Zeichen kann das zusammengesetzte Bild bei
Bedarf gedreht werden, sodass die Zeichen in dem Bild eine horizontale
Zeile bilden. Dies erleichtert die Identifizierung.
-
Der
Stift gemäß der Erfindung
kann zum Beispiel zum Aufzeichnen von Text während des Studiums, zum Scannen
von Zahlenwerten, zum Zusammensetzen von neuen Dokumenten auf der
Basis alter Dokumente, die nur in Papierform vorhanden sind, sowie
für viele
andere Anwendung verwendet werden.
-
Kurzbeschreibung
der Zeichnungen
-
Die
vorliegende Erfindung wird im Folgenden anhand von Beispielen beschrieben,
die zeigen, wie die Erfindung realisiert und verwendet werden kann. Die
Beschreibung nimmt auf die beigefügten Zeichnungen Bezug.
-
1 zeigt in schematischer
Weise eine Ausführungsform
eines Markierungsstiftes gemäß der Erfindung,
-
2 ist ein Blockdiagramm
der elektronischen Schaltung in einer Ausführungsform des Markierungsstiftes
gemäß der Erfindung,
-
3 ist ein Flussdiagramm,
das eine Implementierung des Verfahrens gemäß der Erfindung zeigt,
-
4a–4e zeigt
ein Beispiel einer Implementierung des Verfahrens gemäß der Erfindung,
-
5a–5c zeigt
ein anderes Beispiel einer Implementierung des Verfahrens gemäß der Erfindung,
und
-
6a–6c zeigt
ein weiteres Beispiel einer Implementierung des Verfahrens gemäß der Erfindung.
-
Beschreibung
einer bevorzugten Ausführungsform
-
In
der in 1 gezeigten Ausführungsform des
Stiftes gemäß der Erfindung
weist dieser ein Gehäuse 1 mit
annähernd
der Form eines herkömmlichen
Markierungsstiftes auf. Ein kurzes Ende des Gehäuses 1 weist ein Fenster 2 auf,
das gegen ein Speichermedium – gewöhnlich ein
Papierblatt – oder mit
einer kurzen Distanz zu dem Speichermedium, von dem Zeichen aufzuzeichnen
sind, gehalten wird. Die Breite des Fensters 2 wird auf
der Basis der gewünschten
Bildaufzeichnungsfrequenz, der gewünschten maximalen Bewegungsgeschwindigkeit und
der verfügbaren
Sensoren gewählt.
Die Höhe des
Fensters 2 ist etwas größer als
die höchsten
aufzuzeichnenden Zeichen. Das Fenster 2 bildet einen spitzen
Winkel zu der Längsachse
des Stiftes, sodass der Benutzer geführt wird, den Stift mit einem vorbestimmten
Winkel zu dem Papierblatt zu halten. Außerdem ist das Fenster etwas
in das Gehäuse
zurückgezogen,
sodass es nicht aufgrund des Kontaktes mit dem Papier verschleißt.
-
Das
Gehäuse 1 umfasst
im wesentlichen einen optischen Teil 3, einen elektronischen
Teil 4 und eine Stromversorgung 5.
-
Der
optische Teil 3 umfasst eine LED 6, ein Linsenssystem 7 und
einen lichtempfindlichen Sensor 8, der eine Schnittstelle
zu dem elektronischen Teil 4 bildet.
-
Die
LED 6 hat die Aufgaben, den Teil des Speichermediums zu
beleuchten, der sich gerade unter dem Fenster befindet. Eine Streueinrichtung 9 ist
vor der LED 6 angebracht, um das Licht zu streuen.
-
Das
Linsensystem 7 hat die Aufgabe, ein Bild des Teils des
Speichermediums, das sich unter dem Fenster 2 des lichtempfindlichen
Sensors 8 befindet, so genau wie möglich zu projizieren. Wenn
der Sensor 8 einen lichtempfindlichen Bereich aufweist,
der kleiner als das Fenster 2 ist, muss das Linsensystem 7 das
Bild auch verkleinern. Der Fachmann sollte in der Lage sein, eine
Anzahl von verschiedenen Linsensystemen zur Erfüllung dieser Aufgabe zu konstruieren.
-
In
diesem Beispiel besteht der lichtempfindliche Sensor 8 aus
einer zweidimensionalen, quadratischen CCD-Einheit (CCD = ladungsgekoppeltes Element)
mit einem integrierten A/D-Wandler. Derartige Sensoren sind auf
dem Markt erhältlich.
Dabei ist der Sensor 8 mit einem kleinen Winkel zu dem
Fenster 2 auf einer eigenen Leiterplatte 11 montiert.
-
Die
Stromversorgung für
den Stift wird von einer Batterie 12 erhalten, die in einem
separaten Fach 13 im Gehäuse untergebracht ist.
-
Das
Blockdiagramm von 2 zeigt
in schematischer Weise den elektronischen Teil 4. Dieser umfasst
einen Prozessor 20, der über einen Bus 21 mit
einem ROM 22, in dem die Programme des Prozessors gespeichert
sind, einem Lese-/Schreibspeicher 23, der den Arbeitsspeicher
des Prozessors bildet und in dem die Bilder von den Sensoren sowie
die identifizierten und interpretierten Zeichen gespeichert sind,
einer Steuerlogikeinheit 24 sowie einem Sensor 8 und
der LED 6 verbunden. Die Steuerlogikeinheit 24 ist
wiederum mit einer Anzahl von Peripherieeinheiten verbunden: mit
einem Display 2 im Gehäuse,
einem IR-Sendeempfänger zum Übertragen
von Informationen zu/von einem externen Computer, Tasten 27, über die
der Benutzer die Vorrichtung steuern kann, einer Verfolgungs-LED 28,
die einen Lichtstrahl emittiert, der es dem Benutzer erleichtert,
dem Text zu folgen, und einer Angabeeinrichtung 29 wie
z. B. einer LED, die angibt, dass der Stift zum Aufzeichnen von
Zeichen bereit ist. Steuersignale für die Speicher, den Sensor
und die Peripherieeinheiten werden in der Steuerlogikeinheit 24 erzeugt.
Die Steuerlogikeinheit handhabt auch die Erzeugung und Prioritätenvergabe
für Unterbrechungen
des Prozessors. Auf die Tasten 27, den IR-Sendeempfänger 26, die
Anzeige 25, die Verfolgungs-LED 38 sowie die LED 6 wird
durch den Prozessor zugegriffen, der in dem Register in der Steuerlogikeinheit
schreibt und liest. Die Tasten 27 erzeugen Unterbrechungen
für den
Prozessor 20, wenn sie betätigt werden.
-
Der
Stift wird wie folgt betrieben. Ein Benutzer hält den Stift gegen ein Papierblatt
mit Text an der Position, wo er die Aufzeichnung einer Zeichensequenz
beginnen möchte.
Er drückt
eine Taste 27, um den Stift zu aktivieren, und führt den
Stift über
den aufzuzeichnenden Text, wobei er dem Text wie beim Lesen folgt.
Die Verfolgungs-LED 28 emittierte einen Lichtstrahl, der
das Verfolgen der Zeilen erleichtert. Wenn der Benutzer den Stift
aktiviert, weist der Prozessor 20 die LED 6 an,
mit dem Ausgeben von Lichtimpulsen mit einer vorbestimmten Frequenz
von 25 Hz zu beginnen, wobei die durch den Sensor aufgezeichneten
Bilder mit derselben Frequenz in dem Lese-/Schreibspeicher 23 gespeichert
werden. Der in der Form von Bildern gespeicherte Text erfordert
jedoch einen großen
Speicherplatz und kann nicht unmittelbar durch einen Computer in
beispielsweise einem Textverarbeitungsprogramm verwendet werden. Folglich
werden die Zeichen in den Bildern identifiziert und als ASCII-Code gespeichert.
Wenn der Benutzer den Stift über
eine ausgewählte
Sequenz von Zeichen geführt
hat oder zum Ende einer Zeile gelangt ist, hebt er den Stift vom
Papier und lässt
die Aktivierungstaste los, worauf der Prozessor 20 die LED 6 ausschaltet.
Wenn die ausgewählten
Zeichensequenzen aufgezeichnet wurden, kann der Benutzer den Stift
steuern, um den aufgezeichneten Text auf dem Display 25 anzuzeigen
oder den Text über den
IR-Sendeempfänger 12 zu
einem externen Computer zu senden. Die Möglichkeit zum direkten Anzeigen
der gescannten Zeicheninformationen auf dem Display hat sich als
sehr nützlich
erwiesen, weil ein Benutzer häufig
prüfen
will, ob das richtige Zeichen gescannt wurde.
-
Das
Flussdiagramm von 3 zeigt
eine Implementierung des Verfahrens gemäß der Erfindung. In Schritt 301 werden
Bilder mit überlappendem
Inhalt mithilfe des oben beschriebenen Stiftes gescannt und in einem
aktuellen Bildbereich des Lese-/Schreibspeichers 23 gespeichert.
Die Bilder werden als Bilder gespeichert, d. h. als Informationen
zu einer Vielzahl von Pixeln, die jeweils einen Graustufenwert in
einem Bereich von Weiß bis
Schwarz aufweisen.
-
Sobald
ein ganzes Bild in dem aktuellen Bildbereich gespeichert ist, wird
in Schritt 302 unmittelbar das Zusammensetzen des Bildes
mit dem vorausgehenden Bild begonnen, wenn ein solches Bild verfügbar ist.
Wenn kein vorausgehendes Bild vorhanden ist, wird das aktuelle Bild
direkt in einen Zeilenbildbereich des Lese-/Schreibspeichers eingegeben.
-
Um
zu bestimmen, wie das aktuelle Bild mit dem vorausgehenden Bild
zusammengesetzt werden soll, sodass die beste Entsprechung zwischen dem
Inhalt der Bilder erhalten wird, wird jede mögliche Überlappungsposition zwischen
den Bildern auf Pixelebene untersucht und wird eine Überlappungsmessung
wie folgt bestimmt:
- 1) Für jede überlappende Pixelposition werden die
Graustufenwerte der zwei enthaltenen Pixel addiert, wenn diese nicht
weiß sind.
Eine Pixelposition, bei der keines der Pixel weiß ist, wird als eine Plusposition
bezeichnet.
- 2) Die Graustufensummen für
alle Pluspositionen werden addiert.
- 3) Die Nachbarn jeder Pixelposition werden untersucht. Wenn
eine überlappende
Pixelposition kein Nachbar einer Plusposition ist und aus einem
weißen
und einem nichtweißen
Pixel besteht, wird der – möglicherweise
mit einer Konstante multiplizierte – Graustufenwert des nicht-weißen Pixels von
der Summe in Punkt 2 subtrahiert.
- 4) Die Überlappungsposition,
die das höchste Überlappungsmaß aufweist,
wird wie oben genannt ausgewählt.
In dem resultierenden zusammengesetzten Bild wird der Mittelwert
des Graustufenwertes der überlappenden
Pixel verwendet. Auf diese Weise kann ein Rauschen in dem Überlappungsbereich
unterdrückt
werden. Das Zusammensetzen wird auf diese Weise sowohl vertikal
und vertikal durchgeführt.
Wenn festgestellt wird, dass Bilder nach dem Zusammensetzen keine
horizontale Linie ergeben, wird das zusammengesetzte Bild in geeigneter
Weise angepasst, sodass es horizontal wird, indem das zusammengesetzte
Bilde beispielsweise gedreht wird.
-
Das
zusammengesetzte Bild entwickelt sich nach und nach in dem Zeilenbildbereich
des Lese-/Schreibspeichers. Vorzugsweise ist der Zeilenbildbereich
ausreichend groß,
um eine A4-Zeile eines normal geschriebenen Textes zu speichern.
-
In
Schritt 303 unterteilt die Software des Prozessors 20 das
zusammengesetzte Bild in dem Zeilenbildspeicherbereich in Teilbilder,
die jeweils nur ein Zeichen enthalten. Dies geschieht, um Eingabesignale
für eine
neuronale Netzsoftware zur Interpretation der Zeichen zu erzeugen.
Die Unterteilung wird vorgenommen, indem die Graustufenwerte der
Pixel für
jede Pixelzeile und jede Pixelspalte in dem zusammengesetzten Bild
addiert werden. Indem die erhaltenen lokalen Intensitätsminima
für die
Zeilensummen und Spaltensummen untersucht werden, können Grenzen
für die
Ausdehnung jedes Zeichens in dem Bild bestimmt werden.
-
Wenn
das zusammengesetzte Bild mehr als eine Textzeile enthält, was
der Fall sein kann, wenn der Text klein ist, müssen die Textzeilen getrennt
werden und muss die betreffende Zeile ausgewählt werden, bevor die Unterteilung
in Teilbilder durchgeführt wird.
Die Trennung kann unter Verwendung einer Technik durchgeführt werden,
die derjenigen für
die Unterteilung in Teilbilder ähnlich
ist.
-
In
Schritt 304 wird jedes der Teilbilder auf ein vorbestimmtes
Pixelformat herunterskaliert, indem das Teilbild in eine Gruppe
von Pixeln unterteilt wird, die jeweils durch ein Pixel ersetzt
werden, dessen Graustufenwert dem Mittelwert der Graustufenwerte der
in der Gruppe enthaltenen Pixel entspricht. Falls erforderlich,
kann eine ähnliche
Herunterskalierung zwischen anderen Schritten in dem Verfahren gemäß der Erfindung
durchgeführt
werden. Weiterhin wird das Zeichen mit Bezug auf seinen Balancepunkt
zentriert und werden die Graustufenwerte normalisiert, sodass die
Summe des Quadrats des Graustufenwertes jedes Pixels ein fixer Wert
ist.
-
Dann
wird in Schritt 305 jedes Zeichen in dem zusammengesetzten
Bild der Zeichensequenz interpretiert. Die Graustufenwerte der Pixel,
die zusammen ein Teilbild mit nur einem Zeichen bilden, werden als
Eingabesignale in ein neuronales Netz eingegeben. Jede Ausgabe aus
dem neuronalen Netz gibt ein Zeichen wieder, das das Netz identifizieren
kann. Die Ausgabe aus dem Netz mit dem höchsten Ausgabesignal wird gewählt, und
das derart ausgewählte
Zeichen wird in Schritt 306 unter Verwendung eines vorbestimmten
Zeichencodeformats wie beispielsweise dem ASCII-Code in dem Lese-/Schreibspeicher 23 in
einem Speicherbereich für interpretierte
Zeichen gespeichert. Wenn das Identifizieren und Speichern der Zeichen
im zeichencodierten Format abgeschlossen ist, aktiviert der Prozessor in
Schritt 307 die Angabeeinrichtung 29, um den Benutzer
darüber
zu informieren, dass der Stift zum Aufzeichnen einer neuen Zeichensequenz
bereit ist. Daraufhin wird zu Schritt 301 zurückgekehrt.
-
Die
oben beschriebenen Schritte werden durch den Prozessor 20 mithilfe
der assoziierten Einheiten und einer geeigneten Software ausgeführt. Eine
derartige Software kann durch einen Fachmann mithilfe der oben beschriebenen
Erläuterungen
erstellt werden. Die Zeichenerkennung wird mithilfe der neuronalen
Netzsoftware durchgeführt,
die in entsprechender Weise trainiert wird. Eine derartige neuronale
Netzsoftware ist zum Beispiel von MATLAB Neural Network Toolbox,
The MathWorks Inc., 24 Prime Park Way, Natick, MA 02760, USA erhältlich.
-
4a–4e zeigen,
wie das Verfahren gemäß der Erfindung
arbeitet, wenn die Zeichensequenz „Flygande bäckasiner" gescannt wird. 4a zeigt den Text auf einem
Papierblatt, das auch einen bestimmten Grad von „Punktrauschen" in der Form von kleinen
schwarzen Punkten aufweist. 4b zeigt die
mithilfe des Sensors aufgezeichneten Bilder. Wie aus dieser Figur
deutlich wird, überlappt
der Inhalt der Bilder teilweise. Der Buchstabe 1 erscheint vollständig in
Bild Nr. 1 und teilweise in Bild Nr. 2. Der Grad der Überlappung
hängt von
der Bewegungsgeschwindigkeit ab, d. h. von der Geschwindigkeit,
mit der der Benutzer die Vorrichtung über den Text relativ zu der
Frequenz, mit der der Inhalt aus dem Sensor ausgelesen wird, führt. 4c zeigt, wie das ganze zusammengesetzte
Bild aussieht. Dabei ist zu beachten, dass das Bild noch in der
Form von Pixeln gespeichert ist. 4d zeigt
die Unterteilung des ganzen Bildes in Teilbilder. 4e zeigt die skalierten und normalisierten
Buchstaben, die als Eingabesignale in das neuronale Netz verwendet
werden. Wenn das Verfahren implementiert wurde, wird der Text „Flygande
bäckasiner" als ASCII-Code in
dem Lese-/Schreibspeicher des Stiftes gespeichert.
-
In
dem gezeigten Beispiel wurde der Stift gerade gehalten und während der
Aufzeichnung der Zeichensequenz überhaupt
nicht gedreht. Wenn der Stift mit einem konstanten Winkel um seine
Längsachse
gedreht worden wäre,
würden
die Bilder wie diejenigen von 5a aussehen.
Wenn in diesem Fall die Bilder zusammengesetzt werden, wird das
in 5b gezeigte schiefe
Bild erhalten, das gedreht werden muss, um die horizontale Zeichensequenz von 5c zu erhalten. Um zu bestimmen,
wie groß die
durchzuführende
Drehung sein muss, wird die Position der Zeichen in dem zusammengesetzten Bild
an einer Reihe von Stellen festgestellt.
-
Wenn
der Stift währen
der Aufzeichnung um seine Längsachse
gedreht wird, ist die Neigung der Bilder anders. Ein Beispiel hierfür ist in 6a gezeigt. Wenn die Bilder
zusammengesetzt werden, wird wie in 6b eine
gewellte Zeichensequenz erhalten. Diese kann zu einer horizontalen
Zeile geglättet
werden, indem die Position der Zeichen in dem zusammengesetzten
Bild an einer Vielzahl von Stellen festgestellt wird und in dem
verschiedene Segmente in unterschiedlicher Stärke gedreht werden (siehe 6c).