DE69515371T2

DE69515371T2 - Suche und Vergleich von nicht-erkannter Handschrift

Info

Publication number: DE69515371T2
Application number: DE69515371T
Authority: DE
Inventors: Todd A. Cass; Alex D. Poon; Karon Anne Weber
Original assignee: Xerox Corp
Current assignee: Xerox Corp
Priority date: 1994-06-06
Filing date: 1995-06-02
Publication date: 2000-07-27
Anticipated expiration: 2015-06-03
Also published as: JP3483982B2; US5687254A; EP0686931A2; EP0686931B1; EP0686931A3; DE69515371D1; JPH07334296A

Description

Die vorliegende Erfindung betrifft allgemein Informationsverarbeitung in Systemen, die Krakel als Eingabe akzeptieren, und insbesondere ein System und ein Verfahren zum Aufzeichnen eines auf Krakeln basierenden Targetdaten-Gegenstandes für einen substantiell identischen Daten-Gegenstand oder für mehrere solche Daten-Gegenstände in einer Datenstruktur von auf Krakeln basierenden Daten, ohne Ausführen von herkömmlichen Erkennungstechniken an den auf Krakeln basierenden Daten.
Einige prozessorgesteuerte Informationssysteme, wie z. B. tragbare Rechengeräte, die unterschiedlich als Notebook-Computer, persönliche Digitalassistenten (personal digital assistants PDAs), persönliche Nachrichtenübermittler oder persönliche Interaktiv-Geräte bekannt sind, verwenden ein stiftartiges Eingabegerät, um Daten in Form von herkömmlichen Blockbuchstaben oder handschriftartigen Zeichen ähnelnden Krakeln oder in Form von grafischen Bildern, Formen oder Symbolen einzugeben. Bei einigen Programmen werden die Krakeldaten so gespeichert, wie sie eingegeben werden. Typischerweise sind jedoch die auf Krakel basierenden Daten nur in einer Datenform vorhanden, die als von begrenzter oder keiner vorhandenen Nützlichkeit angesehen wird, und werden dann beseitigt, sobald sie in eine übliche in einem Prozessor nutzbare Datenform gewandelt sind. So wird bei vielen Behandlungssystemen für auf Krakeln basierenden Daten angenommen, dass es notwendig ist, Erkennungsvorgänge an den auf Krakeln basierenden Daten auszuführen, um die Handschrift- oder Bildeingaben in vorher festgelegte "erkannte" Formen zu wandeln, wie Kreise, Rechtecke oder gerade Linien, oder in standardkodierte Zeichendarstellungen, wie in das als ASCII bekannte Standarddatenformat, damit die Daten zur Verwendung in auf Prozessor basierenden Standardanwendungen, wie Wortverarbeitung, Elektronikmail, Zeichnungen, Grafiken und auf Daten beruhenden Anwendungen geeignet sind. Ein Beispiel eines solchen Systems ist das von Apple® Computer, Cupertino, California, erhältliche Newtons MessagePad, das einen Handschrift-Erkennungsvorgang an der handschriftlichen Eingabe des Benutzers ausführt und die erkannten Daten beispielsweise als Kalendereinträge, Adressen und Fernsprechnummern und als Text zur Verwendung bei ElektronicMail-Nachrichten speichert.
Wegen der gegenwärtigen Probleme mit Handschrift-Erkennung könnte die Nutzbarkeit von Systemen, die Krakel als Eingabe annehmen, verbessert werden, wenn etwas Funktionalität ermöglicht würde, ohne ausdrücklich die Erkennung von auf Krakeln basierenden Daten zu erfordern. Ein als "aha!TM InkWriterTM" bekanntes Software-Produkt von aha!TM Software Corporation, Mountain View, California sorgt für Editierfunktionen, die anscheinend auf den auf Krakeln basierenden Daten selbst basieren. Das aha!TM InkWriterTM Handbuch 1993 gibt an, dass die Software einige funktionale Fähigkeiten zur Verarbeitung von auf Krakeln basierenden Daten für den Benutzer ergibt, gleichartig denen, die in einer herkömmlichen Wortverarbeitungsanwendung geschaffen werden, ohne zunächst zu erfordern, dass der Benutzer ausdrücklich einen Handschrift-Erkennungsvorgang einleitet. Das Handbuch gibt auch an, dass die handgeschriebene Eingabe in das "übersetzt" wird, was als "Computertext" oder nur als "Text" bezeichnet wird. Darstellungen in dem Handbuch bezeichnen, dass "Übersetzung" einem herkömmlichen Handschrift-Erkennungsvorgang entspricht.
InkWriter ergibt auch eine Wort- oder Zeichensuchfähigkeit. Zum Suchen gehört das Auswählen des zu durchsuchenden Dokuments durch den Benutzer und das Auswählen der Findefunktion aus dem Editiermenu; in Reaktion auf die Auswahl der Findefunktion eröffnet sich ein Findedialog. Der Benutzer "druckt" (schreibt in Blockbuchstaben) das Wort, das er zu finden wünscht. Das Handbuch stellt fest, dass das Wort, das der Benutzer in Blockschrift in das Findedialogblatt schreibt, unmittelbar übersetzt wird. Wird das Wort gefunden, so erscheint das Wort "gefunden" in dem Ergebnisabschnitt des Findeblatts, und das Wort wird gewählt. Da die in dem aha! InkWriter Handbuch beschriebene Suchfähigkeit von dem Ausführen der Handschrift-Erkennung an dem durch den Benutzer eingegebenen gesuchten Wort abhängt, erscheint es als vernünftig, zu schließen, dass die Handschrift-Erkennung an der Schrift in dem zu suchenden Dokument ausgeführt wird, auch wenn der Benutzer keinen Bestätigungsschritt unternommen hat, um die Schrift in Computertext zu übersetzen, und trotz der Tatsache, dass das Geschriebene für den Benutzer nicht als Computertext angezeigt wird. Die Fähigkeit, Worte in Dokumenten mit Benutzung der InkWriter Software erfolgreich aufzusuchen, hängt dann von der Genauigkeit und Robustheit des Übersetzungs- oder Erkennungsvorgangs ab. Das Handbuch stützt diesen Schluß durch Anweisen des Benutzers, das Gesuchte zu "drucken" (in Blockbuchstaben einzugeben), statt in Normalschrift zu schreiben, falls der Benutzer mehreres zu suchen plant.
Ein Erkennungssystem wandelt ein auf Krakeln beruhendes Dateneingabe-Target, wie Handschrift, in eine computerkodierte oder für den Menschen verständliche Form durch Auftragen oder Klassifizieren desselben als eine von vielen bekannten Schablonen oder Prototypen des Krakels, die in einer Art Referenzdatenstruktur gespeichert werden; ein erfolgreiches Auftragen identifiziert die computerkodierte oder für den Menschen verständliche Form des Krakels oder identifiziert dessen Schreiber. Solche Systeme fallen typischerweise in eine der Kategorien der Handschrifterkennung, Unterschriftüberprüfung und Schreiberidentifizierung.
Ein wichtiges Merkmal jedes dieser Arten von Erkennungssystemen ist die Natur der Referenzdatenstruktur, gegen welches die Targeteingaben aufzuzeichnen sind. Eine Refe renzdatenstruktur von Schablonen- oder Prototyp-Datenobjekten enthält etwas, das als "eingeschriebene" Datengegenstände bezeichnet werden kann, d. h. Datengegenstände, die in die Referenzdatenstruktur zu dem besonderen Zweck eingegeben werden, die Klassifizierung von Targeteingaben zu ermöglichen; die Daten, die jedes eingeschriebene Datenobjekt umfassen, sind ausdrücklich für die Merkmale, Kenngrößen oder Veränderungen in den Daten hergestellt, die von möglichen Targets erwartet werden können. Die Genauigkeit und Zuverlässigkeit eines Erkennungssystems ist dann direkt auf die Qualität der Herstellung und Kennzeichnung der auf Krakeln basierenden Daten der Referenzschablonen bezogen, zu denen ein Targetkrakel aufgezeichnet wird. Die große Veränderbarkeit bei Handschrift-Schreibarten bei den möglichen Benutzern von PDA-Geräten, zusammen mit einer Vielzahl von Umgebungsfaktoren, die die normale Handschrift eines Benutzers beeinflussen oder ändern können, machen die Entwicklung von breiten, aber genauen Referenzschablonen zu einer sehr schwierigen Aufgabe.
Solange Handschrift-Erkennungssysteme unzuverlässige, fehlerträchtige Ergebnisse erzeugen, ist der breitere Gebrauch und die Nutzbarkeit von Systemen, welche Krakel als Eingabe annehmen, bedeutsam durch die Abhängigkeit dieser Systeme von der Anwendung eines Erkennungsvorgangs bei den auf Krakeln basierenden Daten begrenzt.
Die vorliegende Erfindung erzeugt eine neuartige Technik zur Bestimmung, ob ein auf Targetkrakeln beruhendes Datensystem in einem auf Krakeln basierenden Datenkörper (hiernach die "auf Krakeln basierende Datenstruktur" genannt) auftritt, die bei handschriftlichen Aufzeichnungen oder Dokumenten, die kursiv geschriebene oder in Blockschrift "gedruckte" Handschrift, wie auch grafische Bilder oder Symbole enthalten, ohne ein Erkennungsverfahren entweder an die auf Krakeln basierenden Targetdaten oder die auf Krakeln basierende Datenstruktur anzuwenden. Die vorliegende Erfindung bringt so Vorteile für die Gesamtnutzbarkeit von Systemen, die Krakel als Eingabe nehmen, durch Reduzieren der Abhängigkeit dieser Systeme von dem Erfolg eines Handschrift-Erkennungsvorgangs. Das Bestimmen des Auftretens eines Targetkrakels in einer auf Krakeln basierenden Datenstruktur sorgt für die Möglichkeit, eine Vielzahl von Verarbeitungsfunktionen einschließlich einer Suchfunktion auszuführen, die einen Benutzer mit einem Bild der auf Krakeln basierenden Datenstruktur versorgen kann, welche den Ort oder die Orte des Targetkrakels hervorhebt, und einer Funktion, die einer "Finden und Ersetzen"-Funktion in einer Wortverarbeitungsanwendung analog ist, und bei der der geortete Targetkrakel durch einen zweiten Targetkrakel ersetzt werden kann. Zusätzlich können im Zusammenhang mit Software, die ein Schlüsselwortverzeichnis der Datenstruktur aufbaut, Krakel als Schlüsselworte benutzt werden, um eine auf Krakeln basierende Datenstruktur aufzulisten, ohne eine Erkennung an entweder den Schlüsselwortkrakeln oder der auf Krakeln basierenden Datenstruktur auszuführen.
Ein anderer Vorteil der Passungs- (oder Vergleichungs-) Technik der vorliegenden Erfindung ist ihre Fähigkeit, die Auswirkung der stilistischen Veränderungen der Schreiber gegeneinander auf die Genauigkeit des Vergleichungsvorgangs zu minimieren, in dem zugelassen wird, dass der zum Suchen benutzte Targetkrakel aus der zu durchsuchenden auf Krakeln basierenden Datenstruktur ausgewählt wird falls sie dort vorhanden ist. Ein erster Schreiber, der die handgeschriebenen Bemerkungen eines zweiten Schreibers durchsieht, welche ein bestimmtes Konzept oder eine Idee ausdrücken, kann nach all dem Auftreten diesen Konzeptes oder dieser Idee in den Bemerkungen suchen, durch Auswählen derselben als zu suchendem Targetkrakel. Der Targetkrakel besitzt dann stilistische Eigenheiten des Originals, des zweiten Schreibers und der Krakel in den übrigen Bemerkungen, wodurch wahrscheinlich die Passungs- oder Vergleichungs-Ergebnisse verbessert werden.
Die vorliegende Erfindung beruht auf der Entdeckung, dass vernünftig genaue Krakelpassung zwischen einem Targetkrakel und einem Krakel in der auf Krakeln basierenden Datenstruktur durch Benutzen irgendeiner verschiedener Signalvergleichs-Techniken zur Übereinstimmungs-Suche bei einem Targetkrakel mit jedem Krakel in der auf Krakeln basierenden Datenstruktur erreicht werden kann, bis alle Krakel mit dem Target verglichen worden sind, um zu bestimmen, ob und wo der Targetkrakel in der auf Krakeln basierenden Datenstruktur enthalten ist. Wegen der Unterschiedlichkeit der Schreiber beim Eingeben von auf Krakeln basierenden Daten kann ein als Target vorgesehener Einzelkrakel in der auf Krakeln basierenden Datenstruktur als eine Folge von zwei oder mehr Krakeln auftreten, oder ein in der auf Krakeln basierenden Datenstruktur enthaltener einziger Krakel kann als eine Folge von zwei oder mehr Targetkrakeln eingegeben worden sein. Die Erfindung sorgt für Verkettung einer Folge von Targetkrakeln zu einer Einzelgruppe von Abtastdatenpunkten zum Zwecke der Ausführung eines Signalvergleichs. Da es möglich ist, dass das Target in der auf Krakeln basierenden Datenstruktur entweder mit einem Einzelkrakel oder einer Folge von Krakeln zur Passung gebracht werden kann, schafft die Erfindung eine Gruppierung von Abtastdatenpunkten aus der auf Krakeln basierenden Datenstruktur als Eingabe für den Signalvergleichsvorgang mit dem Krakel. Das Schaffen solcher Gruppierungen von Abtastdatenpunkten aus der auf Krakeln basierenden Datenstruktur zum Vergleich verringert die Auswirkung der Handschrift- Variationen der Schreiber auf die Fähigkeit der Erfindung, Übereinstimmungen herzustellen, und verbessert so die Genauigkeit.
Deswegen wird gemäß der vorliegenden Erfindung ein Verfahren des Betreibens eines Systems geschaffen, das eine Signalquelle zum Bereitstellen von auf Krakeln basierenden Daten, einen Speicher zum Speichern von auf Krakeln basierenden Daten und einen zum Empfang von Signalen angeschlossenen Prozessor enthält. Das Verfahren umfasst das Aufnehmen von auf Krakeln basierenden Targetdaten von der Signalquelle. Die auf Krakeln basierenden Targetdaten beruhen auf einem ersten Krakel und enthalten eine Vielzahl von Abtast-Datenpunkten, die einen ersten Bewegungspfad während eines ersten Zeitraums eines Target-Krakels bezeichnen. Eine in dem Systemspeicher gespeicherte, auf Krakeln beruhenden Datenstruktur ist vorgesehen, die Information über Krakeln bezeichnet und für jeden jeweiligen Krakel eine Vielzahl von Abtast-Datenpunkten enthält, welche einen jeweiligen Bewegungspfad über einen Zeitraum des jeweiligen Krakels bezeichnen. Die zweite Vielzahl von Abtastdatenpunkten ist in eine Vielzahl von Korpuskrakelfolgen gruppiert, die jeweils mindestens zwei Abtastdatenpunkte enthalten. Dann werden die Target-Krakeldaten mit jeder Korpus-Krakelfolge verglichen, um zu bestimmen, ob die Target-Krakeldaten mit einer der Korpus-Krakelfolgen übereinstimmen. Eine Liste von Korpus-Krakelfolgen, die mit den Target- Krakeldaten übereinstimmen, wird erzeugt. Die Liste enthält für jede Korpus-Krakelfolge den Ort in der auf Krakeldaten basierenden Struktur der übereinstimmenden Korpus-Krakelfolge.
Gemäß einem anderen Aspekt der vorliegenden Erfindung wird ein prozessorgesteuertes System geschaffen, welches umfasst: eine Signalquelle zum Schaffen von auf Krakeln basierenden Targetdaten, die eine erste Vielzahl von Abtastpunkten einschließen, die einen ersten Bewegungspfad während eines ersten Zeitraums eines ersten Krakels enthalten; einen zum Empfangen der auf Krakeln beruhenden Targetdaten von der Signalquelle angeschlossenen Prozessor, und einen Speicher zum Speichern von Daten. Die in dem Speicher gespeicherten Daten enthalten Befehle, die der Prozessor ausführen kann, und eine auf Krakeln basierende Datenstruktur, die Information über Krakeln bezeichnet und für jeden jeweiligen Krakel eine Vielzahl von Musterdatenpunkten enthält, die einen jeweiligen Bewegungspfad über einen jeweiligen Zeitraum des jeweiligen Krakels bezeichnen. Der Prozessor ist auch zum Zugriff auf die in dem Speicher gespeicherten Daten angeschlossen. Der Prozessor gruppiert beim Ausführen der Befehle in Reaktion auf den Empfang der auf Krakeln basierenden Targetdaten von der Signalquelle die zweite Vielzahl von Abtast-Datenpunkten zu einer Vielzahl von Korpus- Krakelfolgen, von denen jede Korpus-Krakelfolge mindestens zwei Musterdatenpunkte enthält. Der Prozessor vergleicht dann die auf Krakeln basierenden Targetdaten mit jeder Korpus- Krakelfolge, um zu bestimmen, ob die auf Krakeln basierenden Targetdaten mit einer der Korpus-Krakelfolgen übereinstimmen, und erzeugt eine Übereinstimmungsliste von Korpus- Krakelfolgen, welche mit den auf Krakeln basierenden Targetdaten übereinstimmen. Die Übereinstimmungsliste enthält für jede Korpus-Krakelfolge den Ort der auf Krakeln basierenden Datenstruktur der übereinstimmenden Korpus-Krakelfolge.
Die vorliegende Erfindung wird weiter beispielsweise mit Bezug auf die beigefügten Zeichnungen beschrieben, in welchen:
Fig. 1 einen Krakel und auf einem Krakel basierende Daten darstellt;
Fig. 2 ein vereinfachtes Blockschaltbild ist, das ein System zum Betreiben der vorliegenden Erfindung und ein Software-Produkt darstellt, in dem die vorliegende Erfindung ausgeführt werden kann;
Fig. 3 ein Flussdiagramm ist, das die allgemeinen Schritte des Suchens und Vergleichens von auf Krakeln basierenden Daten gemäß der vorliegenden Erfindung darstellt;
Fig. 4 ein Flussdiagramm ist, dass die Schritte des Vergleichens einer Target-Krakelgruppe mit auf Krakeln basierenden Datengruppen in einer auf Krakeln basierenden Datenstruktur gemäß einer Soffware-Verwirklichung der vorliegenden Erfindung darstellt;
Fig. 5 ein Flussdiagramm ist, dass die Teilschritte des in Fig. 4 dargestellten Vergleichsschritts gemäß der dargestellten Ausführungsform der vorliegenden Erfindung darstellt; und
Fig. 6 eine Grafik einer beispielhaften Strichfunktion ist, die für den Krakel der Fig. 1 zur Verwendung bei dem Signalvergleichsvorgang der Fig. 5 gemäß dieser Erfindung aufgestellt wurde.
Die folgenden Ausdrücke ergeben den Rahmen zum Beschreiben der Ausführungsform der beanspruchten Erfindung, wie sie in den beigefügten Zeichnungen dargestellt ist. Ein "Krakel" ist das Ergebnis einer Ausdrucksbewegung. Fig. 1 stellt einen Krakel 10 dar, der dem englischen Buchstaben "x" ähnelt, aber auch ein willkürliches grafisches Symbol sein kann. Daten oder ein Signal ist/sind "begründet an" einem Krakel, wenn die Daten oder das Signal Information über den Bewegungsweg des Krakels im Raum während eines Zeitintervalls enthalten/enthält. Wenn beispielsweise die Information über den Krakelweg nur einen Punkt im Zeitraum enthält, sind die Daten oder ist das Signal nicht auf dem Krakel begründet; wenn jedoch Information über einen oder mehrere Punkte des Weges im Raum und den Zeitintervall des Punktes oder der Punkte enthalten ist, sind die Daten oder ist das Signal auf dem Krakel begründet. Ein einfaches Beispiel von auf einem Krakel basierenden Daten sind Daten, die die Anfangs- und Endpunkte des Krakels im Raum und den Zeitraum bezeichnen, in dem diese auftraten. Vollständige Daten aufgrund eines zweidimensionalen Krakels wären ein Vektor von (x, y, t)-Tripeln, die erreicht werden durch Abtasten der x,y-Koordinaten des Krakelweges mit einer ausreichend hohen Frequenz zum Einfangen im wesentlichen des gesamten durch den Krakel geschaffenen Bewegungsinhalts. Ein Beispiel solcher Daten ist in Tabelle 16 in Fig. 1 gezeigt. Auf einem Krakel basierende Daten können Information über einen Krakel enthalten, von der die gesamte oder ein Teil der Information den Bewegungsweg des Krakels während der Zeit erfasst, berechnet oder von ihm abgeleitet werden kann, wie z. B. die Beschleunigung oder Geschwindigkeit beim Aufzeichnen des Krakels. Zusätzliche Komponenten-Information über einen Krakel kann auch eingefangen werden, wie beispielsweise Daten, die den Druck, die Störungen des Widerstands oder akustische Oberflächenwellen des den Krakel an einer Datensammelfläche erzeugenden Eingabegerätes angeben. Daten oder ein Signal aufgrund eines Krakels werden hier auch als "auf Krakeln basierende Daten" bezeichnet. Eine "auf Krakeln basierende Datenstruktur" enthält Daten oder Signale, die auf einem oder auf mehreren Krakeln beruhen.
Ein hier benutzter Ausdruck "Stift" bezeichnet ein Benutzer-Eingabegerät, das zum Erzeugen von auf Krakeln beruhenden Daten fähig ist. Z. B. ist ein elektronisches federartiges Gerät ein Stift, und die Bewegung der Spitze des Stiftes über eine Datensammelfläche erzeugt auf Krakeln basierende Daten. Ein Stift kann auch ein herkömmliches Zeigegerät wie eine Maus enthalten, das/die zum Erzeugen von auf einem Krakel basierenden Daten fähig ist. In diesem Falle stellt das Bild des Cursors in dem Anzeigebereich des Anzeigegerätes den Ort des Stiftes dar, und der Anzeigebereich stellt die Datensammelfläche dar. Der Ausdruck "elektronische Tinte" oder "digitale Tinte" bezieht sich auf das Bild der Spur der Bewegung einer Stiftspitze an einer Anzeige, und wird allgemein benutzt, um auf ein Bild von auf Krakeln basierenden Daten Bezug zu nehmen.
Ein "Strich" sind die Daten oder ist das Signal von einem Krakel oder einem Abschnitt eines Krakels, die von der Spitze des Stiftes während der Zeit erzeugt werden, und werden zum Erzeugen von auf Krakeln basierenden Daten zu einem darauffolgenden Zeitpunkt benutzt, wenn der Stift als keine auf Krakeln beruhenden Daten erzeugend festgesetzt wird. Wenn beispielsweise ein Stift mit Bewegung über eine Datensammelfläche auf Krakeln basierende Daten erzeugt, bilden die von der Spitze während der Zeit, in der der Stift als in Berührung mit der Datensammelfläche befindlich erfasst wird, erzeugten Daten einen Strich bis zu dem darauffolgenden Zeitpunkt, wo der Stift als nicht mehr in Berührung mit der Datensammelfläche erfasst wird. In Fig. 1 ist der Krakel 10 so gezeigt, dass er aus zwei Strichen 12 und 14 zusammengesetzt ist.
Daten werden während der Erzeugung eines Strichs mit regelmäßigen Zeitabständen erzeugt, wie es durch die Abtastdatenpunkte 20 und 22 in Fig. 1 dargestellt ist. Ein Strichsegment, oder einfach "Segment", bezieht sich auf den Abschnitt eines Strichs zwischen zwei Abtastdatenpunkten, wie durch das Segment 24 dargestellt. Wenn der (zeitlich) abschließende Abtastdatenpunkt eines ersten Strichs 12 mit dem ersten Abtastdatenpunkt eines zweiten Strichs 14 verbunden wird, werden die Striche oder Abtastdatenpunkte als "verkettet" bezeichnet. Eine Verkettung von Folgen von Abtastdatenpunkten kann die Gruppierung von Mehrfachstrichen zu einer Einzelstrichgruppe ergeben. Die Auswirkung des Verkettens von Abtastdatenpunkten ist das Einführen eines Segmentes 30 in die Folge von Abtastdatenpunkten.
Eine auf Krakeln basierende Daten enthaltende Datenstruktur kann hier auch als eine "nicht klassifizierte" Datenstruktur bezeichnet werden, und ist von einer "klassifizierten" Datenstruktur zu unterscheiden, die eingeschriebene Datenobjekte wie Schablonen oder Prototypen enthält, die zum Zwecke der Klassifizierung von Targeteingaben verwendet werden.
Die vorliegende Erfindung zum Suchen und Passen (zur Übereinstimmung bringen) von auf Krakeln basierenden Daten betreibt ein prozessorgesteuertes System mit den allgemeinen Komponenten, Kenngrößen und Gestaltungen des in Fig. 2 dargestellten Systems 100. Das System 100 enthält eine Eingabeschaltung 152 zum Aufnehmen von Signalen von einer Signalquelle 154. Die Signalquelle 154 kann irgendeine signalerzeugende Quelle sein, die Signale der durch die vorliegende Erfindung benötigten Art erzeugt. Eine derartige Quelle enthält Eingabegeräte, die durch einen menschlichen Benutzer steuerbar sind und die Signale in Reaktion auf Einwirkungen durch den Benutzer ergeben, wie ein Stiftgerät 152, das der Benutzer über die Datensammelfläche bewegt, und den Anzeigebereich 180 des Gerätes 170 beim Herstellen von Krakeln. Das Gerät 170 wird gemeinhin als "Elektroniktablett" bezeichnet, kann jedoch, wie vorher bemerkt, auch ein herkömmliches Anzeigegerät sein, das zur Darstellung von Bildern geeignet ist, oder es kann statt der Kombination aus Gerät 170 und Stiftgerät 156 bloß ein Stiftgerät 156 sein, wie es zum Erzeugen von auf Krakeln basierenden Daten ohne Benutzung einer Datensammelfläche üblich ist. Alternativ kann die Signalquelle ein (nicht gezeigter) Vorgang sein, den der Prozessor 140 ausführt und der für die Abgabe von auf Krakeln basierenden Daten an den Prozessor 140 als Targetkrakel zur erfindungsgemäßen Verarbeitung sorgt.
Der Prozessor 140 arbeitet durch Zugreifen auf den Programmspeicher 114 des Speichers 110, um Befehle abzuziehen, die er dann ausführt. Der Programmspeicher 114 enthält Krakeldatenvergleichs-Befehle 116, welche die in den Flussdiagrammen der Fig. 3, 4 und 5 beschriebene Erfindung verwirklichen. Während der Ausführung der Befehle kann der Prozessor 140 zusätzlich zum Empfangen von Eingabesignalen von der Eingangsschaltung 152 auch auf den Datenspeicher 122 zugreifen und Daten schaffen, welche Bilder definieren, z. B. Bilder elektronischer Tinte für die (nicht gezeigte) Ausgabeschaltung zur Darstellung am Gerät 170 im Anzeigebereich 180 oder zur Darstellung an irgendeinem anderen entsprechenden Anzeigegerät. Bei der Beschreibung der dargestellten Ausführungsform entspricht der Anzeigebereich dem sichtbaren Bereich des Anzeigeschirms, und das Verfahren der vorliegenden Erfindung sorgt für sichtbares Anzeigen der darin befindlichen elektronischen Tinte. Der Speicher 110 speichert auch eine auf Krakeln basierende Datenstruktur 126, Targetkrakel-Daten 130 und, im Falle der dargestellten Ausführungsform, Strichfunktionsdaten 132, wie auch andere Daten.
Die tatsächliche Art und Weise, in der die physikalischen Komponenten der Maschine 100 miteinander verbunden sind, kann verschieden sein, und kann hartverdrahtete physikalische Verbindungen zwischen einigen oder allen Komponenten enthalten, wie durch die gestrichelten Leitungsdrahtverbindung 160 zwischen dem Stift 156 und dem Gerät 170 gezeigt, wie auch Verbindungen über verdrahtete oder drahtlose Nachrichtenverbindungs-Einrichtungen, wie durch fernliegende oder örtliche Verbindungsnetze und Infrarot- und Funkverbindungen. Der Bereich der physikalischen Größe der Maschine 100 kann sich beträchtlich von einem sehr großen Gerät, z. B. einem großen elektronischen "Weißtafel"-Gerät für gemeinsame Bearbeitung, zu einem viel kleineren Arbeitsflächengerät, wie einem tragbaren Computer und einem Taschenanzeigegerät oder zu noch kleinerem Gerät erstrecken.
Ein Fertigungsgegenstand kann mit dem beschriebenen prozessorgesteuerten System benutzt werden. Der Gegenstand umfasst ein Speichermedium 122, auf das durch das Speichermedium-Zugriffsgerät 115 zugegriffen werden kann, wenn der Gegenstand in dem System benutzt wird. Daten 128 werden in dem Datenspeichermedium 122 so gespeichert, dass das Speichermedium-Zugriffsgerät 115 die gespeicherten Daten für den Prozessor schaffen kann, wenn der Gegenstand in dem System benutzt wird. Die gespeicherten Daten umfassen Targetkrakelaufnahme-Befehlsdaten 124, welche Eingabebefehle bezeichnen, die der Prozessor 140 ausführen kann, um auf Targetkrakeln basierende Daten von dem Benutzereingabegerät 154 aufzunehmen, und Betätigungsausführungs-Befehlsdaten, welche Reaktionsbefehle bezeichnen, die der Prozessor 140 ausführen kann, um Betätigungen zum Suchen nach den auf Krakeln beruhenden Targetdaten in einer auf Krakeln basierenden Datenstruktur auszuführen, die in dem Speicher gespeichert ist, in Reaktion auf Krakeln basierenden Targetdaten.
Wenn die auf Krakeln basierenden Targetdaten empfangen werden, lässt die Ausführung der Reaktionsbefehle den Prozessor 140 eine Vielzahl von in der auf Krakeln basierenden Datenstruktur enthaltenen Abtastdatenpunkten zu einer Vielzahl von Korpus-Krakelfolgen von Abtastdatenpunkten gruppieren, und die auf Krakeln basierenden Targetdaten mit jeder der Korpus-Krakelfolgen vergleichen, um zu bestimmen, ob die auf Krakeln basierenden Targetdaten mit mindestens einer der Korpus-Krakelfolgen übereinstimmen. Wenn eine übereinstimmende Korpus-Krakelfolge mit den auf Krakeln basierenden Targetdaten gepasst wurde, lässt die Ausführung der Reaktionsbefehle den Prozessor eine Übereinstimmungsliste erzeugen, welche den Ort der übereinstimmenden Korpus-Krakelfolge enthält.
Fig. 3 stellt die allgemeinen Schritte der vorliegenden Erfindung dar. Man bemerke, dass der Ausdruck "Korpus" als ein Abkürzungswort benutzt wird, das die auf Krakeln basierende Datenstruktur bedeutet, nach der gesucht wird, um sie mit einer Targetstruktur zu vergleichen. Target-Krakeldaten werden im Kasten 208 von einer Signalquelle empfangen. Um die Übereinstimmungsfehler zu verringern, die durch die Unterschiedlichkeit der Schreiber eingeführt wird, wird die Folge von Abtastdatenpunkten für jeden Strich der Targetkrakeldaten im Kasten 214 zu einer Folge von aufeinanderfolgenden Abtastdatenpunkten verkettet, die hiernach als "Targetkrakelfolge" bezeichnet werden. Die Auswirkung des Verkettens der Abtastdatenpunkte der Targetkrakeldaten zu einer Einzelfolge von verbundenen Abtastdatenpunkten ist das Einführen eines neuen Segments zwischen Strichen.
Die auf Krakeln basierende Datenstruktur oder der Korpus, der gesucht wird, kann irgendeine Sammlung von auf Krakeln basierenden Daten sein, die im Speicher 110 (Fig. 2) gespeichert oder sonst für den Prozessor 140 zugänglich ist. Irgendwelche Datenstrukturen aus auf Krakeln beruhenden Daten, welche handgeschriebene Notizen, Briefe, Logbücher, Tagebücher, Kalender und andere Dokumente darstellen, können ein zu suchender Korpus sein. Der Korpus kann einfach als ein aufeinanderfolgender Strom von Abtastdatenpunkten angesehen werden, welche den Bewegungspfad von vielen Bewegungen über der Zeit darstellen; der Datenstrom kann in Listen von Strichen organisiert sein, muss es jedoch nicht. Um das Vergleichen einer Targetkrakelfolge mit den auf Krakeln basierenden Korpusdaten zuzulassen, werden Sätze von Abtastdatenpunkten in dem Korpus im Kasten 220 identifiziert und zu Folgen von Abtastdatenpunkten gruppiert, die nachfolgend als "Korpuskrakelfolgen" bezeichnet werden. Irgendeine Korpuskrakelfolge von Abtastdatenpunkten kann eine andere Korpuskrakelfolge von Abtastdatenpunkten überdecken oder kann einige Abtastdatenpunkte mit ihr gemeinsam haben. Eine Korpuskrakelfolge ist irgendein Teilsatz von Abtastdatenpunkten in dem Korpus, und kann beispielsweise so klein sein, dass sie nur zwei Abtastdatenpunkte umfasst. Jede Korpuskrakelfolge wird im Kasten 224 für den Vergleich zu einer einzigen Dateneinheit oder zu einem Signal verkettet.
Im Kasten 228 wird die Targetkrakelfolge mit jeder Korpuskrakelfolge verglichen, um zu bestimmen, ob eine Übereinstimmung besteht. Irgendein geeigneter Signalvergleichs- oder Passvorgang kann zu diesem Zweck benutzt werden; ein Beispiel eines neuartigen Signal- Übereinstimmungsvorgangs aufgrund von dynamischen Zeitverzugstechniken wird im einzelnen nachstehend dargelegt. Die Ergebnisse des Pass- oder Übereinstimmungsvorgangs der Targetkrakelfolge mit allen Korpuskrakelfolgen wird dann im Kasten 234 erzeugt, und umfasst mindestens eine Liste, die die Korpuskrakelfolgen bezeichnet, welche Übereinstimmung mit der Targetkrakelfolge zeigen, und z. B. die Anzeichen der Start- und Abschluss-Abtastdatenpunkte von jeder mit Übereinstimmung bezeichneten Korpuskrakelfolge in dem Korpus (istart, iende) enthält. Die Liste kann für eine Vielzahl von weiteren Zwecken einschließlich, aber nicht begrenzt auf, gleichzeitiges oder späteres Berichten für den menschlichen Benutzer benutzt werden, typischerweise durch Anzeigen der übereinstimmenden Ergebnisse in einem Bild oder zu einem anderen Systemvorgang oder zum Durchlassen einer Liste von übereinstimmenden Korpuskrakeln oder Zeigern zu übereinstimmenden Korpuskrakeln zur weiteren Verarbeitung durch einen nachfolgenden Vorgang. Die Liste der Übereinstimmungen kann leer sein, falls keine Übereinstimmung aufgetreten ist.
Fig. 4 stellt die Folge der Schritte dar, die durch eine ausgeführte Ausführungsform der vorliegenden Erfindung durchlaufen wurden. Die auf Krakeln basierenden Daten sowohl im Target wie im Korpus sind zu einer Liste von Strichen organisiert, von denen jeder Strich eine Liste von Abtastdatenpunkten ist, wie in Fig. 1 dargestellt. Im Kasten 308 werden einen Targetkrakel bezeichnende Daten von einer Signalquelle empfangen. Im Kasten 310 werden die Targetkrakeldaten geprüft, um zu bestimmen, ob sie mehr als einen Strich enthalten, und falls das der Fall ist, wird jeder Strichi mit einem darauffolgenden Strichi+1 verkettet, bis alle Striche durch Verbinden des letzten Abtastdatenpunktes des Striches (des zeitlich ersten Striches) mit dem ersten Abtastpunkt des Strichesi+1 (des zeitlich nächsten Striches) zu einer einzigen Folge von aufeinanderfolgenden Datenpunkten verkettet wurden.
Im Kasten 314 wird ein Zählwert n zum Zählen der Striche in dem Korpus auf eins initialisiert. Wenn alle Striche in dem Korpus mit den verketteten Targetstrichdaten verglichen worden sind, wird eine Untersuchung angestellt, die im Kasten 374 geschieht, ob das Verfahren für dieses Target abgeschlossen ist. Im Kasten 316 wird ein Gruppierungszählwert m auf eins initialisiert; der Gruppierungszählwert m steuert die Gruppierung der Striche in dem Korpus zur Eingabe in den Übereinstimmungs-Suchvorgang. Ausgehend von jedem Einzelstrich in dem Korpus, wie durch den Zählwert n gezählt, und beginnend mit Gruppierungszähler m beim Wert eins, werden die Korpusstriche n bis n + m - 1 im Kasten 320 zu einer einzigen Folge von aufeinanderfolgenden Abtastdatenpunkten gruppiert und verkettet, bevor sie in den Signalvergleichsvorgang 330 eingegeben werden, bis m eine Maximalzahl von Gruppierungs strichen erreicht hat, was im Kasten 368 untersucht wird. Der Maximalwert für den Gruppierungszählwert m kann heuristisch nach Experimentieren mit verschiedenen Arten von Körpern bestimmt werden, die durch den gleichen oder durch unterschiedliche Schreiber erzeugt worden sind. Alternativ kann der Maximalwert für den Gruppierungszählwert m eine Funktion der Anzahl von Strichen s in den Targetkrakeldaten sein. Bei der dargestellten Ausführungsform ist der Gruppierungszählwert m eine Funktion von s, und sein Maximalwert ist s + 2.
Diese Verwirklichung des Konzepts der Gruppierung führt zu einem Zwangskraft-Signalvergleich von Gruppen von Korpusstrichen zu den verketteten Targetkrakeldaten, der versucht, Variationen zwischen den Schreibern, die sich aus inkonsistenten und unterschiedlichen Strichabständen ergeben, in Rechnung zu stellen. Wichtiger ist, dass diese Vorgehensweise nicht von der Fähigkeit des Systems abhängt, den Korpus vor dem Suchen und Vergleichen in diskrete semantische Einheiten wie Worte oder grafische Symbole aufzuteilen. Ein solches Zwangskraft-Vergleichsverfahren erhält jedoch eine wesentliche Auswirkung auf die Berechnungswirksamkeit. Der Gruppierungszählwert m ist eine Verarbeitungs- und Verhaltenswirksamkeits-Steuerung. Theoretisch kann, wenn ein Korpus mit der Größe von k Strichen gegeben ist, an einem Wert n in der Folge der Wert m von 1 bis k - n + 1 reichen, und Striche werden dann in Folgen gruppiert, die so groß wie der gesamte Korpus sind, um sicherzustellen, dass die maximale Zahl von Strichfolgen in den Signalvergleichsvorgang eingegeben wird. Bei der dargestellten Verwirklichungsform ergibt ein Targetkrakel mit einem Strichzählwert s = 3 eine 5er Korpus-Krakelfolgegruppe, die von einem Strich zu fünf aufeinanderfolgenden Strichen reicht (wenn der Maximalwert von m = s + 2 ist), wobei jede Gruppe mit dem Targetkrakel für jeden Strich im Korpus verglichen wird.
Es kann gesehen werden, dass eine Vielzahl von unterschiedlichen Vorgehensweisen benutzt werden kann, um die Gruppierung zu bestimmen, durch Ändern jedes Eingangswerts oder beider Eingangswerte für die Gruppierungszahl m und ihres Maximalwerts. Z. B. kann der Gruppierungszählwert s auf s - 1 initialisiert werden, und sein Maximalwert kann bei s + 1 eingerichtet werden, so dass nur Gruppierungen mit einem Strich weniger als dem Target, gleich dem Target und einem Strich mehr als dem Target zum Vergleich mit dem Target gebildet werden. Der Grupppierungszählwert m ist sorgfältig genug auszuwählen, um sicherzustellen, dass ein Targetkrakel mit einer kleinen Anzahl von Strichen erfolgreich mit Korpuskrakelfolgen mit einer größeren Anzahl von Strichen verglichen wird, was auftreten kann, wenn ein aus im wesentlichen kursiver Handschrift zusammengesetztes Target mit einem Korpus zu vergleichen ist, der aus im wesentlichen in Druckschrift gezeichneter Handschrift zusammengesetzt ist.
Der Signalvergleichsvorgang 330, der mit mehr Einzelheiten nachfolgend beschrieben wird, gibt einen Wert zurück, der mißt, wie gut die verketteten Targetkrakeldaten im Vergleich zu einer bestimmten Gruppe von verketteten Strichen passen. Dieser Wert wird gegen einen Schwellwert im Kasten 360 bewertet, und wenn er sich günstig vergleichen lässt - in diesem Falle, wenn der Wert kleiner als der Schwellwert ist - wird die Gruppe von verketteten Korpusstrichen als eine Übereinstimmung markiert. Markieren bezieht sich in diesem Sinne einfach auf irgendeine in Reaktion auf das Finden einer übereinstimmenden Korpuskrakelfolge unternommene Systembetätigung. Bei der dargestellten Ausführungsform wird der gesuchte Korpus für einen Benutzer an einem elektronischen Tablett angezeigt. Wenn jede Übereinstimmung der verketteten Targetkrakelfolgen in dem Korpus angetroffen wird, wird ein kastenförmiges Anzeigemerkmal um den Abschnitt des Bildes des Korpus hinzugefügt, der die übereinstimmende Korpuskrakelfolge darstellt, und wenn der nächste bildbringende Befehl (z. B. Bildermal- oder Bilderanzeige-Befehl) angetroffen wird, präsentiert das System ein Bild des Korpus, das die übereinstimmende Korpuskrakelfolge mit sie umgebenden Kästen enthält.
Wenn der sich aus dem Signalvergleichsvorgang 330 ergebende Wert nicht günstig mit dem Schwellwert verglichen werden kann, und nachdem eine erfolgreiche Übereinstimmung markiert ist, wird der Gruppierungszählwert m im Kasten 366 um eins erhöht, um die nächste Gruppierung von Korpusstrichen zu bilden. Wenn der Gruppierungszählwert m nicht größer als sein Maximalwert wird, wird die nächste Gruppierung von Strichen im Korpus im Kasten 320 in Vorbereitung auf den Signalvergleich mit der Targetkrakelgruppe identifiziert und verkettet.
Der Schwellwert stellt das Abschneiden des Zählwerts eines Signalvergleichs dar, der bestimmt, dass die Targetkrakelfolge und eine Korpuskrakelfolge ausreichend genug übereinstimmen, um das als eine Übereinstimmung zu berichten, und ist in einem großen Ausmaß eine Funktion der Auslegungsentscheidungen, die mit Bezug auf die Verwirklichung des Signalvergleichsvorgangs 330 getroffen wurden, sowie z. B. wie die Normalisierung erledigt wird. Im Gegensatz zu Erkennungssystemen, die einen geringsten Wert zum Bezeichnen eines erfolgreichen Vergleichs benutzen, ist der Schwellwert in gewisser Beziehung eine subjektive und willkürliche Annahme davon, wieviele falsche Zwänge durch das System oder den Systembenutzer ertragen werden. In dieser dargestellten Verwirklichungsform wurde der Wert der Schwellgröße empirisch bestimmt, und ein Schwellwert von 0,4 wurde benutzt, der im wesentlichen eine Reduzierung falscher Vorsätze ohne unnötiges Erhöhen falscher Abweisungen ergibt.
Bei der dargestellten Verwirklichungsweise benutzt der Signalvergleichsvorgang 330 eine mathematische Vergleichstechnik, die als dynamischer Zeitverzug (dynamic time warping DTW) bekannt ist, und die sich auf den Vergleich von Bahnen bezieht, der durch eine kontinuierliche Funktion der Zeit im mehrdimensionalen Raum definiert wird. Die grundsätzliche Idee des Zeitverzugs ist, dass Wiedergaben derselben Bahn annähernd zur gleichen Kurve führen können, jedoch mit sich ändernden Zeitmustern. Zeitverzugs-Techniken vergleichen Folgen, die von Bahnen durch Zeitabtastung abgeleitet werden, wenn jede Bahn nicht nur einer Änderung durch den üblichen zusätzlichen Zufallsfehler, sondern auch Variationen der Geschwindigkeit von einem Abschnitt zum anderen unterworfen werden. Der Geschwindigkeitsveränderung erscheint konkret als Komprimierung und Dehnung mit Bezug auf die Zeitachse und wird als Komprimierung/Dehnung bezeichnet. Zeitverzug behandelt eine solche Variation und kann zur Messung benutzt werden, wie unterschiedlich zwei Folgen in einer Weise sind, die nicht für Komprimierung/Dehnung, jedoch für andere Differenzen empfindlich ist.
Die vorliegende Erfindung wendet die Konzepte des Zeitverzugs auf den Bereich der Krakel oder Striche an, die als Bahn angesehen werden können. Die Variation zwischen den Schreibern, die von Hauptinteresse ist, ist die Variation, die sich aus Unterschieden der Strichformen ergibt; diese Variationen werden in den Winkeln und Abständen zwischen Abtastdatenpunkten eingefangen, und auf diesen Bereich ist die "Strichbahn" einer Folge von Abtastpunkten tatsächlich eine Funktion, die von hier ab als "Strichfunktion" bezeichnet wird, die sich auf die Ausrichtung eines Segments zu den kumulativen Längen der vorherigen Segmente bezieht. In der Literatur wird diese Art der Darstellung oft die "Ausricht "Funktion oder die "Ausricht-über-Bogenlänge-"Funktion genannt. Ein Beispiel einer Strichfunktion ist in Fig. 6 gezeigt, in der die Grafik 40 die Strichfunktion für die verketteten Striche des Krakels 10 in Fig. 1 zeigt. In der Grafik 40 wird die kumulative Länge bei jedem Strichsegment der verketteten Striche 12 und 40 (Fig. 1) längs der Horizontalachse 42 der Grafik 40 gegen die Winkel des Segmentes an der vertikalen Achse 44 der Grafik 40 aufgetragen. Die Strichfunktion in Grafik 40 ist ein Beispiel der Target- und Korpusstrichfunktionen, die in den DTW-Vergleichsvorgang eingegeben werden.
Im mathematischen Sinn ist die Idee des Zeitverzugs das Einrichten einer Entsprechung zwischen jedem Punkt in der Targetstrichfunktion und einem besonderen Punkt in der Korpusstrichfunktion durch Verziehen der Zeitachse jeder Strichfunktion und Einrichten einer Auftragung (Abbildung) der Punkte der beiden Strichfunktionen aufeinander. Zwei Zeitverzüge sind äquivalent, wenn sie die gleiche Verbindung über die Gesamtheit der zwei Strichfunktionen induzieren. Der Abstand D zwischen zwei Strichfunktionen ist das normalisierte Integral, oder im diskreten Fall die normalisierte Summierung, von gewichteten Punktabständen d zwischen Punkten, die durch den Verzug in Übereinstimmung gebracht werden, welcher dieses Integral oder diese Summe minimiert. Der Abstand D dient als Übereinstimmungsmaß oder Ähnlichkeitsmaß für eine Targetkrakelgruppe mit der aktuellen Korpuskrakelgruppe. Die angesprochenen Normalisierung begründet sich auf die Länge der Verzugsfolgen. Ein Beispiel einer punktweisen Abstandsmetrik d(x,y) ist d(x,y) = x-y .
Fig. 5 stellt die Einzel-Teilschritte des DTW-Signal-Vergleichsvorgangs im Kasten 330 der Fig. 4 dar. Die Strichfunktionen für die Targetkrakelgruppe und die aktuelle Korpuskrakelgruppe werden in den Kästen 334 und 338 durch Aufteilen der Targetkrakelgruppe und der aktuellen Korpuskrakelgruppe in Segmente und darauffolgendes Berechnen der Länge und des Winkels jedes Segmentes aufgebaut. Für die Wirksamkeit wird die vorherige Segmentenliste für die Targetkrakelgruppe und für die vorherige Korpuskrakelgruppe gespeichert und ggf. wieder verwendet. Die Liste von Segmenten, Winkeln und Längen für jede Targetkrakelgruppe und Korpuskrakelgruppe enthält Werte für das Segment, die als Ergebnis der Verkettung in den Kästen 310 und 320 (Fig. 4) hinzugefügt wurden. Die Benutzung der dynamischen Zeitverzugstechnik minimiert die Auswirkung auf die Genauigkeit der Addierung eines Segments zu einer Strichgruppe als Ergebnis der Verkettung, da die Korrespondenz von Segmenten zwischen Strichfunktionen zum Deemphasieren des hinzugefügten Segmentes eingestellt werden kann, wenn dessen Länge und Winkel sich wesentlich von den Werten eines entsprechenden Segments unterscheiden.
Zeitverzug wird dann der Strichfunktion im Kasten 340 ausgeführt und das Abstandsmaß errechnet und normalisiert. Das Maß wird dann zur Prüfung gegen den Schwellwert im Kasten 360 der Fig. 4 zurückgeführt.
Verschiedene zusätzliche Schritte können dem Verfahren hinzugefügt werden, das in der dargestellten Verwirklichung der Fig. 4 beschrieben wurde, um die Übereinstimmungsgenauigkeit zu verbessern, oder das Verhalten des Verfahrens zu optimieren. Ein solcher Schritt enthält das Hinzufügen eines Strich-Vorbearbeitungsschritts zu der Vorbereitung der jeweiligen Target- und Korpusstriche zum Signalvergleich. Ein Strich-Vorbearbeitungsschritt, der in seiner Auswirkung ein Rauschen-Entfernungsschritt ist, erfasst und entfernt Strich- oder Segment-Unregelmäßigkeiten, die sich wahrscheinlich aus Umgebungsfaktoren ergeben, wie einer mangelhaften Schaltung in dem elektronischen Tablett oder dem Stift, statt denen der beabsichtigten Bewegung durch den Benutzer. Ein solcher Vorbearbeitungsschritt kann mit Benutzung bekannter Techniken bewirkt werden.
Eine andere Technik, die eingesetzt werden kann, ist die der Neuabtastung der Strichdatenpunkte, um die Anzahl von Abtastpunkten zu verringern. Bei einem Neuabtastschritt werden einfach redundante Abtastpunkte entfernt oder die ursprünglichen Abtastpunkte durch einem neuen Satz von Abtastpunkten ersetzt, der sich der Ursprungskurve annähert und die redundanten Abtastpunkte entfernt, welche außerordentliche Berechnungszeit herbeiführen. Neuabtasttechniken sind ebenfalls auf dem Fachgebiet bekannt.
Die vorliegende Erfindung zieht auch die Benutzung eines Abtastbildes der Handschrift als Originalquelle des Korpus oder zum Benennen eines Targets, oder beides in Betracht. Es sind bekannte Verfahren für das Wandeln eines gebitmapten Bildes von Handschriftsymbolen in auf Krakeln beruhende Daten vorhanden.
Die vorliegende Erfindung kann als ein Teil der Funktionalität und der Benutzerschnittstelle eines PDA-Geräts enthalten sein, so dass ein Benutzer des Geräts fähig ist, handgeschriebene Corpora zu suchen.
Der Systembenutzer kann den Targetkrakel zur Übereinstimmungssuche von dem zu suchenden Korpus oder von einem anderen Korpus wählen. Ein Bild wird von der elektronischen Tinte angezeigt, das die Gesamtheit oder einen Teil des für die Targetwahl zu benutzenden Korpus darstellt, und mit Benutzung des Stifts stellt der Benutzer einen Auswahlkrakel her, der den Abschnitt der elektronischen Tinte bezeichnet, der die als auf Krakeln basierende Targetdaten zu benutzenden, auf Krakeln basierenden Daten darstellt. In Reaktion auf den Auswahlkrakel werden die gewählten auf Krakel basierenden Daten von dem Korpus zur Verarbeitung als die auf Krakeln basierenden Targetdaten gemäß den in den Flussdiagrammen der Fig. 3 oder 4 dargestellten Schritten abgezogen. Dieses Merkmal kann durch einen ersten Schreiber benutzt werden, um die Inhalte eines durch einen zweiten Schreiber geschriebenen Korpus mit Benutzung der Krakel des zweiten Schreibers als Targetkrakel zu suchen.
Ein anderer Gruppierungsvorgang, der verwirklicht wurde, gruppiert den Korpus in semantisch bedeutsame Einheiten. Diese Einheiten werden dann als die Korpuskrakelfolgen benutzt, mit denen die auf Krakeln basierenden Targetdaten während der Übereinstimmungssuchphase verglichen werden. Bei dieser Verwirklichung sind diese Einheiten dazu bestimmt, einzelnen Worten eines geschriebenen Dokuments zu entsprechen. Semantische Gruppierung des Korpus wird bewirkt, indem zuerst die Striche des Korpus durchsucht werden, um horizontale Abstände zwischen den Strichen zu finden, die mindestens halb so groß wie die durchschnittliche Vertikalgröße der Striche im Korpus sind. Dann werden auf Semantik beruhende Korpuskrakelfolgen, die grob als Wortäquivalente angesehen werden könnten, als die Abtastdatenpunkte der Striche identifiziert, die sich zwischen den großen Horizontalabständen befinden.
Die Reihenfolge der verketteten Krakel, entweder der Targetkrakel oder jener, die von der auf Krakel basierenden Datenstruktur geschaffen werden, oder beide, können vor dem Ausführen des Signalvergleichs geändert werden, um die Variationen anderer Schreiber in Rechnung zu stellen, z. B. in der Reihenfolge von Kreuzzeichen-Buchstaben, wie "f" oder "t".
Ein anderer zu benutzender Signalvergleichsvorgang ist die bekannte Technik der Einfachsignal-Korrelation. Korrelation benutzt auch eine von den verketteten Strichen der Targetstruktur gebildeten Abtastpunktfolge abgeleitete Strichfunktion. Die Strichfunktion wird mit einer Strichfunktion korreliert, die von der Folge von Abtastdatenpunkten in dem Korpus abgeleitet wurde. Teilfolgen in der Korpusstrichfunktion, bei denen diese Korrelation hoch ist, bezeichnen Stellen, wo eine gute Übereinstimmung vorhanden ist. Statt der punktweisen Multiplikation, die bei der Grundkorrelation benutzt wird, kann stattdessen die punktweise Absolutdifferenz in einer ähnlichen Weise benutzt werden, wie es bei der dynamischen Zeitverzugstechnik der dargestellten Ausführungsform der Fall ist.
Ein anderer Signalvergleichsvorgang, der benutzt werden kann, ist die als Übereinstimmungssuche aufgrund des Hausdorff-Abstands bekannte Technik. Der Hausdorff-Vergleich ist eine Technik zum Messen, wie gut sich zwei Gruppen von 2D-Punkten voneinander unterscheiden. Bei Anwendung bei den Abtastdatenpunkten, welche Krakel umfassen, werden die als Punkte in der Ebene genommenen Abtastdatenpunkte des Targetkrakels mit Gruppen von Abtastdatenpunkten vom Korpus verglichen, und wieder als Punkte in der Ebene genommen.
Die neuartige Technik der vorliegenden Erfindung arbeitet an einer auf Krakeln basierenden Datenstruktur, die in dem Sinne, dass sie eine Folge von mit Bezug auf den Inhalt undifferenzierten Signalen ist, vollständig unklassifiziert und nicht eine Datenstruktur von Schablonen oder Prototypen ist, für welche ein Target speziell klassifiziert zu sein hat.

Claims

1. Verfahren zum Betreiben eines Systems, das eine Signalquelle (154) zum Bereitstellen von auf Krakeln basierenden Daten, einen Speicher (110) zum Speichern von auf Krakeln basierenden Daten und einen zum Empfang von Signalen angeschlossenen Prozessor (140) enthält; wobei das Verfahren umfasst:

Aufnehmen von auf Krakeln basierenden Targetdaten (Schritt 208) von der Signalquelle (154); wobei die auf Krakeln basierenden Targetdaten eine Vielzahl von Target-Musterdatenpunkten (20, 22) enthalten, die einen ersten Bewegungspfad (12) während eines ersten Zeitraums einer Target-Krakel bezeichnen;

Schaffen einer auf Krakeln beruhenden Datenstruktur (126), die nachfolgend als Korpus- Datenstruktur bezeichnet und die in dem Systemspeicher (110) gespeichert wird, wobei die Korpus-Datenstruktur Information über eine Vielzahl von Korpus-Krakeln bezeichnet und für jeden jeweiligen Korpus-Krakel eine Vielzahl von Korpus-Musterdatenpunkten enthält, welche einen jeweiligen Bewegungspfad über einen Zeitraum des jeweiligen Korpus-Krakels bezeichnen;

Gruppieren der jeweiligen Vielzahlen von Korpus-Musterdatenpunkten (Schritt 220) in eine Vielzahl von Korpus-Krakelsequenzen von Musterdatenpunkten; wobei jede Korpus-Krakelsequenz mindestens zwei Musterdatenpunkte enthält;

Vergleichen der auf Krakeln basierenden Targetdaten (Schritt 228) mit jeder Korpus- Krakelfolge, um zu bestimmen, ob die auf Krakeln basierenden Targetdaten mindestens mit einer der Korpus-Krakelfolgen übereinstimmen; und

Erzeugen einer Übereinstimmungsliste (Schritt 234) von übereinstimmenden Korpus-Krakelfolgen, die mit den auf Krakeln beruhenden Targetdaten übereinstimmen, wobei die Liste für jede übereinstimmende Korpus-Krakelfolge einen Ort in der Korpus-Datenstruktur der passenden Korpus-Krakelfolge enthält.

2. Verfahren nach Anspruch 1, bei dem die auf Krakeln beruhenden Targetdaten erste und zweite Striche (12, 14) enthalten, die in der Zeit aufeinanderfolgen; und bei dem das Verfahren weiter vor dem Vergleichen der auf Krakeln basierenden Targetdaten mit jeder Korpus- Krakelfolge ein Verketten (Schritt 214) des letzten Musterdatenpunktes des ersten Striches (12) mit dem ersten Musterdatenpunkt des zweiten Striches (14) in eine Target-Krakelfolge der ersten Vielzahl von Musterdatenpunkten enthält; wobei jede Korpus-Krakelfolge mit der Target-Krakelfolge verglichen wird.

3. Verfahren nach Anspruch 1 oder 2, das weiter enthält

Erzeugen eines Bildes mit Benutzung der Übereinstimmungsliste; welches Bild Anzeigemerkmale enthält, die mindestens eine in der Übereinstimmungsliste enthaltene übereinstimmende Korpus-Krakelfolge bezeichnet; und

Präsentieren des Bildes einem Systembenutzer an einem in dem System enthaltenen Anzeigegerät.

4. Verfahren nach einem der Ansprüche 1 bis 3, bei dem, wenn die auf Krakeln basierenden Targetdaten (130) nicht mit irgendeiner der Korpus-Krakelfolgen übereinstimmen, die Übereinstimmungsliste leer ist.

5. Verfahren nach einem der Ansprüche 1 bis 4, bei dem die in dem Systemspeicher (110) gespeicherte auf Krakeln basierende Datenstruktur (126) von Bilddefinitionsdaten, welche ein Bild einschließlich einer Vielzahl von Anzeigemerkmalen definieren, gewandelt wurde.

6. Verfahren nach Anspruch 5, bei dem die in dem Bild enthaltenen Anzeigemerkmale Krakel darstellen.

7. Prozessorgesteuertes System, welches umfasst:

eine Signalquelle (154) zum Schaffen von auf Krakeln basierenden Targetdaten, die eine erste Vielzahl von Musterpunkten (20, 22) einschließen, welche einen ersten Bewegungspfad (12) während eines ersten Zeitraums einer ersten Krakel enthalten;

einen zum Empfangen der auf Krakeln beruhenden Targetdaten von der Signalquelle (154) angeschlossenen Prozessor (140); und

Speicher (110) zum Speichern von Daten; wobei die in dem Speicher (110) gespeicherten Daten Befehlsdaten (116) enthalten, welche Befehle bezeichnen, die der Prozessor (140) ausführen kann, und eine auf Krakeln basierende Datenstruktur (126); und die auf Krakeln beruhende Datenstruktur Information über Krakeln bezeichnet und für jeden jeweiligen Krakel eine Vielzahl von Musterdatenpunkten enthält, die einen jeweiligen Bewegungspfad über einen jeweiligen Zeitraum des jeweiligen Krakels enthalten;

ein Prozessor (140), der weiter zum Zugriff auf in dem Speicher gespeicherten Daten angeschlossen ist;

wobei der Prozessor (140) beim Ausführen der Befehle in Reaktion auf Empfangen der auf Krakeln basierenden Targetdaten von der Signalquelle (154),

die zweite Vielzahl von Musterdatenpunkten zu einer Vielzahl von Korpus-Krakelfolgen gruppiert (Schritt 220); von denen jede Korpus-Krakelfolge mindestens zwei Musterdatenpunkte enthält;

die auf Krakeln basierenden Targetdaten mit jeder Korpus-Krakelfolge vergleicht (Schritt 228), um zu bestimmen, ob die auf Krakeln basierenden Targetdaten mit einer der Korpus- Krakelfolgen übereinstimmen; und

eine Übereinstimmungsliste von Korpus-Krakelfolgen, welche mit den auf Krakeln basierenden Targetdaten übereinstimmen, erzeugt (Schritt 234); wobei die Übereinstimmungsliste für jede Korpus-Krakelfolge den Ort der übereinstimmenden Korpus-Krakelfolge in der auf Krakeln basierenden Datenstruktur enthält.

8. Gegenstand (120) der Herstellung zur Verwendung in einem prozessorgesteuerten System, das ein Benutzereingabe (154) zum Empfangen von Signalen enthält, welche Betätigungen und Anfragen eines Systembenutzers bezeichnen; einen Speicher (110) zum Speichern von Daten; ein Speichermedium-Zugriffsgerät (115) zum Zugriff auf ein Medium, das Daten speichert; und einen zum Empfang von Daten von dem Benutzereingabegerät (154) und zum Zugriff zu den in dem Speicher (110) gespeicherten Daten angeschlossenen Prozessor (140), welcher Prozessor weiter zum Empfang von Daten von dem Speichermedium- Zugriffsgerät (115) angeschlossen ist; wobei der Gegenstand umfasst:

ein Datenspeichermedium (122), auf das durch das Speichermedium-Zugriffsgerät (115) zugegriffen werden kann, wenn der Gegenstand in dem System benutzt wird; und

in dem Datenspeichermedium (122) gespeicherte Daten (128), so dass das Speichermedium-Zugriffsgerät (115) die gespeicherten Daten zu dem Prozessor (114) schaffen kann, wenn der Gegenstand (120) in dem System benutzt wird; wobei die gespeicherten Daten umfassen:

Krakel-Empfangsbefehls-Targetdaten (124), welche Eingabebefehle bezeichnen, die der Prozessor (140) ausführen kann, um auf Krakeln beruhende Targetdaten von dem Benutzereingabegerät (154) zu empfangen; und

Betriebsausführungs-Befehlsdaten, welche Reaktionsbefehle bezeichnen, die der Prozessor (140) ausführen kann, um Betätigungen zum Suchen nach den auf Krakeln basierenden Targetdaten in einer auf Krakeln basierenden in dem Speicher (110) gespeicherten Datenstruktur (126) auszuführen in Reaktion auf die auf Krakeln beruhenden Targetdaten;

wenn die auf Krakeln beruhenden Targetdaten einschließlich einer Vielzahl von Musterdatenpunkten, die einen Bewegungspfad während eines Zeitraum eines Krakels bezeichnen, empfangen werden, wobei Ausführen der Reaktionsbefehle den Prozessor (140) veranlassen, eine Vielzahl von in der auf Krakeln basierenden Datenstruktur enthaltenen Musterdatenpunkten zu einer Vielzahl von Korpus-Krakelfolgen von Musterdatenpunkten zu gruppieren und die auf Krakeln basierenden Targetdaten mit jeder Korpus-Krakelfolge zu vergleichen, um zu bestimmen, ob die auf Krakeln beruhenden Targetdaten mit zumindest einer der Korpus-Krakelfolgen übereinstimmen;

wenn eine übereinstimmende Korpus-Krakelfolge mit den auf Krakeln basierenden Targetdaten zur Übereinstimmung gebracht ist, Ausführen der Reaktionsbefehle, die den Prozessor (140) veranlassen, eine den Ort der übereinstimmenden Korpus-Krakelfolge enthaltende Übereinstimmungsliste zu erzeugen.