DE19945533A1

DE19945533A1 - Text recognition for portable device evaluates pixel information line for line, pixel for pixel to detect start pixel of character

Info

Publication number: DE19945533A1
Application number: DE19945533A
Authority: DE
Inventors: Rainer Rosberg; Wolfram Grziwa; Thomas Teufel
Original assignee: MM LESESTIFT MANAGER MEMORY
Current assignee: MM LESESTIFT MANAGER MEMORY
Priority date: 1999-09-23
Filing date: 1999-09-23
Publication date: 2001-03-29

Abstract

Single image or series of overlapping single images are detected and stored with XY coordinates of each single image. Potential characters are detected using algorithm to detect local collection of black pixels. XY coordinates of potential characters are used for line detection. Then OCR recognition of recognized line and potential character in line is performed. Independent claim included for device to carry out text recognition.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Erkennung von Texten, Barcodes oder sonstig üblichen Zeichenfolgen.The invention relates to a method and a device for the recognition of texts, barcodes or other usual Strings.

Die Textverarbeitung und insbesondere die Erfassung von ge druckten oder geschriebenen Texten, wobei das Wort Text im weitesten Sinne als stellvertretend für sämtliche zur In formationswiedergabe geeignete Zeichenfolgen steht, ist seit jeher eine der Hauptaufgaben der elektronischen Daten verarbeitung. Letztlich ermöglicht die Erfassung von Texten erst die Kommunikation mit einer elektronischen Datenverar beitungsanlage sowie die Informationsverarbeitung insge samt.The word processing and especially the acquisition of ge printed or written texts, the word text in the broadest sense as representative of all for In is a suitable string has always been one of the main tasks of electronic data processing. Ultimately, it enables the capture of texts communication with electronic data processing processing system and information processing in total velvet.

Im Zusammenhang mit der Aufgabe der Texterfassung kommen seit einigen Jahren Tischscanner, Handscanner und neuer dings auch Lesestifte zum Einsatz. Für kompakte Erfassungs geräte, wie z. B. die genannten Handscanner, wird zumeist bei der Aufnahme der Textinformation zusätzlich die Rela tivbewegung des Erfassungsgerätes zur Textoberfläche mit tels eines entsprechenden Detektors aufgezeichnet. Hierfür kommen beispielsweise innerhalb des Erfassungsgerätes inte grierte Gummiwalzen in Betracht, die bei einer Bewegung des Erfassungsgerätes über den zu erfassenden Text in Rotation versetzt werden, wobei die Rotation der Gummiwalze ein Maß für die ausgeführte Bewegung ist. Eine derartige Bewegungs erfassung ist ausführlich in der DE-OS 196 25 767.0 be schrieben.Come in connection with the task of text entry table scanners, hand scanners and newer for several years However, reading pens are also used. For compact acquisition devices such as B. the hand scanner mentioned, is mostly when the text information is added, the rela tive movement of the capture device to the text surface with Recorded by a corresponding detector. Therefor come inte within the capture device, for example grated rubber rollers into consideration when moving the Detection device over the text to be recorded in rotation are offset, the rotation of the rubber roller a measure for the movement performed. Such a movement Detection is detailed in DE-OS 196 25 767.0 wrote.

Die Auswertung der erfaßten Bildinformationen und Umsetzung in eine zur Weiterverarbeitung geeignete Textinformation erfolgt in der Regel mit einer entsprechenden Software der sogenannten OCR-(Original Character Reading)Texterken nungssoftware.The evaluation of the captured image information and implementation into text information suitable for further processing usually takes place with the appropriate software from so-called OCR (Original Character Reading) text identifiers software.

Im Bereich der Handscanner sind seit längerem kompakte Ge räte zur Texterkennung bekannt. Dabei erfolgt die Bilder fassung üblicherweise mit Flächensensoren, wobei die Größe des Flächensensors in direktem Verhältnis zur erforderli chen Rechnerleistung und zum Speicherbedarf steht. Mit kleineren Flächensensoren oder gar Zeilensensoren ist zwar lediglich eine geringere Rechnerleistung und ein geringerer. Speicherbedarf aber auch ein geringerer Komfort verbunden.In the field of hand scanners, compact Ge have long been known for text recognition. The pictures are taken frame usually with area sensors, the size of the area sensor in direct relation to the required Chen computing power and storage requirements. With is smaller area sensors or even line sensors only a lower computing power and a lower. Storage requirements but also less convenience.

Um größere Zeichenfolgen zu erfassen, werden in der Regel mehrere Einzelbilder erfaßt, die erfaßten Bilder anschlie ßend zusammengesetzt und schließlich das gewonnene Gesamt bild der erwähnten Texterkennung unterzogen. Die nahtlose Zusammensetzung der erfaßten Einzelbilder erfordert wieder um eine hohe Qualität der Bildverarbeitung, die wiederum einen erhöhten Speicherbedarf bedingen.To capture larger strings, usually captured several individual images, then the captured images eating and finally the total won image subjected to the aforementioned text recognition. The seamless Composition of the captured individual images requires again to high quality image processing, which in turn require an increased memory requirement.

Schließlich sind auch einfache Systeme bekannt, bei denen vorbestimmbare Bildausschnitte erfaßt und anschließend die se Bildausschnitte mit einer OCR-Texterkennung ausgewertet werden. Der Benutzer muß etwaig den Bildausschnitt über steigende Textfolgen dann anschließend manuell, beispiels weise mit Hilfe einer Bearbeitungssoftware zusammensetzen.Finally, simple systems are known in which Predeterminable image sections and then the se image sections evaluated with OCR text recognition become. The user must over the image section then increasing text sequences manually, for example assemble wisely using editing software.

Der Erfindung liegt daher die Aufgabe zugrunde, ein Verfah ren und eine Vorrichtung zur Texterkennung zu schaffen, bei dem eine möglichst geringe Rechnerleistung und ein mög lichst geringer Speicherbedarf mit einem Höchstmaß an Be dienkomfort verbunden wird.The invention is therefore based on the object of a method ren and to create a device for text recognition the lowest possible computing power and a poss as little storage space as possible with a maximum of loading service comfort is connected.

Diese Aufgabe wird durch ein Verfahren gemäß Anspruch 1 ge löst. Vorteilhafte Weiterbildungen des Verfahrens sind den nachfolgenden Ansprüchen 2 bis 10 zu entnehmen.This object is achieved by a method according to claim 1 solves. Advantageous further developments of the method are the following claims 2 to 10.

Bei dem erfindungsgemäßen Verfahren erfolgt eine drastische Reduzierung der zu bearbeitenden und auszuwertenden Bildin formation dadurch, daß die an sich bekannte Texterkennung zunächst für die Einzelbilder durchgeführt wird und an schließend die für jedes Einzelbild erkannten Zeichen an hand der zusätzlich erfaßten XY-Koordinaten selbsttätig zu sammengesetzt werden. Eine weitere Reduzierung der auszu wertenden Bildinformation besteht darin, daß vor der ei gentlichen Zeichenerkennung eine Zeilendetektion erfolgt und anschließend nur noch eine Auswertung der erkannten Zeilen vorgenommen wird. Somit ist auch ein etwaig zwischen den Zeilen liegender Bereich von der Bildauswertung ausge nommen. Hierdurch wird der Rechner- und Speicherbedarf enorm verringert. Dies hat wiederum einen geringeren Platz bedarf und Kostenaufwand für die Umsetzung des Verfahrens innerhalb einer zur Durchführung des Verfahrens geeigneten Vorrichtung zur Folge. The process according to the invention is drastic Reduction of the image to be processed and evaluated formation in that the known text recognition is first carried out for the individual images and on then the characters recognized for each frame hand of the additionally recorded XY coordinates automatically be put together. A further reduction in out evaluating image information consists in that before the egg conventional character recognition, line detection takes place and then only an evaluation of the recognized Lines is made. So there is a possible between area lying on the lines from the image evaluation taken. As a result, the computer and memory requirements enormously reduced. This in turn has a smaller space needs and costs for the implementation of the method within a suitable one for carrying out the method Device to result.

Eine weitere Verbesserung in diesem Sinne besteht darin, daß auch innerhalb der Zeilen zunächst eine Erkennung po tentieller Zeichen erfolgt. Hierzu ist gemäß Anspruch 2 ein spezieller Suchalgorithmus zur Erfassung dieser potentiel len Zeichen vorgesehen. Somit sind auch sämtliche Bildin formationen, die kein Zeichen darstellen, weitestgehend von der weiteren Bearbeitung ausgenommen.Another improvement in this sense is that even within the lines initially a detection po potential characters. For this purpose, according to claim 2 special search algorithm to detect this potential len characters provided. Thus, all the pictures are Formations that do not represent a sign, largely from excluded from further processing.

Als weitere Ausgestaltung dieses Verfahrens werden soge nannte isolierte Startpixel von der Bearbeitung ausgenom men. Hierdurch wird eine Fehlinterpretation etwaiger Ver schmutzungen oder sonstiger Schattierungen der zu erfassen den Vorlage wie sie beispielsweise im Faxbetrieb häufig vorkommen, vermieden. Auch diese Maßnahme dient letztlich der Reduzierung des Speicher- und Rechnerleistungsbedarfs und somit der Geschwindigkeit der hier beanspruchten Tex terkennung.As a further embodiment of this method, so-called named isolated start pixels from editing men. This will misinterpret any ver dirt or other shades the template, as is often the case in fax mode occur, avoided. Ultimately, this measure also serves the reduction of storage and computing power requirements and thus the speed of the Tex claimed here t detection.

In abermaliger Ausgestaltung des Verfahrens werden mittels einem als "framing" bezeichneten Schritt die potentiellen Zeichen hinsichtlich ihres Umfanges erkannt und deren XY- Koordinanten erfaßt und abgespeichert. Hierdurch ist in einfacher Weise eine lagerichtige Interpretation der noch zu erkennenden Zeichen sichergestellt.In a further embodiment of the method, a step called "framing" the potential Recognized characters with regard to their scope and their XY Coordinates recorded and saved. This means that a correct interpretation of the position characters to be recognized.

In weiterer Ausgestaltung wird diese Information zu einem als "controlling" bezeichneten Schritt verwendet, um si cherzustellen, daß tatsächlich nur potentielle Zeichen der eigentlichen Texterkennung zugeführt werden. In diesem Schritt werden abermals etwaige Verschmutzungen oder son stige Fehlerfassungen von der weiteren Bearbeitung ausge nommen.In a further embodiment, this information becomes one called "controlling" step used to si make sure that only potential signs of the actual text recognition. In this Step are again any dirt or other errors from further processing taken.

In einem weiteren vorteilhaften Schritt kann sichergestellt werden, daß auch nur solche potentielle Zeichen als zu ei ner Zeile gehörig interpretiert werden, die tatsächlich in nerhalb dieser Zeile angeordnet sind. In einem weiteren Verfahrensschritt werden die innerhalb des "framings" ge wonnenen Informationen derart ausgewertet, daß anschließend eine Zeilenausrichtung feststeht. Diese Zeilenausrichtung kann auch zur späteren lagerichtigen Wiedergabe der erkann ten Textzeile mit Vorteil genutzt werden.This can be ensured in a further advantageous step be that even such potential signs as too egg properly interpreted in a line that is actually in are arranged within this line. In another Process step are within the "framing" ge information obtained is evaluated in such a way that subsequently line alignment is established. This line alignment can also be recognized for later correct playback of the th line of text can be used with advantage.

Die Qualität einer Texterkennung wird im wesentlichen da durch bestimmt, wie hoch deren Fehlerquotient und deren Ge schwindigkeit ist. Gemäß Anspruch 7 ist eine weitere Maß nahme zur Fehlervermeidung beschrieben. Hierbei erfolgt nämlich eine Nachinterpretation des erkannten Textes dahin gehend, daß die zunächst als zu klein oder als isolierte Startpixel verworfenen Bildinformationen hinsichtlich ihrer Eignung als etwaige Zeichenbestandteile oder Satzzeichen geprüft werden und gegebenenfalls nachträglich in den er kannten Text eingefügt werden.The quality of a text recognition is essentially there determined by how high their error quotient and their Ge is dizziness. According to claim 7 is a further measure described to avoid errors. This is done namely a reinterpretation of the recognized text going that the initially as too small or as isolated Start pixel discarded image information regarding their Suitability as any character components or punctuation marks be checked and, if necessary, subsequently in the known text can be inserted.

Die Qualität der Texterkennung wird im wesentlichen auch durch die Komposition des Gesamttextes aus den erfaßten Einzelbildern bestimmt. Hierzu ist ein Überlappungsbereich vorgesehen, der größer oder gleich der Breite des kleinsten zu erfassenden Zeichens ist. Dabei kann die erforderliche Breite des Überlappungsbereichs hersteller- und/oder benut zerseitig vorgegeben werden. The quality of the text recognition is essentially too by composing the entire text from the captured Single images determined. There is an overlap area for this provided that the width is greater than or equal to the smallest character to be detected. The required Width of the overlap area manufacturer and / or used be specified on the cutting side.

In weiterer Ausgestaltung dieses Verfahrens zur Zusammen setzung des Gesamttextes werden jeweils innerhalb des Über lappungsbereiches angeschnittene oder den Bildrand berüh rende potentielle Zeichen verworfen. Durch die geeignete Breitenbestimmung des Überlappungsbereiches ist jedenfalls sichergestellt, daß die auf diese Weise verworfenen Zeichen letztlich doch der Texterkennung zugeführt werden. In vor teilhafter Ausgestaltung ist ein weiterer Interpretations schritt für die Aussortierung etwaiger im Überlappungsbe reich auftretender Dubletten vorgesehen.In a further embodiment of this process for together Placement of the overall text are each within the About overlap or touch the edge of the picture potential characters discarded. By the appropriate In any case, the width of the overlap area is determined ensures that the characters discarded in this way ultimately be fed to text recognition. In front partial interpretation is another interpretation step for sorting out any in the overlap area rich duplicates are provided.

Die der Erfindung zugrunde liegende Aufgabe wird auch durch eine Vorrichtung zur Durchführung des Verfahrens gemäß An spruch 11 gelöst.The object underlying the invention is also achieved by a device for performing the method according to An Proverb 11 solved.

Vorteilhafte Weiterbildungen dieser Vorrichtung sind den nachfolgenden Ansprüchen zu entnehmen.Advantageous developments of this device are the the following claims.

Die erfindungsgemäße Vorrichtung erlaubt in einfacher Weise die gerätetechnische Umsetzung des erfindungsgemäßen Ver fahrens.The device according to the invention allows in a simple manner the technical implementation of the Ver driving.

In vorteilhafter Ausgestaltung ist diese Vorrichtung mit einem CCD-Flächensensor zur Erfassung größerer bzw. mehr zeiliger Bildausschnitte versehen.In an advantageous embodiment, this device is included a CCD area sensor to detect larger or more line of image sections.

Im Zusammenhang mit der Handhabung derartiger Vorrichtungen hat es sich gezeigt, daß ein Display innerhalb der Vorrich tung zur sofortigen Darstellung der erfaßten und/oder aus gewerteten Bildinformation die Bedienung erleichtert. Ins besondere können hierdurch kostenaufwendige Zusatzgeräte erspart werden und das Gerät im wesentlichen als allein funktionsfähiges Taschengerät betrieben werden.In connection with the handling of such devices it has been shown that a display within the Vorrich device for the immediate display of the recorded and / or off rated image information makes operation easier. Ins special can hereby costly additional devices be saved and the device essentially as alone functional pocket device operated.

Der Bedienkomfort kann zusätzlich durch eine Bedieneinheit zur Dateneingabe unter Bedienung der Vorrichtung gesteigert werden.The operating comfort can also be increased by an operating unit increased for data input while operating the device become.

Als besonders vorteilhaft hat es sich erwiesen, die zur Texterkennung notwendige Bewegungsdetektion gleichzeitig zur Cursorsteuerung eines Computers zu nutzen. Diese Ausge staltung vereinigt die erfindungsgemäße Vorrichtung, die Vorteile einer Computermaus, eine Erfassungseinrichtung und eine Anzeigeeinrichtung auf sich. Man könnte in diesem Zu sammenhang auch von einem Taschencomputer sprechen, der zu sätzlich ein Scannerfeature aufweist.It has proven particularly advantageous to use the Text recognition necessary motion detection at the same time to use for cursor control of a computer. This Ausge staltung combines the device according to the invention, the Advantages of a computer mouse, a detection device and a display device on itself. You could in this to context also speak of a pocket computer that too additionally has a scanner feature.

Die Erfindung wird nachstehend anhand eines in der Zeich nung dargestellten Ausführungsbeispieles näher erläutert.The invention is based on a in the drawing voltage illustrated embodiment explained in more detail.

Es zeigen:Show it:

Fig. 1 eine schematische Übersicht des Verfahrens, Fig. 1 is a schematic overview of the process,

Fig. 2 eine detailliertere Übersicht des Verfah rens, Fig. 2 is a more detailed overview of the procedure,

Fig. 3 eine Darstellung des Teilverfahrens zur Er kennung potentieller Zeichen, Fig. 3 shows the part of the process for identification of potential He signs

Fig. 4 den Suchalgorithmus zur Erfassung der Zei chen, Fig. 4 chen the search algorithm for detecting the Zei,

Fig. 5 das Teilverfahren zur Zeilendetektion, Fig. 5, the indexing method for line detection,

Fig. 6 eine Darstellung von Einzelbildern und des Überlappungsbereiches und Fig. 6 is a representation of individual images and of the overlapping area, and

Fig. 7 ein Blockschaltbild einer Vorrichtung zur Durchführung des Verfahrens. Fig. 7 is a block diagram of an apparatus for performing the method.

Das in Fig. 1 gezeigte erfindungsgemäße Verfahren besteht in seiner einfachsten Ausgestaltung zumindest aus den in Fig. 1 dargestellten Schritten.In its simplest embodiment, the method according to the invention shown in FIG. 1 consists at least of the steps shown in FIG. 1.

In einer ersten Phase zur Aufzeichnung wenigstens eines Einzelbildes, einem sogenannten "Shooting" wird ein Einzel bild oder eine Serie einander überlappender Einzelbildern aufgezeichnet. Dabei werden zu jedem Einzelbild die enthal tenen Pixel-Informationen sowie deren XY-Koordinaten abge speichert.In a first phase to record at least one Single picture, a so-called "shooting" becomes a single image or a series of overlapping individual images recorded. In doing so, the individual images are included pixel information and their XY coordinates saves.

In einem zweiten Schritt werden mit einem nachstehend er läuterten Algorithmus potentielle Zeichen erkannt.In a second step he will be followed by one refined algorithm recognized potential characters.

Die Anordnung der erkannten potentiellen Zeichen wird mit tels eines weiteren Schrittes, der Zeilendetektion, ausge wertet.The arrangement of the recognized potential characters is marked with means of a further step, the line detection evaluates.

Daran schließt sich die eigentliche Texterkennung einer OCR-Analyse der als potentielle Zeichen erkannten Zeichen an. This is followed by the actual text recognition of a OCR analysis of characters recognized as potential characters on.

Die auf diesem Wege erkannten Zeichen werden mit ihren je weiligen XY-Koordinaten zwischengespeichert.The signs recognized in this way are with their respective cached xy coordinates.

Anschließend wird aus den auf den im Wege der vorstehenden Schritte gewonnen Zeichen und Koordinateninformationen ein Gesamtbild der noch zu erläuternden Bearbeitung des Über lappungsbereiches erzeugt.Subsequently, the on the way of the above Steps gained characters and coordinate information Overall picture of the processing of the About to be explained Lapping area generated.

Fig. 2 zeigt das vorstehend beschriebene Verfahren in einer genaueren Darstellung. Die Darstellung in Fig. 2 bleibt da bei auf die Bearbeitung eines Einzelbildes beschränkt. Fig. 2 shows the method described above in a more accurate representation. The illustration in FIG. 2 remains limited to the processing of a single image.

In einem ersten Schritt wird zunächst eine Schwarz-Weiß- Schwelle definiert. Dies bedeutet, daß definiert wird, ab welcher Graustufe ein Pixel als schwarz oder weiß interpre tiert wird. Anschließend wird eine Datenbank zur Zwischen speicherung im Wege der Bildbearbeitung gewonnenen Informa tionen initialisiert.In a first step, a black and white Threshold defined. This means that it is defined from what gray level a pixel interprets as black or white is tiert. Then a database becomes the intermediate storage of information obtained through image processing initialized.

Nach dieser ersten Phase der Initialisierung beginnt die eigentliche Suche nach potentiellen Zeichen. Der Ablauf dieser Suche wird nachstehend noch näher erläutert werden.After this first phase of initialization, the actual search for potential characters. The sequence this search will be explained in more detail below.

Sobald ein potentielles Zeichen erkannt ist, wird dessen Umrandung. Die hierbei gewonnenen minimalen und maximalen Koordinatenwerte dienen dem sogenannten "Zeichenframing", dessen Koordinaten in die erwähnte Datenbank eingetragen werden. Dies wird nacheinander für die gesamte innerhalb des Einzelbildes enthaltene Bildinformation durchgeführt bis eine Suchfrage ergibt, daß nunmehr sämtliche erfaßten Pixel ausgewertet sind. As soon as a potential sign is recognized, its sign Outline. The minimum and maximum obtained here Coordinate values are used for so-called "character framing", whose coordinates are entered in the database mentioned become. This will be done sequentially for the whole inside image information contained in the single image until a search query reveals that all of them have now been recorded Pixels are evaluated.

Anschließend werden die potentiellen Zeichen anhand der ab gespeicherten Daten zu einer Zeile zusammengesetzt. Anhand dieser aneinandergereihten Umrahmungen potentieller Zeichen wird eine Zeilenorientierung berechnet. Anschließend wird eine Zeilenumrahmung ähnlich wie bei der zuvor dargestell ten Buchstabenumrahmung mittels der in der Datenbank abge legten Zeichenframes festgelegt.Then the potential characters are based on the stored data compiled into one line. Based these lined up frames of potential signs a line orientation is calculated. Then will a line border similar to that shown previously letter framing using the data stored in the database set character frames.

Dieser Algorithmus wird durchgeführt, bis schließlich sämt liche Buchstaben zu Zeilen zusammengesetzt sind bzw. bis sämtliche Zeilen des zur Bearbeitung vorgesehenen Einzel bildes als solche erkannt sind. Anhand der insgesamt gewon nenen Zeileninformationen kann in einem abschließenden Schritt noch die Orientierung des Einzelbildes insgesamt ermittelt werden.This algorithm is carried out until finally all letters are composed into lines or up to all lines of the individual intended for processing image are recognized as such. Based on the total won The line information can be in a final Step the orientation of the single image as a whole be determined.

Die zum Einzelbild gespeicherten Daten werden nachstehend der eigentlichen Texterkennung übergeben, die als solche nicht Bestandteil der Erfindung ist.The data stored on the still image is shown below passed the actual text recognition, which as such is not part of the invention.

In Fig. 3 ist die Erkennung potentieller Zeichen im einzel nen dargestellt. In zwei ineinandergreifenden Programm schleifen werden die Spalten und Zeilen, bzw. die X- und Y- Koordinaten des Einzelbildes Pixel für Pixel überprüft. So bald ein schwarzes Pixel erkannt wird, wird zunächst ge prüft, ob es sich dabei um ein Pixel handelt, das an der Einzelbildbegrenzung, also an der Einzelbildkante liegt. Sollte dies der Fall sein, werden die nachfolgenden Schrit te übersprungen mit der Folge, daß das an dieser Stelle vorhandene potentielle Zeichen nicht der eigentlichen Texterkennung zugeführt wird. Falls dies nicht der Fall ist, wird bei einer weiteren Suchfrage überprüft, ob das aufgefundene Pixel bereits bearbeitet wurde. Falls es noch nicht bearbeitet wurde, setzt ein Algorithmus der eigentli chen Zeichenerfassung ein. Dieser Algorithmus wird nachste hend noch beschrieben.In Fig. 3, the detection of potential characters is shown in detail. In two interlocking programs, the columns and rows, or the X and Y coordinates of the single image, are checked pixel by pixel. As soon as a black pixel is recognized, a check is first made to determine whether it is a pixel that lies on the frame boundary, that is on the frame edge. If this is the case, the following steps are skipped, with the result that the potential character present at this point is not fed to the actual text recognition. If this is not the case, a further search query checks whether the pixel found has already been processed. If it has not yet been processed, an algorithm for the actual character acquisition is used. This algorithm is described below.

Nachdem das eigentliche Zeichen derart erkannt ist, wird in einem weiteren Schritt das sogenannte Zeichenframing zur Umrahmung des aufgefundenen Zeichens durchgeführt und in Verbindung mit den Daten des Zeichens in der erwähnten Da tenbank abgelegt. Dieses Verfahren wird durchgeführt, bis sämtliche Pixel-Informationen des Einzelbildes entsprechend ausgewertet sind.After the actual character is recognized in this way, in Another step is the so-called character framing Framing of the found sign carried out and in Connection with the data of the sign in the mentioned Da tenbank filed. This procedure is carried out until all pixel information of the individual image accordingly are evaluated.

In Fig. 4 ist schließlich die eigentliche Zeichenerkennung dargestellt. Hierbei wird sobald ein schwarzes Pixel er kannt ist, dies als Startpixel 20 interpretiert, sofern nicht weitere Abfragen ergeben, daß diese Interpretation unzulässig ist. In einem nächsten Schritt wird im Uhrzei gersinn 21 fortschreitend von der bisherigen Auswertungs richtung 22 sämtliche Umgebungspixel 27 des Startpixels 20 ausgewertet. Es handelt sich dabei um jeweils insgesamt acht auszuwertende Pixel. Sobald ein weiteres schwarzes Pixel 23 aufgefunden wird, springt der Algorithmus zu die sem Pixel weiter, wobei auch hier ausgehend von der jetzi gen Auswertungsrichtung 22 im Uhrzeigersinn 21 fortschrei tend die Umgebungspixel 27' abgefragt werden, bis erneut ein geschwärztes Pixel 23' aufgefunden wird. Finally, the actual character recognition is shown in FIG. 4. As soon as a black pixel is known, this is interpreted as start pixel 20 , unless further inquiries show that this interpretation is inadmissible. In a next step, all the surrounding pixels 27 of the start pixel 20 are progressively evaluated in the clockwise direction 21 from the previous evaluation direction 22 . These are eight pixels to be evaluated. As soon as a further black pixel 23 is found, the algorithm jumps further to this pixel, whereby here too, starting from the current evaluation direction 22 in clockwise direction 21, the surrounding pixels 27 'are queried until a blackened pixel 23 ' is found again.

Der Algorithmus setzt damit voraus, daß sämtliche zu erken nenden Zeichen aus unmittelbar benachbarten Pixeln zusam mengesetzt sind. Da dies nicht immer zutrifft, ist im Rah men der Erfindung eine Nachbearbeitung der Einzelbildinfor mation möglich. Dabei werden sogenannte Einzelpixel nach träglich Zeichen zugeordnet, wie beispielsweise beim i- Punkt.The algorithm therefore presumes that all of them must be recognized characters from immediately adjacent pixels are set. Since this is not always the case, is in the frame men of the invention a post-processing of single image information mation possible. So-called single pixels are subsequently assigned characters, such as the i- Point.

Wie Fig. 4 deutlich macht, erfolgt somit nach und nach ein Nachfahren des gesamten Zeichens entsprechend dem beschrie benen Algorithmus. Nachdem am Ende dieses Suchalgorithmus die Zeichenkontur feststeht, wird anschließend im sogenann ten "Zeichenframing" ein Zeichenrahmen 24 bestimmt, der die jeweils außen liegenden Pixel verbindet und somit eine Um hüllung des aufgefundenen Zeichens bedeutet.As is clear from FIG. 4, the entire character is thus gradually traced in accordance with the algorithm described. After the character contour is fixed at the end of this search algorithm, a character frame 24 is then determined in the so-called "character framing", which connects the pixels located on the outside and thus means an envelope of the character found.

Diese Rahmen werden in einem weiteren Schritt zunächst zur Plausibilitätskontrolle eingesetzt. So werden nur solche Zeichen als zu einer Zeile gehörig anerkannt, deren Ober kante zumindest oberhalb der Unterkante des vorhergehenden Zeichens oder dessen Unterkante unterhalb der Oberkante des vorhergehenden Zeichens liegt. Damit wird sichergestellt, daß nur solche Zeichen zu einer Zeile gehörig erkannt wer den, die auch tatsächlich zu dieser Zeile gehören.In a further step, these frames will initially become Plausibility check used. Only such will be Characters recognized as belonging to a line, the upper edge at least above the lower edge of the previous one Character or its lower edge below the upper edge of the preceding character. This ensures that only those characters belonging to a line are recognized the one that actually belongs to this line.

Gemäß Fig. 5 wird anschließend anhand sämtlicher im Rahmen des vorstehend beschriebenen Algorithmus erzeugten Zeichen rahmens 24 ein sämtliche Zeichenrahmen 24 umfassender Zei lenrahmen 25 definiert. Es handelt sich dabei um ein soge nanntes "Zeilenframing". According to Fig. 5 of the above-described algorithm is defined characters generated 25 then light of all the under frame 24, a character frame all lenrahmen 24 Zei comprehensive. It is a so-called "line framing".

Dieses Zeilenframing hat zusätzlich den Vorteil, daß nach der zeilenweise durchgeführten OCR-Analyse, eine weitere Überprüfung dahingehend stattfinden kann, ob nicht etwaig zunächst verworfene Einzelpixel als Bestandteile von er kannten Zeichen oder Satzzeichen aufgefaßt werden müssen, indem die zur Zeile gehörigen Einzelpixel einer weiteren Prüfung bzw. Texterkennung unterworfen werden. Schließlich wird noch mittels der Lage der zu einem Zeichen gehörenden Pixel die jeweilige Zeilenorientierung mittels einer Re gressionsgeraden bestimmt. Hierzu werden die Pixel mit den jeweils niedrigsten y-Koordinaten einer Zeile herangezogen. Die y-Achse stellt dabei üblicherweise die im wesentlichen Lotrechte zur im wesentlichen horizontalen Zeilenorientie rung, der x-Achse dar.This line framing has the additional advantage that after the line-by-line OCR analysis, another Verification can take place, if not possible initially discarded single pixels as part of er known characters or punctuation marks must be understood, by adding the individual pixels belonging to the line to another Check or text recognition to be subjected. Finally is still determined by the position of those belonging to a sign Pixel the respective line orientation by means of a re straight line determined. For this, the pixels with the lowest y-coordinates of a line are used. The y axis usually represents the essentially Perpendicular to the essentially horizontal line orientation tion, the x-axis.

Schließlich wird auch die Zeilenumhüllende zur Bestimmung einer Zeilenorientierung 26 verwendet.Finally, the line envelope is also used to determine a line orientation 26 .

Schließlich zeigt Fig. 6 schematisch im Rahmen des Shoo tings aufgenommene Einzelbilder 30, 31. Die beiden Einzel bilder 30, 31 sind versetzt, wobei der Versatz in der Dar stellung in Fig. 6 ausschließlich zur Darstellung des Über lappungsbereiches 32 zwischen den beiden Einzelbildern 30, 31 dient. Anhand der hier gezeigten Einzelbilder 30, 31 soll die Bearbeitung des Überlappungsbereiches 32 erläutert werden.Finally, FIG. 6 schematically shows individual images 30 , 31 taken during the shooting. The two individual images 30 , 31 are offset, the offset in the Dar position in FIG. 6 serving exclusively to illustrate the overlap area 32 between the two individual images 30 , 31 . The processing of the overlap area 32 is to be explained on the basis of the individual images 30 , 31 shown here.

Zunächst werden im Rahmen des vorstehend erläuterten Ver fahrens zur Zeichenerkennung sämtliche Zeichen verworfen, die ein an einer Bildkante liegendes Pixel enthalten. Dies bedeutet, daß sämtliche angeschnittenen Zeichen nicht der weiteren Textbearbeitung zugänglich sind. Dies bedeutet wiederum zwingend, daß der Überlappungsbereich 32 zumin dest so breit sein muß, daß sämtliche Zeichen zumindest einmal vollständig aufgenommen werden.First, in the context of the above-described method for character recognition, all characters are discarded which contain a pixel lying on an image edge. This means that all cut characters are not accessible for further text editing. This in turn means that the overlap area 32 must be at least so wide that all characters are completely recorded at least once.

Die Breite des Überlappungsbereiches 32 kann entweder her stellerseitig vorgegeben werden, wobei dies dann zwingend eine Angabe der maximal lesbaren Zeichengröße erfordert oder aber benutzerseitig in Abhängigkeit von der einzule senden Schriftgröße eingestellt werden. Die Einstellung des Überlappungsbereiches 32 erfolgt mittels der Einstellung der Aufnahmefrequenz der Einzelbilder 30, 31. In einem wei teren Interpretationsschritt des Überlappungsbereiches 32 werden die möglicherweise aufgenommenen Doubletten aussor tiert. Die Unterscheidung von Doubletten und, wie im hier vorliegenden Beispiel tatsächlich vorkommenden, Buchsta bendoppel erfolgt anhand der in Verbindung mit den im Zei chenframing aufgenommenen XY-Koordinaten der jeweiligen Zeichen. Anschließend kann anhand der im übrigen zu jeder Zeile aufgenommenen XY-Koordinaten eine Gesamtkomposition des aufgenommenen Gesamtbildes folgen.The width of the overlap area 32 can either be specified by the manufacturer, this then necessitating an indication of the maximum legible character size or can be set by the user depending on the font size to be sent. The overlap area 32 is set by setting the recording frequency of the individual images 30 , 31 . In a further interpretation step of the overlap area 32 , the possibly recorded doublets are sorted out. The distinction between doublets and, as in the present example actually occurring, double letters is made on the basis of the XY coordinates of the respective characters recorded in the character framing. An overall composition of the recorded overall image can then follow on the basis of the XY coordinates recorded for each line.

In Fig. 7 ist eine Vorrichtung zur Durchführung des erfin dungsgemäßen Verfahrens gezeigt.In Fig. 7, an apparatus for performing the inventive method is shown.

Die erfindungsgemäße Vorrichtung ist vorzugsweise eine so genannte "Displaymaus". Diese Displaymaus 1 weist, wie der Name schon sagt, einerseits ein Display 2 und eine Rech nereinheit 3 zur Ansteuerung des Displays 2 auf. The device according to the invention is preferably a so-called "display mouse". This display mouse 1 , as the name suggests, has a display 2 and a computing unit 3 for controlling the display 2 .

Zur Erfüllung der herkömmlichen Mausfunktionen ist zwingend eine XY-Bewegungsdetektion 4 erforderlich. Es kann sich da bei um einen optischen Sensor oder einen herkömmlichen Trackball handeln.To meet the conventional mouse functions an XY motion detection 4 is mandatory. It can be an optical sensor or a conventional trackball.

Zur Durchführung des Verfahrens der Texterkennung muß zu sätzlich eine Vorrichtung zur Bildaufnahme, vorzugsweise ein CCD-Flächensensor 5, vorhanden sein.To carry out the method of text recognition, a device for image recording, preferably a CCD area sensor 5 , must also be present.

In vorteilhafter Ausgestaltung kann die Displaymaus 1 über eine serielle Schnittstelle 6 mit einem externen Rechner, vorzugsweise einem PC in direktionaler Datenverbindung ste hen. Zur Erfüllung der Mausfunktionen, aber auch zur Steue rung der Texterkennung kann zusätzlich eine Bedieneinheit 7 auf der Displaymaus 1 angeordnet sein. Die Rechnereinheit 3 besteht im wesentlichen aus einer CPU 10, einem nichtbe schreibbaren ROM 11 und einem überschreibbaren Speicher 12.In an advantageous embodiment, the display mouse 1 can be connected via a serial interface 6 to an external computer, preferably a PC, in a directional data connection. To fulfill the mouse functions, but also to control the text recognition, an operating unit 7 can additionally be arranged on the display mouse 1 . The computing unit 3 essentially consists of a CPU 10 , a non-writable ROM 11 and a rewritable memory 12 .

Zur Versorgung der in der Displaymaus 1 vorgesehenen Rech nereinheit und des Displays ist eine externe Stromversor gung 13 der Displaymaus 1 sinnvoll. Die Stromversorgung 13 kann beispielsweise mit einem herkömmlichen Lithium-Ionen- Akkusatz sichergestellt werden.Nereinheit to supply provided for in the display mouse one computer and the display is an external power sup ply 13 of the display mouse one sense. The power supply 13 can be ensured, for example, with a conventional lithium-ion battery pack.

Nachstehend wird die Funktion der beschriebenen Displaymaus 1 anhand der Zeichnung näher erläutert:
Die Vorrichtung zur XY-Bewegungsdetektion 4 kann in Verbin dung mit der seriellen Schnittstelle 6 zur Erfüllung der herkömmlichen Mausfunktion, also insbesondere zur Cursor steuerung einer Bedienoberfläche, genutzt werden. The function of the display mouse 1 described is explained in more detail below with reference to the drawing:
The device for XY motion detection 4 can be used in conjunction with the serial interface 6 to fulfill the conventional mouse function, that is to say in particular for cursor control of a user interface.

Darüber hinaus weist die Displaymaus 1 jedoch einen CCD- Flächensensor 5 auf, der infolge einer durch die Rech nereinheit 3 vorbestimmbaren Taktung wenigstens ein Einzel bild, vorzugsweise eine Serie von Einzelbildern aufnimmt, sobald der XY-Bewegungsdetektor eine Bewegung parallel zu einer zur Erfassung vorgesehenen Oberfläche registriert. Die mittels der Bildaufnahme aufgenommenen Einzelbilder werden innerhalb des RAMs in der Rechnereinheit 3 abgelegt und der erwähnten Auswertung zugeführt. Die erfaßte und oder ausgewertete Information kann dabei auf dem Display 2 angezeigt werden. Mit der Bedieneinheit 7 kann die Auswer tung gestartet, gestoppt oder sonstig beeinflußt werden. Die im Wege der Auswertung gewonnenen Daten können über die serielle Schnittstelle 6, die beispielsweise auch als Bus schnittstelle, USB-Board, Infrarot- oder Funkverbindung ausgestaltet sein kann, einem externen Rechner oder Spei cher zugeführt werden.In addition, however, the display mouse 1 has a CCD area sensor 5 which, as a result of a clocking which can be predetermined by the computer unit 3, records at least one individual image, preferably a series of individual images, as soon as the XY motion detector moves parallel to a surface provided for detection registered. The individual images recorded by means of the image recording are stored in the RAM in the computer unit 3 and fed to the evaluation mentioned. The detected and or evaluated information can be shown on the display 2 . With the control unit 7 , the evaluation can be started, stopped or influenced in any other way. The data obtained by the evaluation can be fed to an external computer or memory via the serial interface 6 , which can also be configured, for example, as a bus interface, USB board, infrared or radio link.

Anstelle der in Fig. 7 in Form eines Blockschaltbildes dar gestellten Displaymaus 1 können selbstverständlich auch an dere Vorrichtungen zur Durchführung des erfindungsgemäßen Verfahrens eingesetzt werden, die die beschriebene Funktio nalität aufweisen. Derartige Vorrichtungen sind als zur Er findung gehörig anzusehen.Instead of the display mouse 1 shown in FIG. 7 in the form of a block diagram, it is of course also possible to use other devices for carrying out the method according to the invention which have the functionality described. Such devices are to be regarded as belonging to the invention.

Nach alledem ist ein Verfahren und eine Vorrichtung zur Texterkennung beschrieben, das aufgrund einer geschickten Selektion der erfaßten Information einen geringen Speicher- und Rechnerplatzbedarf mit einem hohen Bedienkomfort ver mittelt. After all, there is a method and an apparatus for Described text recognition, which is due to a skillful Selection of the recorded information a small storage and computer space requirements with a high level of user convenience averages.

Der Bedienkomfort ist insbesondere auch dadurch gesteigert, daß aufgrund des reduzierten Speicherrechenzeitbedarfs die Geschwindigkeit der Texterkennung gegenüber herkömmlichen Texterkennungen erheblich gesteigert ist. Die Nutzung des erfindungsgemäßen Verfahrens in Verbindung mit einer Dis playmaus 1 hat sich dabei als besonders vorteilhaft erwie sen.The ease of use is also increased in particular because the speed of text recognition is considerably increased compared to conventional text recognition due to the reduced memory computing time requirement. The use of the method according to the invention in connection with a dis play mouse 1 has proven to be particularly advantageous.

Reference list

11

Displaymaus
Display mouse

22nd

Display
Display

33rd

Rechnereinheit
Computing unit

44th

Vorrichtung zur Bewe gungsdetektion
Device for motion detection

55

CCD-Flächensensor
CCD area sensor

66

Serielle Schnittstelle
Serial interface

77

Bedieneinheit
Control unit

1010th

CPU
CPU

1111

ROM
ROME

1212th

RAM
R.A.M.

1313

Externe Stromversor gung
External power supply

2020th

Startpixel
Start pixel

2121

Uhrzeigersinn
Clockwise

2222

Auswertungsrichtung
Direction of evaluation

2323

weiteres schwarzes Pi xel
another black pixel

2424th

Zeichenrahmen
Drawing frame

2525th

Zeilenrahmen
Line frame

2626

Zeilenorientierung
Line orientation

2727

Umgebungspixel
Surrounding pixels

3030th

ein Einzelbild
a single picture

3131

anderes Einzelbild
different frame

3232

Überlappungsbereich
Overlap area

Claims

1. Text recognition process in which the following steps are carried out one after the other:

Recording of at least one individual image, preferably a series of overlapping individual images, within a so-called "shoot", the pixel information and the XY coordinates of each individual image being stored,
a first evaluation for character recognition, a local cluster of blackened pixels being recognized as a potential character,
a second evaluation for line detection of the individual image information recorded for each individual image by means of an evaluation of the XY coordinates of the potential characters,
a third evaluation for OCR analysis of the lines recognized within each individual image and the potential characters located within the lines,
Recording of all characters recognized in connection with each individual image by means of OCR analysis, preferably letters and numbers, and the XY coordinates of all recognized characters,
- Composition of an overall picture by assembling all the characters recorded within a "shoot" using the coordinate information stored for each character.

2. Text recognition method according to claim 1, characterized records that to recognize potential characters the in Connection with the recording of a single image pixel information taken first line by line, pi xel is evaluated for pixels, this evaluation upon detection of a first black pixel, the Starting pixel, is canceled and a search algorithm is there is triggered that the eight reverse Exercise pixel of the found start pixel in the clock hand progressing from the previous evaluation guide tion can be queried and thereby the character outline gradually processed until the return to the start pixel is then followed by the evaluation of the individual picture the continued in the previous row direction becomes.

3. Text recognition method according to claim 2, characterized records that after detecting an isolated start pixels the line-oriented evaluation of the single image resumed in the previous line alignment becomes.

4. Text recognition method according to claim 2 or 3, characterized characterized in that in another, as "drawing woman ming "marked the potential sign enclosing frame is defined and its XY- Coordinates are recorded and saved.

5. Text recognition method according to claim 4, characterized records that in another as "Controlling" be drew a comparison of the within the framework of the Zei Chenframing acquired XY coordinates with predetermined Minimum and maximum character size threshold values follows and then the potential characters in Ver binding with the coordinate information mentioned is saved or discarded.

6. Text recognition method according to claim 5, characterized indicates that the affiliation of potential signs a line is checked such that the upper edge of the Surrounding frame of a character above the bottom edge of the preceding character and must be sen lower edge at least below the upper edge of each because the preceding character must lie and otherwise the detected potential character within the just be worked line is discarded.

7. Text recognition method according to claim 4, 5 or 6, there by gekenh drawn that on the basis of the "Zei chenframings "determined coordinate information Line alignment and line framing performed with the frame surrounding the line all Surrounding frame of the potential belonging to a line len characters plus a freely definable ab encloses value.

8. Text recognition method according to one of the preceding Claims, characterized in that according to the OCR Analysis of a line post-processing within the one Row frame captured pixel information like this follows that initially discarded isolated start pixels and / or other rejected pixels towards their assignment recognized characters as part of a character or as a sentence characters are checked again.

9. Text recognition method according to one of the preceding Claims, characterized in that the egg within A series of overlapping single shoots images an overlap area of predeterminable width which is greater than or equal to the width of the smallest capturing character.

10. Text recognition method according to claim 9, characterized ge indicates that within the overlap area broached potential characters or potential times areas that touch the edge of a single image be in the composition of the overall picture successive strings discarding the duplicates recognized as such in the overlap area be joined together.

11. Device for performing the method according to one of the preceding claims

- An image recording device ( 5 ) for taking at least one single image, preferably a series of overlapping individual images, within a so-called "shoot", a motion detector ( 4 ) for detecting an XY movement of the device ( 1 ) relative to one Surface,
- a computer unit ( 3 ) with a CPU ( 10 ),
a RAM ( 11 ) and / or a ROM memory ( 12 ) for the evaluation, intermediate and / or final storage of captured image information,
- At least one interface ( 6 ) for unidirectional and / or bidirectional data exchange with an external data processing system or other peripheral devices.

12. The apparatus according to claim 11, characterized in that it is in the image recording device is a CCD area sensor ( 5 ).

13. The apparatus of claim 11 or 12, characterized in that the device ( 1 ) additionally has a display ( 2 ) for displaying the detected and / or evaluated image information.

14. Device according to one of claims 11 to 13, characterized in that the device ( 1 ) additionally comprises an operating unit ( 7 ) for data input and / or operation of the device ( 1 ).

15. The apparatus according to claim 14, characterized in that the device ( 1 ) is designed as a portable handheld device, preferably as a display mouse of a computer.

16. Device according to one of the preceding claims, characterized in that any slippage of the movement detector Be ( 4 ) is compensated such that a comparison of the coordinates of the last recorded book letters of a frame with the coordinates of the first recorded letters of the immediately following Single picture is done.