DE69125067T2

DE69125067T2 - Device and method for identifying image areas

Info

Publication number: DE69125067T2
Application number: DE69125067T
Authority: DE
Inventors: Timothy J Thompson
Original assignee: NCR International Inc
Current assignee: NCR International Inc
Priority date: 1990-08-03
Filing date: 1991-07-25
Publication date: 1997-10-09
Anticipated expiration: 2011-07-26
Also published as: EP0469794A3; EP0469794A2; CA2046258A1; NO913012D0; FI913695A0; KR920005593A; KR950006034B1; DE69125067D1; EP0469794B1; FI913695A; JPH04306067A; JPH07112237B2; CA2046258C; NO913012L; US5020123A

Description

Technical area

Diese Erfindung bezieht sich auf Bildverarbeitung und insbesondere auf ein genaues Auffinden vorbestimmter Bereiche innerhalb eines Bildes.This invention relates to image processing and, in particular, to accurately locating predetermined regions within an image.

Background of the invention

Frühere Systeme zur Identifikation von einem Bildbereich waren typischerweise darauf abgestellt, mit Vergleichsmarkierungen zu funktionieren, die deutlich umrissen und leicht gegenüber anderer Bildinformation unterscheidbar waren. Diese Vergleichsmarkierungen sind typischerweise geordnete Muster, die längs der Kanten oder in den Ecken des abgetasteten Bildes angeordnet sind und haben den Nachteil, daß sie aufdringlich wirken. Auch führen diese früheren Systeme eine Registrierung eines Bildes unter der Annahme durch, daß das abgetastete Bild in hohem Maße unverzerrt und störungsfrei ist. Beispiele solcher Systeme sind in der US-A-4 533 959, JP-A-62001069 (Patentzusammenfassungen Japans, Band 11, Nr. 170, (P-581), 2. Juni 1987) und US-A-3 885 229 offenbart. Jedoch sind Verzerrungen und Modifikationen eines abgetasteten Bildes üblich. In einigen Fällen sind Verzerrungen des abgetasteten Bildes nicht-linear. Eine einzelne Schräglage- und Versatzkorrektur ist nicht ausreichend, um eine solche Verzerrung zu korrigieren.Previous systems for identifying an image area were typically designed to operate with fiducial marks that were clearly defined and easily distinguishable from other image information. These fiducial marks are typically ordered patterns arranged along the edges or in the corners of the scanned image and have the disadvantage of being obtrusive. Also, these previous systems perform registration of an image under the assumption that the scanned image is highly undistorted and noise-free. Examples of such systems are disclosed in US-A-4,533,959, JP-A-62001069 (Patent Abstracts of Japan, Vol. 11, No. 170, (P-581), June 2, 1987) and US-A-3,885,229. However, distortions and modifications of a scanned image are common. In some cases, distortions of the scanned image are non-linear. A single skew and offset correction is not sufficient to correct such distortion.

Ein früheres System schlägt das Verwenden vieler Vergleichsmarken vor, die über die Bildfläche beabstandet angeordnet sind, um nicht-lineare Verzerrungen, die in das abgetastete Bild eingeführt wurden, hinsichtlich eines idealen Bildes durch das Anwenden stückweise linearer Annäherungsverfahren zu kompensieren. Jedoch macht dieses System ein gesteuertes zweites Abtasten des eigentlichen Bildes erforderlich, um ein kompensiertes Bild zu erzeugen. Bei vielen Bildabtastanwendungen ist es unmöglich, solch ein gesteuertes zweites Abtasten zu erzielen. Das Anwenden dieses früheren Systemes ist auch auf Anwendungen beschränkt, bei denen alle Vergleichsmarkierungen in dem abgetasteten Bild vorliegen und bei denen alle Markierungen erfolgreich erfaßt wurden. Ferner ist dieses frühere System nicht in der Lage, in dem Fall zufriedenstellend zu funktionieren, daß ein bestimmter Bereich des Bildes falsch als eine Vergleichsmarkierung erfaßt wurde.A previous system proposes using many fiducials spaced across the image area to compensate for non-linear distortions introduced into the scanned image with respect to an ideal image by applying piecewise linear approximation techniques. However, this system requires a controlled second scan of the actual image to produce a compensated image. In many image scanning applications, it is impossible to achieve such a controlled second scan. Applying this previous The system is also limited to applications where all fiducial marks are present in the scanned image and where all marks have been successfully detected. Furthermore, this prior system is unable to function satisfactorily in the event that a particular region of the image has been incorrectly detected as a fiducial mark.

Probleme bei bekannten Systemen bestehen daher darin, daß sie auf eine Verzerrung und Störung empfindlich sind, daß sie ausfallen, falls Markierungen als Vergleichsmarkierungen falsch identifiziert werden und daß sie eine nicht-lineare Verzerrung ohne ein zweites Abtasten nicht handhaben können.Problems with known systems are therefore that they are sensitive to distortion and noise, that they fail if marks are misidentified as fiducial marks, and that they cannot handle non-linear distortion without a second scan.

Description of the invention

Die Erfindung ist in den Ansprüchen 1 bzw. 11 definiert.The invention is defined in claims 1 and 11 respectively.

Bei der Erfindung werden Markierungen, die anfänglich als Vergleichsmarkierungen (Prüf-Vergleichsmarkierungen) identifiziert werden, beseitigt, falls sie von deren erwarteten Lagen zu weit entfernt sind. Ein Vorteil davon besteht in der Möglichkeit, eine robuste Handhabung von Verzerrung und Störungen zu schaffen. Ein anderer Vorteil besteht darin, daß kleine Vergleichsmarkierungen verwendet werden können, die so nicht aufdringlich auf den Anwender wirken, und die erhöhte Wahrscheinlichkeit falscher anfänglicher Identifizierungen toleriert werden kann. Zum Beispiel können die Vergleichsmarkierungen nahe Bereichen der Oberfläche verteilt werden, die durch den Anwender zu markieren sind. Falsch identifizierte Vergleichsmarkierungen können beseitigt werden, und das Verarbeiten das Bildes kann fortgesetzt werden. Ferner können abgetastete Bilder, die nicht-lineare Verzerrungen enthalten, die nicht durch eine einzelne Schräglage- und Versatzkorrektur korrigiert werden können, durch das Verwenden der gefundenen Differenz zwischen erfaßten und idealen Vergleichsmarkierungsstellen genau verarbeitet werden, um so die vorhergesagte Lagegenauigkeit in dem Bereich jeder Markierung zu verbessern.In the invention, marks initially identified as fiducial marks (check fiducial marks) are eliminated if they are too far from their expected locations. One advantage of this is the ability to provide robust handling of distortion and noise. Another advantage is that small fiducial marks can be used, so they are not intrusive to the user, and the increased likelihood of false initial identifications can be tolerated. For example, the fiducial marks can be distributed near areas of the surface that are to be marked by the user. Falsely identified fiducial marks can be eliminated, and processing of the image can continue. Furthermore, scanned images containing non-linear distortions that cannot be corrected by a single skew and offset correction can be accurately processed by using the found difference between detected and ideal comparison marker locations to improve the predicted location accuracy in the area of each marker.

Short description of the drawing

In der Zeichnung ist:In the drawing:

In Fig. 1 in vereinbarter Blockdiagrammform ein beispielhaftes System zum Auffinden von Bereichen eines Bildes und zum Herausziehen von Informationen daraus dargestellt;Fig. 1 shows in agreed block diagram form an exemplary system for locating regions of an image and extracting information therefrom;

in Fig. 2 in Ablaufdiagrammform eine beispielhafte Realisierung des Verfahrens zum Auffinden von Bereichen eines Bildes und Herausziehen von Informationen aus diesen dargestellt;Fig. 2 shows an exemplary implementation of the method for finding areas of an image and extracting information from them in flow chart form;

in Fig. 3 ein beispielhaftes Verfahren zum Berechnen einer Gesamt-Bildschräglage dargestellt; undFig. 3 shows an exemplary method for calculating an overall image tilt; and

in Fig. 4 in Ablaufdiagrammform ein beispielhaftes Verfahren zum Berechnen eines Gesamt-Bildversatzes dargestellt.Fig. 4 shows an exemplary method for calculating a total image offset in flow chart form.

Detailed description

In Fig. 1 ist in vereinfachter Blockdiagrammform ein beispielhaftes System zum Auffinden von Bereichen eines Bildes und Herausziehen von Informationen daraus dargestellt. Das Systein umfaßt einen Computer, der mit einer Facsimile-(FAX)- Karte und einer Einrichtung zum Erhalten von Bildern ausgestattet ist. Bei diesem Beispiel ist der Computer ein AT&T-6386-Arbeitsgruppensystem (WGS) 101, der weiter aus einer Verarbeitungseinheit 102, einem Speicher 103 und einer Plattenspeichereinheit (DISK) 104 besteht. Als eine interne Peripheneeinheit ist eine FAX-Karte 105, eine AT&T-Fax- Verbindung (FAX CON-20), eingeschlossen. Die FAX-Karte 105 steht über ein Direktwähl-Netz (DDD) 107, d. h. das öffentliche Telefonnetz, mit einem Facsimile-(FAX)-Gerät 106 in Verbindung. Die FAX-Karte 105 kann Bilder empfangen, die durch das FAX- Gerät 106 abgetastet und übertragen werden. Optional ist auch ein Dokumenten-Scanner 108 an dem AT&T-6386-Arbeitsgruppensystem (WGS) 101 zum Zuführen einer abgetasteten Darstellung von Bildern angeschlossen. Alle zuvor genannten Bauteile sind bekannt und kommerziell verfügbar.Referring now to Fig. 1, there is shown in simplified block diagram form an exemplary system for locating areas of an image and extracting information therefrom. The system includes a computer equipped with a facsimile (FAX) card and a device for obtaining images. In this example, the computer is an AT&T 6386 workgroup system (WGS) 101, which further includes a processing unit 102, a memory 103 and a disk storage unit (DISK) 104. Included as an internal peripheral unit is a FAX card 105, an AT&T fax connection (FAX CON-20). The FAX card 105 is connected to a facsimile (FAX) machine 106 via a direct dial network (DDD) 107, i.e., the public telephone network. The FAX card 105 can receive images scanned and transmitted by the FAX machine 106. Optionally, a document scanner 108 is also connected to the AT&T 6386 workgroup system (WGS) 101 for supplying a scanned representation of images. All of the aforementioned components are well known and commercially available.

In Fig. 2 ist in Ablaufdiagrammform eine beispielhafte Realisierung der Routine zum Auffinden und Verwenden einer Vergleichsmarkierungsstelle dargestellt. Die Routine wird beim Schritt 201 betreten, wenn bestimmt wird, daß die Registrierung eines Bildes zu bestimmen ist. Typischerweise findet dies für Zwecke zum Bestimmen der Lagen von bestimmten vorbestimmten Bereichen des Bildes statt. Solch eine Bestimmung kann automatisch durchgeführt werden, z. B. nach dem Empfang einer Facsimile-Übertragung durch die FAX-Karte 105 (Fig. 1). Alternativ könnte ein Anwender eine solche Bestimmung durch das Eingeben einer geeigneten Befehlszeile an der Tastatur des AT&T-6386-Arbeitsgruppensystems (WGS) 101 (Fig. 1) durchführen. Bei einem Schritt 202 wird eine Beschreibung des ideal registrierten Bildes in den Speicher 103 (Fig. 1) eingelesen. Diese Beschreibung enthält zumindest die Positionen der erwarteten Vergleichsmarkierungen und die Positionen anderer Bereiche des Bildes, die zu identifizieren sind. Typischerweise wird diese Beschreibung auf der DISK 104 (Fig. 1) abgespeichert.Fig. 2 shows in flowchart form an exemplary implementation of the routine for finding and using a fiducial mark location. The routine is entered at step 201 when it is determined that registration of an image is to be determined. Typically, this is for purposes of determining the locations of certain predetermined areas of the image. Such a determination may be made automatically, e.g., upon receipt of a facsimile transmission by the FAX card 105 (Fig. 1). Alternatively, a user could make such a determination by entering an appropriate command line at the keyboard of the AT&T 6386 work group system (WGS) 101 (Fig. 1). At step 202, a description of the ideally registered image is read into the memory 103 (Fig. 1). This description includes at least the locations of the expected fiducial marks and the locations of other areas of the image to be identified. Typically, this description is stored on the DISK 104 (Fig. 1).

Das Erscheinen jeder Markierung in einem Bild ist durch einen Satz von Kennwerten beschreibbar, die eine Markierungsart bestimmen. Jede Markierung weist eine vorbestimmte Art auf, und die Arten für jede Markierung in dem Bild brauchen nicht identisch zu sein. Eine solche Art könnte eine Kugel, d. h. ein gefüllter Kreis, sein. Eine andere solche Art könnte ein Fadenkreuz sein. Daher kann eine Beschreibung der Charakteristika jeder Markierung, die an jeder Stelle zu finden sind, auch in der Beschreibung eines ideal registrierten Bildes eingeschlossen sein, so daß verschiedene Markierungen von verschiedenen Arten innerhalb eines Bildes verwendet werden können.The appearance of each mark in an image is describable by a set of characteristics that determine a mark type. Each mark has a predetermined type, and the types for each mark in the image need not be identical. One such type could be a sphere, i.e. a filled circle. Another such type could be a crosshair. Therefore, a description of the characteristics of each mark found at each location can also be included in the description of an ideally registered image, so that different marks of different types can be used within an image.

Die Daten, die ein abgetastetes Bild aufweisen, werden beim Schritt 203 in den Speicher 103 (Fig. 1) eingelesen. Daten, die das abgetastete Bild aufweisen, können von mehreren Quellen stammen, die ohne Beschränkung umfassen: die DISK 104 (Fig. 1), die FAX-Karte 105 und den optionalen Dokumenten-Scanner 108 (Fig. 1). Ein Bild, für das die Stellen bestimmter vorgegebener Bereiche zu identifizieren sind, kann von irgendeiner von mehreren Quellen geliefert werden. Typischerweise kann ein Bild direkt in den Speicher eingescannt werden, ein abgetastetes Bild kann über ein Kommunikationssystem empfangen werden, oder ein Bild kann aus einem Massenspeicher-Medium ausgelesen werden.The data comprising a scanned image is read into the memory 103 (Fig. 1) at step 203. Data comprising the scanned image may come from a number of sources including, without limitation, the DISK 104 (Fig. 1), the FAX card 105, and the optional document scanner 108 (Fig. 1). An image for which the locations of certain predetermined areas are to be identified may come from any of multiple sources. Typically, an image can be scanned directly into memory, a scanned image can be received via a communications system, or an image can be read from a mass storage medium.

Für jede Vergleichsmarkierung, die in einer ideal registrierten Bildbeschreibung beschrieben ist, wird ein vorbestimmter Bereich des abgetasteten Bildes bei einem Schritt 204 gesucht. Die Aufgabe der Suche besteht darin, die Markierung zu finden, die der Vergleichsmarkierung am nächsten kommt, die in dem Bereich erwartet wird, und zwar aufgrund eines Satzes vorbestimmter Charakteristika. Diese Charakteristika umfassen typischerweise die Gestalt der erwarteten Markierung und die erwartete Lage. Der Suchbereich wird auf die erwartete Lage der Vergleichsmarkierung in dem ideal registrierten Bild zentriert. Der Suchbereich wird dann von dieser zentralen Stelle um einen vorbestimmten Betrag erweitert. Innerhalb dieses Suchbereichs werden alle Markierungen, die aus verbundenen Bildpunkten eines vorbestimmten Typs bestehen, identifiziert. Bei diesem Beispiel bestehen die Markierungen aus schwarzen Bildpunkten. Danach wird eine Prüfmarkierung aufgrund eines Satzes vorbestimmter Kriterien ausgewählt. Bei einer Realisierung ist die ausgewählte Markierung die Markierung, die der erwarteten Vergleichsmarkierung am ehesten angenähert ist. Im Fall einer gefüllten kreisförmigen Vergleichsmarkierung, d. h. einer Kugel, wird bei der Bestimmung der Markierung, die der erwarteten Vergleichsmarkierung am ehesten angenähert ist, das Längenverhältnis der Sammlung von Bildpunkten, die etwa quadratisch sein sollten, wie auch die Lage von deren Schwerpunktmitte verwendet, die nahe der Mitte der Markierung sein sollte. Danach wird die ausgewählte Prüfvergleichsmarkierung zu einem Satz Prüfvergleichsmarkierungen hinzugefügt. Bei einem Schritt 205 wird eine Schätzung eines Satzes von Bildverzerrungsfaktoren relativ zu dem ideal registrierten Bild bestimmt. Bei einer Realisierung weist der Satz von Bildverzerrungsfaktoren eine Gesamt-Bildschräglage, Skalierung und Drehung auf. Jeder Bildverzerrungsfaktor kann in einer Unterroutine berechnet werden. Solche Unterroutinen werden im Schritt 205 aufgerufen. Routinen zum Berechnen der Gesamt- Bildschräglage, Skalierung und Drehung werden nachfolgend beschrieben.For each fiducial described in an ideally registered image description, a predetermined region of the scanned image is searched at a step 204. The object of the search is to find the fiducial that most closely approximates the fiducial expected in the region based on a set of predetermined characteristics. These characteristics typically include the shape of the expected fiducial and the expected location. The search region is centered on the expected location of the fiducial in the ideally registered image. The search region is then expanded from this central location by a predetermined amount. Within this search region, all fiducials consisting of connected pixels of a predetermined type are identified. In this example, the fiducials consist of black pixels. A test fiducial is then selected based on a set of predetermined criteria. In one implementation, the selected fiducial is the fiducial that most closely approximates the expected fiducial. In the case of a filled circular fiducial, i.e. a sphere, the determination of the fiducial that most closely approximates the expected fiducial uses the aspect ratio of the collection of image points, which should be approximately square, as well as the location of their centroid center, which should be near the center of the fiducial. Thereafter, the selected fiducial fiducial is added to a set of fiducial fiducials. In a step 205, an estimate of a set of image distortion factors relative to the ideally registered image is determined. In one implementation, the set of image distortion factors comprises an overall image skew, scale and rotation. Each image distortion factor can be in a Subroutines are called in step 205. Routines for calculating the overall image skew, scaling and rotation are described below.

Als nächstes prüft ein Bedingungs-Verzweigungspunkt 206, ob irgendeine der Prüfvergleichsmarken außerhalb einer vorbestimmten Toleranz von deren erwarteter Lage liegt. Falls das Prüfergebnis beim Schritt 206 JA ist, wird die Steuerung zu einem Schritt 207 weitergeleitet, der zumindest eine Markierung aus dem Satz der Prüfvergleichsmarkierungen entfernt. Bei einer Realisierung wird die Markierung aus dem Satz entfernt, die am weitesten von deren erwarteter Lage liegt. So wird ein neuer aktueller Satz von Prüfvergleichsmarkierungen ausgebildet. Die Steuerung wird dann zum Schritt 205 zurückgeführt, der einen neuen Satz von Bildverzerrungsfaktoren unter Verwendung des neuen Satzes von Prüfvergleichsmarkierungen berechnet. Falls das Prüfergebnis beim Schritt 206 NEIN ist, liegt jede der Prüfvergleichsmarkierungen in dem momentanen Satz innerhalb der vorherbestimmten Toleranz ihrer erwarteten Lage. Es braucht keine weitere Beseitigung von Prüfmarkierungen stattzufinden. Die Steuerung wird zu einem optionalen Schritt 208 geleitet, der aufgrund vorbestimmter Kriterien prüft, ob irgendwelche zusätzliche Prüfmarkierungen zum Satz der Prüfvergleichsmarkierungen hinzugefügt werden sollten. Die Prüfkriterien für den Schritt 208 sind von der Realisierung abhängig.Next, a conditional branch point 206 checks whether any of the check marks are outside a predetermined tolerance of their expected location. If the test result at step 206 is YES, control is passed to a step 207 which removes at least one mark from the set of check marks. In one implementation, the mark from the set that is furthest from its expected location is removed. Thus, a new current set of check marks is formed. Control is then returned to step 205 which calculates a new set of image distortion factors using the new set of check marks. If the test result at step 206 is NO, each of the check marks in the current set is within the predetermined tolerance of their expected location. No further removal of check marks needs to take place. Control is passed to an optional step 208 which checks, based on predetermined criteria, whether any additional check marks should be added to the set of check comparison marks. The check criteria for step 208 are implementation dependent.

Beispielhafte Prüfkriterien sind das Überschreiten einer vorbestimmten Anzahl von Durchläufen durch die Schleife, die Schritt 208 einschließt, oder das Erzielen einer vorbestimmten Differenz zwischen dem ideal registrierten Bild und dem vorhergesagten Bild. Diese zusätzlichen Prüfmarkierungen können Markierungen sein, für die eine Wahrscheinlichkeit besteht, daß sie Prüfmarkierungen sind, die aber beim Schritt 204 nicht zum Satz der Prüfvergleichsmarkierungen hinzugefügt wurden, oder sie können zuvor zurückgezogene Markierungen sein. Nur Markierungen aus Bildbereichen, für die momentan keine Markierungen in dem Satz der Prüfvergleichsmarkierungen sind, werden berücksichtigt. Obwohl Markierungen, die zuvor Elemente des Satzes der Prüfvergleichsmarkierungen waren und die entfernt wurden, bei diesem Schritt zum Satz der Prüfvergleichsmarkierungen zurück hinzugefügt werden können, liegt es in der Verantwortlichkeit des Implementierenden sicherzustellen, daß das Verfahren zum Auswählen der hinzuzufügenden Markierungen und der Kriterien zum Bestimmen, ob Markierungen hinzugefügt werden sollen, nicht in eine Endlosschleife führt. Bei einer solchen beispielhaften Realisierung werden Markierungen, die zuvor berücksichtigt und aus dem Satz von Prüfvergleichsmarkierungen entfernt wurden, nicht wieder berücksichtigt und die Anzahl, wie oft Schritt 208 ausgeführt werden kann, ist auf die Anzahl der erwarteten Vergleichsmarkierungen in dem ideal registrierten Bild beschränkt.Exemplary test criteria are exceeding a predetermined number of passes through the loop including step 208 or achieving a predetermined difference between the ideally registered image and the predicted image. These additional test marks may be marks that have a probability of being test marks but were not added to the set of test comparison marks at step 204, or they may be marks that were previously withdrawn. Marks Only from image regions for which there are currently no markers in the set of check comparison markers are considered. Although markers that were previously members of the set of check comparison markers and that were removed may be added back to the set of check comparison markers at this step, it is the responsibility of the implementer to ensure that the process for selecting the markers to add and the criteria for determining whether to add markers does not result in an infinite loop. In such an exemplary implementation, markers that were previously considered and removed from the set of check comparison markers are not considered again and the number of times step 208 can be performed is limited to the number of expected comparison markers in the ideally registered image.

Falls das Prüfergebnis beim Schritt 208 JA ist, wird die Steuerung zu einem Schritt 209 geführt, der tatsächlich die ausgewählten neuen Prüfvergleichsmarkierungen zu dem Satz der Prüfvergleichsmarkierungen hinzufügt. Die Steuerung wird dann zum Schritt 205 zurückgeführt, um einen neuen Satz von Werten für den Satz der Bildverzerrungsfaktoren zu berechnen. Falls das Prüfergebnis beim Schritt 208 NEIN ist, dann wird die Steuerung zu einem Schritt 210 geführt, bei dem die Lage von jedem zu bestimmenden Bereich unter Verwendung der momentanen Werte des Satzes der Bildverzerrungsfaktoren berechnet wird. Die Routine wird dann über einen Schritt 211 verlassen.If the test result at step 208 is YES, then control is passed to a step 209 which actually adds the selected new test comparison marks to the set of test comparison marks. Control is then returned to step 205 to calculate a new set of values for the set of image distortion factors. If the test result at step 208 is NO, then control is passed to a step 210 where the location of each region to be determined is calculated using the current values of the set of image distortion factors. The routine is then exited via a step 211.

Die Bildskalierung relativ zum ideal registrierten Bild wird bei einem bevorzugten Ausführungsbeispiel wie folgt berechnet. Anfänglich werden die äußersten vier (4) angeordneten Vergleichsmarkierungen identifiziert. Es ist insbesondere wichtig anzumerken, daß die Anordnung dieser Markierungen nicht auf die Ecken des Bildes beschränkt ist. Eher werden die vier äußersten Markierungen im abgetasteten Bild identifiziert, wenn immer der Satz der Vergleichsmarkierungen auf dem Bild angeordnet ist, so daß sie nicht aufdringlich sind. Diese äußersten erkannten Markierungen werden als OBERE LINKS, OBERE RECHTS, UNTERE LINKS und UNTERE RECHTS bezeichnet. Die zugehörigen Lagen der äußersten Markierungen im abgetasteten Bild sind UL, UR, LL und LR. Zusätzlich werden die zugehörigen Positionen jeder Markierung in dem ideal registrierten Bild als IUL, IUR, ILL und ILR bezeichnet. Die X-Koordinate eines Punktes wird durch einen ".X"-Zusatz und die Y-Koordinate eines Punktes durch einen ".Y"-Zusatz dargestellt. Der Skalierungsfaktor an der Oberseite des Bildes istThe image scaling relative to the ideally registered image is calculated in a preferred embodiment as follows. Initially, the outermost four (4) aligned fiducials are identified. It is particularly important to note that the arrangement of these fiducials is not limited to the corners of the image. Rather, the four outermost fiducials in the scanned image are identified whenever the set of fiducials on the image arranged so that they are not obtrusive. These outermost detected markers are referred to as UPPER LEFT, UPPER RIGHT, LOWER LEFT and LOWER RIGHT. The corresponding locations of the outermost markers in the scanned image are UL, UR, LL and LR. In addition, the corresponding positions of each marker in the ideally registered image are referred to as IUL, IUR, ILL and ILR. The X coordinate of a point is represented by a ".X" suffix and the Y coordinate of a point is represented by a ".Y" suffix. The scaling factor at the top of the image is

FX1 = (IUR.X-IUL.X)/(UR.X-UL.X),FX1 = (IUR.X-IUL.X)/(UR.X-UL.X),

und der Skalierungsfaktor am Boden der Seite istand the scaling factor at the bottom of the page is

FX2 = (ILR.X-ILL.X)I(LR.X-LL.X).FX2 = (ILR.X-ILL.X)I(LR.X-LL.X).

Der Skalierungsfaktor bei einer beliebigen Y-Koordinate wird berechnet alsThe scaling factor at any Y coordinate is calculated as

FXATY(Y) = FX1+(Y-UR.Y)*(FX2-FX1)/(UR.X-UL.X).FXATY(Y) = FX1+(Y-UR.Y)*(FX2-FX1)/(UR.X-UL.X).

Ähnliche Berechnungen berechnen den Skalierungsfaktor an einer beliebigen X-Koordinate. Die berechneten Skalierungsfaktoren werden verwendet, um alle zukünftigen Berechnungen von Punkten bei dem abgetasteten Bild einzustellen. Zum Beispiel würde für einen beliebigen Punkt IP im idealen Bild die vorhergesagte X- Koordinate in dem abgetasteten BildSimilar calculations calculate the scale factor at any X coordinate. The calculated scale factors are used to adjust all future calculations of points on the sampled image. For example, for any point IP in the ideal image, the predicted X coordinate in the sampled image would be

PP.X = IP.X*FXATY(IP.Y)PP.X = IP.X*FXATY(IP.Y)

sein. Wie dies vorstehend beschrieben ist, werden jedesmal, wenn eine Prüfvergleichsmarkierung aus dem Satz der Prüfvergleichsmarkierungen entfernt wird, neue Skalierungsfaktoren für das abgetastete Bild relativ zum ideal registrierten Bild berechnet.As described above, each time a check mark is removed from the set of check marks, new scale factors are calculated for the scanned image relative to the ideally registered image.

Eine Gesamt-Bildschräglage wird entsprechend einem beispielhaften Verfahren berechnet, das in Ablaufdiagrammform in Fig. 3 umrissen ist. Die Routine wird über einen Schritt 301 vom Schritt 205 aus betreten, falls es erforderlich ist, eine Gesamt-Bildschräglage zu berechnen. Bei einem Schritt 302 werden alle Markierungen in dem Prüfsatz von Vergleichsmarkierungen in einen Satz aus Paaren gruppiert, die aus allen einmaligen Paarungen von Markierungen bestehen. Die Routine iteriert über jedes Paar von Markierungen, das in dem Satz der Paare verbleibt. IF1 und IF2 beziehen sich auf jede Markierung eines Paars von Vergleichsmarkierungen in dem idealen Bild, und SF1 und SF2 beziehen sich auf jede Markierung des zugehörigen Paars von Vergleichsmarkierungen in dem abgetasteten Bild. Ein Schritt 303 enthält ein erstes Paar, um Berechnungen damit zu beginnen. Bei einem Schritt 304 wird der Winkelunterschied zwischen den abgetasteten und den ideal registrierten Markierungen berechnet alsA total image skew is calculated according to an exemplary method outlined in flow chart form in Figure 3. The routine is entered via a step 301 from step 205 if it is necessary to calculate a total image skew. At a step 302, all of the markers in the test set of comparison markers are grouped into a set of pairs consisting of all unique pairings of marks exist. The routine iterates over each pair of marks remaining in the set of pairs. IF1 and IF2 refer to each mark of a pair of fiducial marks in the ideal image, and SF1 and SF2 refer to each mark of the corresponding pair of fiducial marks in the scanned image. A step 303 contains a first pair to begin calculations with. At a step 304, the angular difference between the scanned and ideally registered marks is calculated as

SK = atan((SF2.Y-SF1.Y)/(SF2.X-SF1.X))-atan((IF2.Y- IF1.Y)/(IF2.X-IF1.X)).SK = atan((SF2.Y-SF1.Y)/(SF2.X-SF1.X))-atan((IF2.Y- IF1.Y)/(IF2.X-IF1.X)).

Bei einem Schritt 305 wird die berechnete Winkeldifferenz zu einer Winkeldifferenz addiert, die zu einer Gesamtsumme läuft. Danach wird bei einem Bedingungs-Verzweigungspunkt 306 geprüft, ob die Winkeldifferenz für das letzte Paar von Markierungen aus dem Satz der Paare berechnet wurde. Falls das Prüfergebnis beim Schritt 306 NEIN ist, wird die Steuerung zum Schritt 307 geleitet, der das nächste Paar von Markierungen aus dem Satz von Paaren enthält und die Steuerung zum Schritt 304 zurückleitet. Falls das Prüfergebnis beim Schritt 306 JA lautet, wird die Steuerung zu einem Schritt 308 geführt, der die Gesamt- Schräglage als das Mittel der Winkeldifferenzen durch Teilen der laufenden Summe der Winkeldifferenzen durch die Anzahl von Paaren der Markierungen berechnet, die sich ursprünglich im Satz der Paare befinden. Die Routine wird dann über einen Schritt 309 verlassen.At a step 305, the calculated angle difference is added to an angle difference that runs to a total. Thereafter, at a conditional branch point 306, it is checked whether the angle difference was calculated for the last pair of markers from the set of pairs. If the test result at step 306 is NO, control is passed to step 307, which includes the next pair of markers from the set of pairs and returns control to step 304. If the test result at step 306 is YES, control is passed to step 308, which calculates the total skew as the average of the angle differences by dividing the running sum of the angle differences by the number of pairs of markers originally in the set of pairs. The routine is then exited via step 309.

In Ablaufdiagrammform ist in Fig. 4 ein beispielhaftes Verfahren zum Berechnen eines Gesamt-Bildversatzes dargestellt. Die Routine wird vom Schritt 205 aus über einen Schritt 401 betreten, falls es erforderlich ist, einen Gesamt-Bildversatz zu berechnen. Beim Schritt 402 wird eine erste Markierung aus dem Satz von Prüfmarkierungen erhalten. Bei einem Schritt 403 werden die X- und Y-Komponente des Abstands von der Markierung im Satz der Prüfmarkierungen zu deren entsprechenden Markierung im ideal registrierten Bild berechnet. Verfahren für die Berechnung des Abstands und dessen Komponenten sind bekannt. Die berechneten Abstandskomponenten werden in einem Schritt 404 zu einer laufenden Summe der X- und Y-Abstandskomponenten addiert. Danach wird bei einem Bedingungs-Verzweigungspunkt 405 geprüft, um zu bestimmen, ob die gerade verarbeitete Markierung die letzte Markierung in dem Satz der Prüfmarkierungen ist. Falls das prüfergebnis beim Schritt 405 NEIN ist, wird die Steuerung zu einem Schritt 406 geführt, der die nächste Markierung aus dem Satz der Prüfmarkierungen erhält, und die Steuerung wird zum Schritt 403 zurückgeführt. Falls das Prüfergebnis beim Schritt 405 JA ist, wird die Steuerung zu einem Schritt 407 geführt, der den Durchschnitt der Versätze durch Dividieren der X- und Y-Summen durch die Anzahl von Markierungen in dem Satz von Prüfmarkierungen berechnet. Die Routine wird dann über einen Schritt 408 verlassen.An exemplary method for calculating a total image offset is shown in flow chart form in Fig. 4. The routine is entered from step 205 via a step 401 if it is necessary to calculate a total image offset. At step 402, a first mark is obtained from the set of test marks. At step 403, the X and Y components of the distance from the mark in the set of test marks to its corresponding mark in the ideal registered image. Methods for calculating the distance and its components are known. The calculated distance components are added to a running total of the X and Y distance components in a step 404. Thereafter, a check is made at a conditional branch point 405 to determine if the mark being processed is the last mark in the set of check marks. If the check result at step 405 is NO, control is passed to a step 406 which obtains the next mark from the set of check marks and control is returned to step 403. If the check result at step 405 is YES, control is passed to a step 407 which calculates the average of the offsets by dividing the X and Y sums by the number of marks in the set of check marks. The routine is then exited via a step 408.

Wenn einmal ein endgültiger Satz von Vergleichsmarkierungen erkannt wurde, ist es möglich, die Verzerrungsparameter zu berücksichtigen, die berechnet wurden, um vorherzusagen, wo ein vorgegebener Punkt in dem ideal registrierten Bild in dem tatsächlich abgetasteten Bild auftreten wird. Solch ein Punkt kann z. B. die Ecke eines Bereichs darstellen, der zu verarbeiten ist. Wenn die Verzerrungsparameter aus der Gesamt- Schräglage, der Skalierung und dem Versatz des Bildes bestehen, wie dies zuvor beschrieben ist, wird die X-Koordinate des vorhergesagten Punktes PP aus dem idealen Punkt IP gemäß der nachfolgenden Gleichung berechnet, bei der zur Vereinfachung der Notation CENTER der Mittelpunkt des abgetasteten Bildes, AO der Gesamt-Versatz und TMP eine zeitliche Variable darstellen.Once a final set of fiducial marks has been identified, it is possible to take into account the distortion parameters calculated to predict where a given point in the ideally registered image will occur in the actually scanned image. Such a point may, for example, represent the corner of an area to be processed. If the distortion parameters consist of the total skew, scale and offset of the image, as previously described, the X coordinate of the predicted point PP is calculated from the ideal point IP according to the following equation, where, for simplicity of notation, CENTER is the center of the scanned image, AO is the total offset and TMP is a temporal variable.

TMP.X = (AO.X+IP.X*FXATY(IP.Y))TMP.X = (AO.X+IP.X*FXATY(IP.Y))

TMP.Y = (AO.Y+IP.Y*FXATY(IP.X))TMP.Y = (AO.Y+IP.Y*FXATY(IP.X))

PP.X = CENTER.X+cos(-SK)*(TMP.X-CENTER.X)-sin(-SK)* (TMP.Y-CENTER.Y)PP.X = CENTER.X+cos(-SK)*(TMP.X-CENTER.X)-sin(-SK)* (TMP.Y-CENTER.Y)

Die Y-Koordinate des vorhergesagten Punktes wird in einer ähnlichen Art und Weise berechnet.The Y coordinate of the predicted point is calculated in a similar manner.

Um nicht-lineare Verzerrungen in dem abgetasteten Bild relativ zum idealen Bild zu berücksichtigen, kann der Durchschnitts- Versatz AO.X durch einen berechneten Versatzwert CO.X ausgetauscht werden, der eine gewichtete Summe der lokalen Variationen bei den Versatzwerten für die Vergleichsmarkierungen berücksichtigt. In der X-Richtung kann CO.X entsprechend dem Pseudocode berechnet werden, der in Tabelle 1 dargestellt ist. SUMDIST, DD, TOTDD und TOT.X sind zeitweilige Variablen. Wieder wird die Y-Koordinate des vorhergesagten Punktes in einer ähnlichen Art und Weise berechnet. TABELLE 1 To account for non-linear distortions in the sampled image relative to the ideal image, the average offset AO.X can be replaced by a calculated offset value CO.X that takes into account a weighted sum of the local variations in the offset values for the fiducial markers. In the X direction, CO.X can be calculated according to the pseudocode presented in Table 1. SUMDIST, DD, TOTDD and TOT.X are temporary variables. Again, the Y coordinate of the predicted point is calculated in a similar manner. TABLE 1

Ein Vorteil der Erfindung besteht in der Möglichkeit, eine robuste Handhabung von Verzerrung und Störungen zu schaffen. Ein anderer Vorteil der Erfindung besteht darin, daß eine Bereichsidentifizierung mit irgendeiner Anzahl von Vergleichsmarkierungen bei beliebigen, jedoch vorbestimmten Stellen genau durchgeführt werden kann. Folglich wird eine Flächen- bzw. Bereichserkennung selbst in Situationen genau verwirklicht, bei denen Vergleichsmarkierungen fehlen oder nicht erkennbar sind. Obwohl die bevorzugte minimale Anzahl gefundener Vergleichsmarkierungen vier (4) ist, kann das Verfahren unter Verwendung geeigneter Verfahren zum Ableiten des Satzes von Bildverzerrungsparametern verwendet werden, falls zumindest zwei Vergleichsmarkierungen in etwa diagonal gegenüberliegenden Bereichen des Bildes angeordnet sind. In einigen Fällen ist es auch möglich, daß Bereiche des Bildes ein ähnliches Erscheinungsbild zu einer Vergleichsmarkierung aufweisen und daher falsch als eine Vergleichsmarkierung identifiziert werden. Eine Anwendung, wo dies auftreten kann, ist, wenn ein vorgedrucktes Formblatt durch einen Anwender beschrieben wird, um bestimmte Auswahlen anzuzeigen oder Anwender-Informationen zu geben. Wenn kleine Vergleichsmarkierungen verwendet werden, so daß sie auf den Anwender nicht aufdringlich wirken, nimmt die Wahrscheinlichkeit solcher Ähnlichkeiten und falscher Identifikationen zu. Dies ist insbesondere so, wenn die Vergleichsmarkierungen nahe Bereichen der Oberfläche verteilt sind, die durch den Anwender zu markieren sind. Zusätzlich besteht ein Vorteil dieses Systems darin, daß falsch erkannte Vergleichsmarkierungen beseitigt werden können, so daß eine Verarbeitung des Bildes fortgesetzt werden kann. Ein weiterer Vorteil der Erfindung besteht darin, daß abgetastete Bilder, die nicht-lineare Verzerrungen enthalten, die nicht durch eine einzelne Schräglage- und Versatzkorrektur korrigiert werden können, unter Verwendung des gefundenen Unterschieds zwischen erfaßten und idealen Vergleichsmarkierungsstellen verarbeitet werden können, um so die vorhergesagte Lagegenauigkeit in dem Bereich jeder Markierung zu verbessern.One advantage of the invention is the ability to provide robust handling of distortion and noise. Another advantage of the invention is that area identification can be accurately performed with any number of fiducials at arbitrary, but predetermined, locations. Consequently, area detection is accurately achieved even in situations where fiducials are missing or not recognizable. Although the preferred minimum number of fiducials found is fiducial marks is four (4), the method can be used using suitable methods for deriving the set of image distortion parameters if at least two fiducial marks are located in approximately diagonally opposite areas of the image. In some cases it is also possible that areas of the image have a similar appearance to a fiducial mark and are therefore misidentified as a fiducial mark. One application where this can occur is when a pre-printed form is being written on by a user to indicate certain selections or to give user information. If small fiducial marks are used so that they are not intrusive to the user, the likelihood of such similarities and misidentifications increases. This is particularly so when the fiducial marks are distributed near areas of the surface to be marked by the user. In addition, an advantage of this system is that misidentified fiducial marks can be eliminated so that processing of the image can continue. Another advantage of the invention is that scanned images containing non-linear distortions that cannot be corrected by a single skew and offset correction can be processed using the found difference between detected and ideal fiducial marker locations to improve the predicted registration accuracy in the region of each marker.

Claims

1. A method for searching a scanned image of a predetermined type and determining locations therein, the method comprising the steps of:

a. Obtaining the scanned image;

b. Obtaining a representation of an ideally registered image of the predetermined type;

c. searching each region of a set of predetermined regions of the scanned image for at least one test fiducial, the test fiducials of each of the regions forming a set of test fiducials;

d. estimating a set of total image noise factors for the scanned image based on a comparison of the test fiducials with fiducials of the representation of the ideally registered image of the predetermined type;

marked by:

e. Determining which, if any, of the check reference marks are located more than a predetermined distance from their expected location;

f. if any of the test comparison marks is located more than the predetermined distance from its expected location, removing from the set of test comparison marks at least one test mark located more than the predetermined distance from its expected location;

g. if any of the test reference marks were removed from the set of test reference marks in the immediately preceding step (f), returning to step (d) and repeating steps (d) through (g); and

h. Providing a position for each reference mark of the set of test reference marks and values of the Set of image noise factors for the sampled image as an initial value.

2. The method of claim 1, further characterized by the step of calculating a location of a selected point in the scanned image for which a position in the ideally registered image is known, based on the total image noise factors.

3. The method of claim 1, further characterized by the steps prior to the step of delivering:

w. determining, based on predetermined test criteria, whether any markings not currently in the set of test comparison markings should be added to the set of test comparison markings;

x. if any check marks are to be added, selecting at least one check comparison mark to add to the set of check comparison marks ;

y. Adding the selected check comparison marks to the set of check comparison marks; and

z. if any comparison marks were added, go back to step (d) and repeat steps (d) to (z).

4. The method of claim 1, characterized in that the step of determining further comprises the step of compensating each location of each of the test marks based on the set of total image noise factors and comparing each of the compensated locations with respect to a corresponding location of a known fiducial mark in the ideally registered image.

5. A method according to claim 1, characterized in that the step of determining further comprises the step of compensating each position of each known fiducial in the ideally registered image based on the set of total image disturbance factors and comparing each of the compensated positions with respect to a corresponding position of the test marks.

6. The method of claim 1, characterized in that in the step of removing, a single test mark that is furthest outside the predetermined tolerance is removed.

7. A method according to claim 1, characterized in that in the step of scanning each region is searched for an object within the region having a predetermined probability of being a fiducial marker.

8. A method according to claim 2, characterized in that the step of calculating takes into account non-linear disturbances in the sampled image relative to the ideal image.

9. Method according to claim 7, characterized in that the predetermined probability is a highest probability.

10. A method according to claim 7, characterized in that the predetermined probability is a probability determined by comparing a set of characteristics of each object found in the search object relative to the set of characteristics of a fiducial marker located in the predetermined region in the ideally registered image.

11. Apparatus for searching a scanned image of a predetermined type and determining locations therein, comprising:

- means for obtaining the scanned image (105, 108);

- means for obtaining a representation of an ideally registered image of the predetermined type (104);

- means for searching each region of a set of predetermined regions of the scanned image for a test comparison mark, the test comparison marks from each of the regions forming a set of test region marks (102);

- means for estimating a set of total image distortion factors for the scanned image based on a comparison of the test comparison marks with comparison marks of the representation of the ideally registered image of the predetermined type (102, 103);

marked by:

- means for determining which, if any, of the test reference marks are located more than a predetermined distance from their expected location (102, 103);

- means responsive to the means for estimating and the means for determining for removing from the set of test comparison marks at least one test mark located more than the predetermined distance from its expected location (102, 103); and

- means for providing a location for each comparison mark of the set of test comparison marks and values of the set of image distortion factors for the scanned image (102, 103) as an output value.