DE3720377A1

DE3720377A1 - Method for realigning an image with respect to another image and device for carrying out the method

Info

Publication number: DE3720377A1
Application number: DE19873720377
Authority: DE
Inventors: Philippe Salmon; Christian Richard
Original assignee: Thomson CSF SA
Current assignee: Thales SA
Priority date: 1986-06-20
Filing date: 1987-06-19
Publication date: 1998-05-07
Also published as: FR2751453A1; IT8767525A0; GB8714370D0; GB2315946A; GB2315946B; SE8702600D0

Description

Die Erfindung betrifft ein Verfahren zur Neuausrichtung eines Bildes bezüglich eines anderen Bildes, wobei diese beiden Bilder denselben Gegenstand zu zwei verschiedenen Zeitpunkten darstellen, sowie eine Vorrichtung zur Durch führung des Verfahrens. Die Inhalte dieser beiden Bilder sind verschieden, weil sich das dargestellte Objekt im Raume bewegt hat und weil die Kamera, welche die Bilder liefert, sich ebenfalls bewegt hat, insbesondere dann, wenn sie die Aufgabe hat, dem Objekt Bild für Bild nach geführt zu werden.The invention relates to a method for realignment of an image with respect to another image, this both pictures the same object to two different ones Represent times, and a device for through conduct of the procedure. The content of these two images are different because the depicted object is in the Has moved spaces and because of the camera that takes the pictures supplies, has also moved, especially if it has the task of looking for the object frame by frame to be led.

Bei zahlreichen Anwendungen, insbesondere die Erfassung einer Objektbewegung durch eine Folge von Bildern, muß ein Bild bezüglich eines anderen Bildes neu ausgerichtet werden, d. h. die Bewegung des Hintergrundes dieser Bilder zum Verschwinden gebracht werden, um nur die Bewegung des in der Bildfolge dargestellten Objektes zu erfassen. Für die Anwendung einer Objektverfolgung muß eine besonders genaue Neuausrichtung erfolgen.In numerous applications, especially detection an object movement through a sequence of images realigned an image with respect to another image become, d. H. the movement of the background of these images to be made to disappear only to the movement of the object to be shown in the image sequence. For the use of object tracking must be special precise realignment.

Die bekannten Verfahren bestehen zumeist darin, eine Korre lationsfunktion zu definieren, die von den Luminanzwerten der Elemente von zwei aufeinanderfolgenden Bildern abhängt, und anschließend die Komponenten eines Translationsvektors so zu bestimmen, daß die Korrelationsfunktion zwischen diesen beiden Bildern ein Maximum aufweist. Diese Verfah ren sind oft sehr komplex in ihrer Durchführung und lie fern auch keine Neuausrichtung von ausreichender Genauig keit für die bildweise Verfolgung eines Objektes. Der Neu ausrichtungsfehler muß bei solchen Anwendungen kleiner als der Abstand zwischen zwei Bildelementen sein.The known methods mostly consist of a correction lation function to be defined by the luminance values which depends on two consecutive images, and then the components of a translation vector so that the correlation function between has a maximum of these two images. This procedure are often very complex to implement and deliver also no realignment of sufficient accuracy ability to track an object image-wise. The new one Alignment error in such applications must be less than the distance between two picture elements.

Der Erfindung liegt die Aufgabe zugrunde, dieses Problem der Erzielung einer ausreichenden Genauigkeit durch ein fache Mittel zu lösen.The invention has for its object this problem the achievement of sufficient accuracy by a simple means to solve.

Durch die Erfindung wird ein Verfahren geschaffen, welches im wesentlichen darin besteht, daß eine Korrelationsfunk tion definiert wird, welche von dem Betrag des Luminanz gradienten der Bildelemente abhängt, wobei nur diejenigen Elemente berücksichtigt werden, bei welchen dieser Betrag groß ist und die folglich den Konturen entsprechen. Eine weitere Verbesserung besteht darin, das Maximum der Korre lationsfunktion durch Interpolation zweiter Ordnung aufzu suchen.The invention creates a method which essentially consists of a correlation radio tion is defined by the amount of luminance gradient of the picture elements depends, with only those Items are considered for which this amount is large and consequently correspond to the contours. A further improvement is the maximum of the corrections tion function by interpolation of second order search.

Gegenstand der Erfindung ist ferner eine Vorrichtung zur Durchführung dieses Verfahrens.The invention further relates to a device for Performing this procedure.

Insbesondere besteht das Verfahren nach der Erfindung dar in, daß zur Neuausrichtung eines Bildes in bezug auf ein anderes Bild, welches als Referenzbild bezeichnet wird, wobei der Hintergrund des neu auszurichtenden Bildes eine Translation bezüglich des Hintergrundes des Referenzbil des erfahren hat und jedes Bild als Folge von Bildelemen ten analysiert wird, indem jedes Bildelement als Digital wert seiner Luminanz dargestellt wird, in folgender Weise vorgegangen:
In particular, the method according to the invention consists in that for realigning an image with respect to another image, which is referred to as a reference image, the background of the image to be realigned having undergone a translation with respect to the background of the reference image and each image as a result of picture elements by analyzing each picture element as a digital value of its luminance, proceed as follows:

- A correlation function is defined, which is dependent on the coordinates of elements of the image to be realigned and of elements of the reference image as well as on the components Δ x and Δ y of a translation vector of a correlation window cut out of the images;
- The values T x and T y of the components Δ x and Δ y of the translation vector of the correlation window are calculated in such a way that the correlation function has a maximum;
- The luminance values of the picture elements of a realigned image are calculated as a function of the luminance values of the picture elements of the new image to be realigned and of the values T x and T y ;
- This method is characterized in that the Image elements of the image to be realigned and the Image elements of the reference image used for the definition the correlation function are used, Bildele elements in which the luminance gradient is a Be has a load that is greater than a fixed threshold is.

Weitere Merkmale und Vorteile der Erfindung ergeben sich aus der folgenden Beschreibung von Ausführungsbeispielen und aus der Zeichnung, auf die Bezug genommen wird. In der Zeichnung zeigen: Further features and advantages of the invention result from the following description of exemplary embodiments and from the drawing to which reference is made. In the drawing shows:

Fig. 1 ein Beispiel von zwei Bildern, wovon das eine bezüglich des anderen neu auszurich ten ist; Fig. 1 shows an example of two images of which, which is ten newly auszurich one relative to the other;

Fig. 2 bis 6 zwei Schritte einer Ausführungsform des Verfahrens; und Figs. 2 to 6 show two steps of an embodiment of the method; and

Fig. 7 ein Blockschema einer Ausführungsform einer Vorrichtung zur Durchführung des Verfahrens. Fig. 7 is a block diagram of an embodiment of an apparatus for performing the method.

Die in Fig. 1 gezeigten beiden Bilder sind aufeinander folgende Bilder aus einer Folge von digitalisierten Bil dern. Das Bild 2 ist das neu auszurichtende Bild. Das Bild 1 ist das Referenzbild zur Neuausrichtung des Bil des 2. Das Objekt im Bild 1 ist ein beweglicher Gegen stand 4, dessen Bewegung in bezug auf einen Baum 5 und auf den Scheitel eines Hügels 6 erfolgt. Während der Dauer, die zwischen den Bildern 1 und 2 liegt, hat sich der beweg liche Gegenstand 4 bewegt. Weiterhin hat sich auch das Bildaufnahmefeld der Kamera bewegt. Das Objekt im Bild 2 umfaßt ebenfalls den beweglichen Gegenstand 4, den Schei tel 6 und den Baum 5, jedoch in verschiedenen Stellungen. Der Scheitel 6 und der Baum 5 besitzen Konturen, welche charakteristische Elemente des Bildhintergrundes bilden. In der folgenden Beschreibung wird angenommen, daß die Be wegung des Hintergrundes des Bildes 2 bezüglich des Hin tergrundes des Bildes 1 allein aus einer Translation be steht, die durch einen Vektor (T_x,i T_y) darstellbar ist. Die Neuausrichtung des Bildes 2 bezüglich des Bildes 1 besteht darin, die Werte der Komponenten T_x und T_y dieses Translationsvektors zu bestimmen und anschließend die Lu minanzwerte eines neu ausgerichteten Bildes in Abhängigkeit von diesen Komponenten und von den Luminanzwerten der Ele mente des Bildes 2 zu bestimmen. The two images shown in FIG. 1 are successive images from a sequence of digitized images. Image 2 is the image to be realigned. Image 1 is the reference image for realigning image 2 . The object in Figure 1 is a movable object was 4 , the movement of which is in relation to a tree 5 and on the top of a hill 6 . During the period that lies between the images 1 and 2 , the movable object 4 has moved. The image recording field of the camera has also moved. The object in Figure 2 also includes the movable object 4 , the Schei tel 6 and the tree 5 , but in different positions. The apex 6 and the tree 5 have contours which form characteristic elements of the image background. In the following description it is assumed that the movement of the background of the image 2 with respect to the background of the image 1 consists solely of a translation which can be represented by a vector (T _x , i T _y ). The realignment of the image 2 with respect to the image 1 consists in determining the values of the components T _x and T _{y of} this translation vector and then the luminance values of a realigned image depending on these components and on the luminance values of the elements of the image 2 determine.

Die Durchführung des erfindungsgemäßen Verfahrens besteht zunächst darin, eine Korrelationsfunktion zu definieren, welche von den Koordinaten von Bildelementen abhängig ist, welche Konturen entsprechen, die innerhalb eines Korrela tionsfensters 3 in dem neu auszurichtenden Bild 2 und eines Korrelationsfensters 7 in dem Referenzbild 1 liegen. Da das Fenster 3 um einen Translationsvektor (Δ_x, Δ_y) be züglich des Fensters 7 translationsverschoben ist, läuft die Bestimmung des Translationsvektors (T_x, T_y) des Hinter grundes des Bildes 2 bezüglich des Hintergrundes des Bil des 1 darauf hinaus, solche Werte von Δ_x und Δ_y zu bestim men, daß die Korrelation zwischen den beiden Fenstern ein Maximum aufweist.The implementation of the method according to the invention consists first of all in defining a correlation function which is dependent on the coordinates of image elements, which correspond to contours which lie within a correlation window 3 in the image 2 to be reoriented and a correlation window 7 in the reference image 1 . Since the window 3 _(x Δ, Δ _y) by a translation vector be züglich of the window is translation moved 7, the determination of the background runs of the translation vector (T _x, T _y) of the background of the image 2 relative to the Bil of 1 thereon addition, to determine such values of Δ _x and Δ _y that the correlation between the two windows has a maximum.

Bei einem Ausführungsbeispiel werden die betrachteten Bil der mittels einer herkömmlichen Fernsehkamera analysiert, welche eine Ablenkung durchführt, bei der ungeradzahlige und geradzahlige Teilbilder verschachtelt werden. In die sem Falle wird jedes Teilbild als unabhängiges Bild ange sehen, das bezüglich des Teilbildes gleicher Parität, das unmittelbar vorausgeht, neu ausgerichtet wird. Das Korre lationsfenster 3 besteht aus 128 × 128 Bildelementen und liegt in der geometrischen Mitte des Teilbildes, welches das Bild 2 darstellt. Das Korrelationsfenster 7 im Bild 1 besteht dann aus beispielsweise 128 × 128 Bildelementen, die horizontal um -Δ_x und vertikal um -Δ_y bezüglich den entsprechenden Bildelementen des Fensters 3 im Bild 2 ver setzt sind. Die innerhalb dieser beiden Fenster 3 und 7 liegenden Konturen ermöglichen die Bestimmung des Trans lationsvektors T für die Translation vom Bild 1 zum Bild 2. Diese Fenster müssen ausreichend groß sein, um überwiegend Konturen zu enthalten, die zu dem Bildhintergrund gehören, und einen geringeren Anteil von Konturen zu enthalten, die zu dem beweglichen Gegenstand 4 gehören. Die Oberflä che der Fenster 3 und 7 muß jedoch eingeschränkt werden, um das Volumen der für die Bestimmung des Translations vektors erforderlichen Korrelationsberechnungen nicht übermäßig zu vergrößern.In one embodiment, the images under consideration are analyzed using a conventional television camera that performs a deflection in which odd and even numbered fields are interleaved. In this case, each drawing file is viewed as an independent picture that is realigned with respect to the drawing file of the same parity that immediately precedes it. The correlation window 3 consists of 128 × 128 picture elements and lies in the geometric center of the sub-picture, which represents picture 2 . The correlation window 7 in picture 1 then consists of, for example, 128 × 128 picture elements which are offset horizontally by -Δ _x and vertically by -Δ _y with respect to the corresponding picture elements of window 3 in picture 2 . The contours lying within these two windows 3 and 7 enable the determination of the translation vector T for the translation from image 1 to image 2 . These windows must be large enough to contain predominantly contours that belong to the image background and to contain a smaller proportion of contours that belong to the moving object 4 . However, the surface of windows 3 and 7 must be restricted in order not to excessively increase the volume of the correlation calculations required for determining the translation vector.

Jeder Vektor eines Bildes ist durch Koordinaten (x, y) in einem Koordinatensystem (Ox, Oy) bezeichnet, wobei die Achse Ox horizontal liegt und von links nach rechts orien tiert ist, während die Achse Oy vertikal liegt und von oben nach unten orientiert ist. Die Einheit auf jeder Achse entspricht einem Bildelement, wie es durch die Ana lyse und Abtastung der Bilder bestimmt ist. Die Koordina ten des Mittelpunktes jedes Bildelementes sind also jeweils gleich der Spaltennummer bzw. Zeilennummer dieses Elementes.Each vector of an image is represented by coordinates (x, y) in a coordinate system (Ox, Oy), where the Axis Ox is horizontal and orien from left to right is, while the axis Oy is vertical and from is oriented upwards downwards. The unity on everyone Axis corresponds to a picture element, as it is by the Ana lysis and scanning of the images is determined. The coordina are the center of each picture element equal to the column number or line number of this element.

Zur Bestimmung der Komponenten (T_x, T_y) mit einem Fehler, der kleiner als der halbe Teilungsschritt der Bildelemente ist, ist es vorteilhaft, in zwei Schritten vorzugehen: zu nächst werden die ganzzahligen Anteile (e_x, e_y) bestimmt, welche einer ganzen Zahl von Bildelementen entsprechen, und anschließend werden die positiven oder negativen Reste (r_x, r_y) bestimmt, welche Bruchteilen von Bildelementen entsprechen. Diese zwei Schritte werden über eine Korrela tionsfunktion ausgeführt, die in zwei verschiedenen Formen durch zwei Funktionen des Vektors (Δ_x, Δ_y) und der Koordi naten des Punktes mit hohem Luminanzgradient in den beiden Korrelationsfenstern 3 und 7 ausgedrückt wird.To determine the components (T _x , T _y ) with an error that is less than half the division step of the picture elements, it is advantageous to proceed in two steps: first, the integer parts (e _x , e _y ) are determined, which ones correspond to an integer number of picture elements, and then the positive or negative residues (r _x , r _y ) are determined, which correspond to fractions of picture elements. These two steps are carried out via a correlation function, which is expressed in two different forms by two functions of the vector (Δ _x , Δ _y ) and the coordinates of the point with a high luminance gradient in the two correlation windows 3 and 7 .

Die Analyse jedes Bildelementes bestimmt die mittlere Lumi nanz einer Gruppe von unendlich kleinen Punkten, welche dieses Bildelement darstellen, und jedes Element wird durch die Koordinaten (i, j) seines Mittelpunktes bestimmt, bei denen es sich um ganzzahlige Werte handelt. Das Verfahren besteht darin, die Werte COR(p, q) einer ersten Funktion COR(Δ_x, Δ_y) für ganzzahlige Werte p und q der Komponenten Δ_x und Δ_y zu bestimmen; unter allen ganzzahligen Werten p und q zwei Werte e_x und e_y so zu bestimmen, daß für p = e_x und q = e_y die Funktion COR(p, q) durch ein Maximum verläuft; dann wird eine Interpolation zweiter Ordnung mit der Kor relationsfunktion in der Nähe von e_x und e_y durchgeführt, um die Bestimmung des Translationsvektors zu verfeinern. Diese Interpolation zweiter Ordnung besteht darin, die Korrelationsfunktion durch ein Polynom zweiter Ordnung P(Δ_x, Δ_y) darzustellen und die Restwerte r_x und r_y so zu berechnen, daß für Δ × = e_x + r_x und Δ = + r_y die Polynome P(e_x, Δ_y) und P(Δ_x, e_y) durch ein Maximum verlaufen. Die Komponenten T_x und T_y des gesuchten Translationsvektors sind dann mit hoher Genauigkeit gleich e_x + r_x bzw. e_y + r_y.The analysis of each pixel determines the mean luminance of a group of infinitely small dots that represent that pixel, and each element is determined by the coordinates (i, j) of its center, which are integer values. The method consists in determining the values COR (p, q) of a first function COR (Δ _x , Δ _y ) for integer values p and q of the components Δ _x and Δ _y ; to determine two values e _x and e _y among all integer values p and q such that the function COR (p, q) runs through a maximum for p = e _x and q = e _y ; then a second order interpolation is performed with the correlation function near e _x and e _y to refine the translation vector determination. This second-order interpolation consists of representing the correlation function by means of a second-order polynomial P (Δ _x , Δ _y ) and calculating the residual values r _x and r _y such that for Δ × = e _x + r _x and Δ = + r _y the polynomials P (e _x , Δ _y ) and P (Δ _x , e _y ) run through a maximum. The components T _x and T _{y of} the translation vector sought are then, with high accuracy, equal to e _x + r _x and e _y + r _y .

Die Erfindung besteht somit darin, zunächst die Elemente des Bildes 1 zu erfassen, welche innerhalb des Fensters 3 liegen, und die Elemente des Bildes 2 zu erfassen, welche innerhalb des Fensters 3 liegen, bei welchen jeweils der Luminanzgradient einen hohen Wert aufweist. Diese Erfas sung geschieht, indem nacheinander jedes Element betrach tet wird, das innerhalb der Fenster 3 und 7 liegt, in der Reihenfolge, in welcher diese Punkte analysiert wurden. Der jeweils laufende Punkt wird dann als ein Punkt mit großem Luminanzgradient angesehen, wenn der Absolutwert der Differenz zwischen seiner Luminanz und der Luminanz des unmittelbar vorausgehenden benachbarten Punktes in der selben Zeile größer als ein fester Schwellwert S ist, oder wenn der Absolutwert der Differenz seines Luminanzwertes bezüglich des Luminanzwertes bei dem benachbarten Punkt, welcher ihm in der unmittelbar vorausgehenden Zeile ent spricht, größer als der Schwellwert S ist.The invention thus consists in firstly capturing the elements of the image 1 which lie within the window 3 , and capturing the elements of the image 2 which are within the window 3 , in each of which the luminance gradient has a high value. This detection occurs by sequentially examining each element that is within windows 3 and 7 in the order in which these points were analyzed. The current point is regarded as a point with a large luminance gradient if the absolute value of the difference between its luminance and the luminance of the immediately preceding neighboring point in the same line is greater than a fixed threshold value S, or if the absolute value of the difference of its luminance value is greater than the threshold value S with respect to the luminance value at the neighboring point which speaks to it in the immediately preceding line.

Dieser Schwellwert wird in der Größenordnung von 10% der Luminanzdynamik gewählt. Die Bildelemente, welche inner halb des Fensters 3 des Referenzbildes 1 liegen, werden jeweils durch einen Binärwert G₁ (i, j) mit dem Wert 1 dar gestellt, wenn das Element einen hohen Luminanzgradienten aufweist, und sonst mit dem Wert 0. Darin sind i und j die Spaltennummer und Zeilennummer des Elementes im Teilbild, welches das Bild 1 darstellt. Gleichfalls wird jedes Ele ment des neu auszurichtenden Bildes 2 durch einen Binär wert G₂ (i, j) dargestellt, welcher den Wert 1 aufweist, wenn das Element einen hohen Luminanzgradienten aufweist, oder den Wert 0, wenn dies nicht zutrifft.This threshold value is chosen in the order of 10% of the luminance dynamics. The picture elements which lie within the window 3 of the reference image 1 are each represented by a binary value G ₁ (i, j) with the value 1 if the element has a high luminance gradient, and otherwise with the value 0 i and j the column number and line number of the element in the drawing file, which picture 1 represents. Likewise, each element of the realigned image 2 is represented by a binary value G ₂ (i, j) which has the value 1 if the element has a high luminance gradient, or the value 0 if this is not the case.

Das Verfahren besteht weiterhin darin, daß anschließend ein erster Ausdruck der Korrelationsfunktion COR(Δ_x, Δ_y) definiert wird, welche nur für ganzzahlige Werte p und q von Δ_x und Δ_y angewendet wird:
The method also consists in defining a first expression of the correlation function COR (Δ _x , Δ _y ), which is only used for integer values p and q of Δ _x and Δ _y :

Die Fig. 2 zeigt eine Tabelle, worin die Werte der Korre lationsfunktion COR(p, q) für ein Bildbeispiel angegeben sind, wobei jeder Wert dieser Korrelationsfunktion syste matisch für p= -5 bis +5 und für q= -5 bis +5 berechnet wurde. Ein Vergleich aller dieser Werte miteinander führt zur Bestimmung des größten Wertes 22595 und entspricht einer Translation um den Vektor (4, 0). Der ganzzahlige Anteil e_x und e_y der Komponenten T_x und T_y besteht also aus den Werten 4 und 0. Anschließend müssen noch die Re ste r_x und r_y dieser Komponenten bestimmt werden. Fig. 2 shows a table in which the values of the correlation function COR (p, q) are given for an image example, each value of this correlation function being systematic for p = -5 to +5 and for q = -5 to +5 was calculated. A comparison of all these values leads to the determination of the largest value 22595 and corresponds to a translation around the vector (4, 0). The integer components e _x and e _{y of} the components T _x and T _y thus consist of the values 4 and 0. Then the re r r _x and r _{y of} these components must also be determined.

Die Bestimmung der ganzzahligen Anteile e_x und e_y der Translationsvektorkomponenten geschieht in der Praxis ohne die Notwendigkeit der Berechnung aller Werte der Korrelationsfunktion COR(p, q), die in Fig. 2 gezeigt sind. Es tritt nämlich eine einzige Korrelationsspitze innerhalb der Korrelationsfenster 3 und 7 auf, so daß diese durch einen schnellen Konvergenzalgorithmus geortet werden kann, bei welchem die Monotonie der Korrelationsfunktion ausge nutzt wird. Dieser Algorithmus mit schneller Konvergenz besteht darin, einen ersten Maximalwert COR(p₀, q₀) der Korrelationsfunktion unter neun Werten aufzusuchen, die für p = -1, 0, 1 und q = -1, 0, 1 erhalten wurden, und an schließend einen zweiten Maximalwert COR(p₁, q₁) der Korre lationsfunktion unter neun weiteren Werten aufzusuchen, die für p = p₀-1, p₀, p₀+1 und für q = q₀-1, q₀, q₀+1 erhal ten wurden; p₀ und q₀ sind die Werte von p und q, welche dem ersten Maximalwert COR(p₀, q₀) entsprechen, der zuvor gefunden wurde.In practice, the integer parts e _x and e _{y of} the translation vector components are determined without the need to calculate all values of the correlation function COR (p, q) shown in FIG. 2. Namely, there is a single correlation peak within the correlation windows 3 and 7 , so that this can be located by a fast convergence algorithm, in which the monotony of the correlation function is used. This fast convergence algorithm consists of finding a first maximum value COR (p ₀ , q ₀ ) of the correlation function among nine values obtained for p = -1, 0, 1 and q = -1, 0, 1 and on finally a second maximum value COR (p ₁ , q ₁ ) of the correlation function is to be found among nine further values which are for p = p ₀ -1, p ₀ , p ₀ +1 and for q = q ₀ -1, q ₀ , q ₀ +1 were received; p ₀ and q ₀ are the values of p and q which correspond to the first maximum value COR (p ₀ , q ₀ ) that was previously found.

Anschließend wird ein dritter Maximalwert COR(p₂, q₂) der Korrelationsfunktion unter neun Werten bestimmt, die für p = p₁-1, p₁, p₁+1 und q = q₁-1, q₁, q₁+1 erhalten wurden; p₁ und q₁ sind die Werte von p und q, welche dem zweiten Maximalwert COR(p₁, q₁) entsprechen, der zuvor bestimmt wurde. Diese Berechnungen werden fortgesetzt, um COR(p_k+1, q_k+1), COR(p_k+1-1, q_k+1), COR(p_k+1+1, q_k+1), COR(p_k+1, q_k+1-1), COR(p_k+1, q_k+1+1) zu bestimmen, woraufhin der Maxi malwert M_k+1 unter diesen Werten bestimmt wird, wobei p_k+1 und q_k+1 die Werte von p und q sind, welche dem zuvor erhaltenen Maximalwert M_k entsprechen, bis der erhaltene Maximalwert M_k einer Verschiebung Null entspricht, also gleich COR(p_k+1, q_k+1) ist. Der Wert von e_x wird dann gleich p_k+1 und der Wert e_y gleich q_k+1 angesetzt. Ansonsten wer den die vorhergehenden Berechnungen fortgesetzt mit p = p_k+2 und q = q_k+2, welche dem erhaltenen Maximalwert M_k+1 ent sprechen.Subsequently, a third maximum value COR (p ₂ , q ₂ ) of the correlation function is determined from nine values which are for p = p ₁ -1, p ₁ , p ₁ +1 and q = q ₁ -1, q ₁ , q ₁ + 1 were obtained; p ₁ and q ₁ are the values of p and q which correspond to the second maximum value COR (p ₁ , q ₁ ) which was determined previously. These calculations are continued to COR (p _{k + 1} , q _{k + 1} ), COR (p _{k + 1} -1, q _{k + 1} ), COR (p _{k + 1} +1, q _{k + 1} ), COR (p _{k + 1} , q _{k + 1} -1), COR (p _{k + 1} , q _{k + 1} +1), whereupon the maximum value M _{k + 1 is determined} from these values, where p _{k + 1} and q _{k + 1,} the values of p and q which correspond to the maximum value M _k obtained above until the obtained maximum value M _k of displacement equals zero, that is equal to COR (p _{k + 1,} q _{k + 1).} The value of e _x is then set equal to p _{k + 1} and the value e _y equal to q _{k + 1} . Otherwise, who continued the previous calculations with p = p _{k + 2} and q = q _{k + 2} , which correspond to the maximum value M _{k + 1 obtained} .

Die Fig. 3 zeigt eine Tabelle der Werte COR(p, q) der Korre lationsfunktion, die berechnet werden muß, um gemäß diesem Algorithmus den ganzzahligen Anteil e_x und e_y der Transla tionsvektorkomponenten in demselben Bildbeispiel wie für die Tabelle in Fig. 2 zu bestimmen. Die eingerahmten Werte sind die nacheinander erhaltenen Maximalwerte: 16574, 18607, 21901, 22595 und 19043. Dieser Algorithmus mit schneller Konvergenz ermöglicht somit in diesem Beispiel die Bestim mung des Maximalwertes 22595 durch Berechnung von nur 21 Werten der Korrelationsfunktion, im Gegensatz zu den 121 Werten, wenn alle Werte COR(p, q) berechnet werden, die p = -5 bis 5 und q = -5 bis 5 entsprechen. Allgemein über schreitet die Anzahl von zu berechnenden Werten mit diesem Algorithmus nicht die Zahl 30. FIG. 3 shows a table of the values COR (p, q) of the correlation function, which must be calculated in order to use this algorithm to calculate the integer components e _x and e _{y of} the translation vector components in the same image example as for the table in FIG. 2 to determine. The framed values are the maximum values obtained in succession: 16574, 18607, 21901, 22595 and 19043. This algorithm with fast convergence thus enables the maximum value 22595 to be determined in this example by calculating only 21 values of the correlation function, in contrast to the 121 values if all values COR (p, q) are calculated which correspond to p = -5 to 5 and q = -5 to 5. In general, the number of values to be calculated with this algorithm does not exceed the number 30.

Es müssen noch die Reste r_x und r_y der Komponenten T_x und T_y des Translationsvektors berechnet werden. Ein zweiter Ausdruck der Korrelationsfunktion, die nur für die ganz zahligen Werte von Δ_x und Δ_y in der Nähe von e_x und e_y angewendet wurde, besteht aus einem Polynom zweiten Gra des P(Δ_x, Δ_y). Wenn Δ_y als konstant und gleich e_y angenom men wird, nimmt dieses Polynom folgende Form an:
The residues r _x and r _{y of} the components T _x and T _{y of} the translation vector still have to be calculated. A second expression of the correlation function, which was only used for the integer values of Δ _x and Δ _y in the vicinity of e _x and e _y , consists of a polynomial of the second degree P (Δ _x , Δ _y ). If Δ _{y is} assumed to be constant and equal to e _y , this polynomial takes the following form:

P(Δ_x, e_y) = a₁.(Δ_x)² + b₁.Δ_x + c₁ (2)
P (Δ _x , e _y ) = a _1. (Δ _x ) ² + b ₁ .Δ _x + c ₁ (2)

Wenn Δ_x als konstant und gleich e_x angenommen wird, so nimmt dieses Polynom folgende Form an:
If Δ _{x is} assumed to be constant and equal to e _x , this polynomial takes the following form:

P(e_x, Δ_y) = a₂(Δ_y)² + b₂.Δ_y + c₂ (3)
P (e _x , Δ _y ) = a ₂ (Δ _y ) ² + b ₂ .Δ _y + c ₂ (3)

Die Koeffizienten a₁, a₂, b₁, b₂, c₁ und c₂ sind im voraus nicht bekannt, jedoch gilt für sie:
COR(Δ_x, e_y) = P(Δ_x, e_y) für Δ_x ganzzahlig und nahe bei e_x, d. h. für Δ_x, e_x, e_x + 1 und e_x-1.The coefficients a ₁ , a ₂ , b ₁ , b ₂ , c ₁ and c ₂ are not known in advance, but the following applies to them:
COR (Δ _x , e _y ) = P (Δ _x , e _y ) for Δ _x integer and close to e _x , ie for Δ _x , e _x , e _x + 1 and e _x -1.

Weiterhin: COR(e_y, Δ_y) = P(e_y, Δ_y) für Δ_y ganzzahlig und nahe bei e_y, d. h. für Δ_y = e_y, e_y + 1 und e_y-1.Furthermore: COR (e _y , Δ _y ) = P (e _y , Δ _y ) for Δ _y integer and close to e _y , ie for Δ _y = e _y , e _y + 1 and e _y -1.

In einem kartesischen Koordinatensystem mit den drei Ach sen Δ_x, Δ_y, COR(Δ_x, Δ_y) ist die graphische Darstellung von COR(p, q) für alle ganzzahligen Werte p und q, welche zu dem Korrelationsfenster gehören, eine Oberfläche aus dis kontinuierlichen Punkten mit einer Spitze in der Nähe des Punktes (e_x, e_y). Die graphischen Darstellungen der Funk tionen P(e_x, Δ_y) und P(Δ_x, e_y) sind kontinuierliche Kurven zweiter Ordnung, die jeweils ein Maximum in der Nähe des Punktes (e_x, e_y) aufweisen und durch die Oberflächenpunkte verlaufen, die in der Nähe der Spitze liegen. Diese Punkte haben die Koordinaten COR(e_x ±1, e_y) und COR(e_x, e_y ± 1). Die Interpolation zweiter Ordnung besteht darin, die Koor dinaten e_x + r_y und e_y und r_y der Maxima dieser beiden Kurven zu bestimmen, denn sie sind mit nur sehr geringem Fehler gleich den Koordinaten der Spitze der Oberfläche. Diese Koordinaten bilden somit die gesuchten Komponenten (T_x, T_y).In a Cartesian coordinate system with the three axes Δ _x , Δ _y , COR (Δ _x , Δ _y ), the graphical representation of COR (p, q) is a surface for all integer values p and q which belong to the correlation window from the continuous points with a peak near the point (e _x , e _y ). The graphs of the functions P (e _x , Δ _y ) and P (Δ _x , e _y ) are continuous curves of the second order, each having a maximum in the vicinity of the point (e _x , e _y ) and through the surface points that are near the top. These points have the coordinates COR (e _x ± 1, e _y ) and COR (e _x , e _y ± 1). The second-order interpolation consists in determining the coordinates e _x + r _y and e _y and r _{y of} the maxima of these two curves, because they are the coordinates of the top of the surface with very little error. These coordinates thus form the components sought (T _x , T _y ).

Die Fig. 4 zeigt die Funktionswerte COR(Δ_x, e_y) und P(Δ_x, e_y) für das den Fig. 2 und 3 entsprechende Bildbeispiel, d. h. für e_y = 0. In Fig. 4 stellen die Kreuze die Werte der Funktion COR(Δ_x, e_y =0) für die ganzzahligen Werte von Δ_x gleich 3, 4 und 5 dar. Es existiert nur eine Kurve zweiter Ordnung mit der Gleichung P(Δ_x, 0) =0, welche durch diese drei Punkte verläuft. Diese Kurve weist ein Maximum auf. Die Abszisse dieses Punktes bildet mit guter Annäherung den Wert T_x = e_x + r_x, welcher gesucht wird. Es kann mathe matisch gezeigt werden, daß r_x gleich folgendem Ausdruck ist:
FIG. 4 shows the function values COR (Δ _x , e _y ) and P (Δ _x , e _y ) for the image example corresponding to FIGS . 2 and 3, ie for e _y = 0. In FIG. 4, the crosses represent the Values of the function COR (Δ _x , e _y = 0) for the integer values of Δ _x equal to 3, 4 and 5. There is only a second order curve with the equation P (Δ _x , 0) = 0, which by these three points runs. This curve has a maximum. With good approximation, the abscissa of this point forms the value T _x = e _x + r _x which is sought. It can be shown mathematically that r _{x is} equal to the following expression:

Die Fig. 5 zeigt die Werte der Funktionen COR(e_y, Δ_y) und P(e_x, Δ_y) für das den Fig. 2 und 3 entsprechende Bild beispiel, d. h. für e_y = 4. FIG. 5 shows the values of the functions COR (e _y, Δ _y) and P (e _x, Δ _y) for the Figs. 2 and 3 corresponding image, for example, that for e _y = 4.

In Fig. 5 stellen die Kreuze die Werte der Funktion COR COR(e_x = 4, _y) für die ganzzahligen Werte von Δ_y = -1, 0, +1 dar. Es existiert nur eine Kurve zweiter Ordnung, deren Gleichung die Form P(4,Δ_y) = 0 hat und welche durch diese drei Punkte verläuft. Diese Kurve weist ein Maximum auf. Die Abszisse dieses Punktes bildet mit guter Annäherung den gesuchten Wert T_y = e_y + r_y. Mathematisch kann gezeigt werden, daß r_y gleich folgendem Ausdruck ist:
In Fig. 5, the crosses represent the values of the COR COR function (e _x = 4, _y ) for the integer values of Δ _y = -1, 0, +1. There is only one second order curve, the equation of which is the form P (4, Δ _y ) = 0 and which runs through these three points. This curve has a maximum. The abscissa of this point forms the sought value T _y = e _y + r _y with a good approximation. It can be shown mathematically that r _{y is} equal to the following expression:

Im Beispiel der Fig. 2 und 3 ist T_x = 3,66, und T_{y+t = 0,02.} In the example of FIGS. 2 and 3, T _x = 3.66 and T _{y + t = 0.02.}

Nach dem erfindungsgemäßen Verfahren wird anschließend ein Luminanzwert L'(i, j) für jedes Element des neu ausge richteten Bildes berechnet, wobei dieses Element mit den Indizes i und j für Spalte und Zeile in dem neu ausgerich teten Bild bezeichnet ist. Dieser Luminanzwert wird berech net in Abhängigkeit von den Luminanzwerten der Elemente des neu auszurichtenden Bildes 2 sowie in Abhängigkeit von den Komponenten T_x und T_y des Translationsvektors für den Hintergrund des Bildes 2 bezüglich des Hintergrundes des Bildes 1. Die Bestimmung dieses Luminanzwertes L' (i, j) wird in zwei aufeinanderfolgenden Schritten ausgeführt.According to the method according to the invention, a luminance value L '(i, j) is then calculated for each element of the newly aligned image, this element being designated by the indices i and j for column and row in the newly aligned image. This luminance value is calculated as a function of the luminance values of the elements of the image 2 to be realigned and as a function of the components T _x and T _{y of} the translation vector for the background of the image 2 with respect to the background of the image 1 . The determination of this luminance value L '(i, j) is carried out in two successive steps.

In einem ersten Schritt wird ein angenäherter Wert gebil det, der mit L(i-e_x, j-e_x) für ein Element des neu auszu richteten Bildes 2 bezeichnet ist, entsprechend dem Ele ment mit den Koordinaten (i, j) des Bildes 1, durch eine Translation, deren Vektor die Komponenten (e_x, e_y) auf weist, d. h. es handelt sich um die ganzzahligen Werte der Komponenten T_x und T_y.In a first step, an approximate value is formed, which is denoted by L (ie _x , each _x ) for an element of the newly aligned image 2 , corresponding to the element with the coordinates (i, j) of the image 1 a translation, the vector of which has the components (e _x , e _y ), ie it is the integer values of the components T _x and T _y .

In einem zweiten Schritt wird eine lineare Interpolation in der Nähe des Koordinatenelementes (i-e_x, j-e_y) durch geführt, wozu eine lineare Kombination der Luminanzwerte der vier Elemente des Bildes 2 durchgeführt wird, welche am nächsten beim Punkte mit den Koordinaten (i-T_x, j-T_y) liegen. Diese Luminanzwerte sind bezeichnet mit:
L(i-e_x, j-e_y), W₁, W₂ und W₃. Der Luminanzwert L' (i, j) wird nach folgender Formel berechnet:
In a second step, a linear interpolation is carried out in the vicinity of the coordinate element (ie _x , each _y ), for which purpose a linear combination of the luminance values of the four elements of image 2 is carried out, which is closest to the point with the coordinates (iT _x , jT _y ). These luminance values are labeled with:
L (ie _x , each _y ), W ₁ , W ₂ and W ₃ . The luminance value L '(i, j) is calculated using the following formula:

L'(i, j) = (1-α).(1-λ).L(i-e_x, j-e_y) + λ.(l-α).W₁ + λ.α.W₂ + α.(1-λ).W₃ (6)
L '(i, j) = (1-α). (1-λ) .L (ie _x , each _y ) + λ. (L-α) .W ₁ + λ.α.W ₂ + α. ( 1-λ) .W ₃ (6)

worin λ und α die Absolutwerte der Reste r_x und r_y sind. Es kann auch eine lineare Interpolation zwischen vier Punk ten gemäß geringfügig anderen Formeln durchgeführt werden.where λ and α are the absolute values of the radicals r _x and r _y . A linear interpolation between four points can also be carried out according to slightly different formulas.

Die Fig. 6 zeigt einen Punkt PC des neu auszurichtenden Bildes 2, dessen Koordinaten (i-e_x, j-e_y) sind, und die acht unmittelbar benachbarten Punkte: A, welcher PC voraus geht, und E, welcher PC in derselben Zeile mit dem Index j-e_yvorausgeht; B, C, D, welche den Punkten A, PC, E in der unmittelbar vorausgehenden Zeile entsprechen; und H, G, F, welche den Punkten A, PC, E in der unmittelbar dar auffolgenden Zeile entsprechen. Die Luminanzwerte W₁, W₂ und W₃ werden in Abhängigkeit von r_x und r_y nach folgenden Vorschriften ausgewählt:
FIG. 6 shows a point PC of the image 2 to be realigned, the coordinates of which (ie _x , each _y ), and the eight immediately adjacent points: A, which PC precedes, and E, which PC in the same line with the index ever _y precedes; B, C, D, which correspond to points A, PC, E in the immediately preceding line; and H, G, F, which correspond to points A, PC, E in the line immediately following. The luminance values W ₁ , W ₂ and W ₃ are selected depending on r _x and r _y according to the following regulations:

W₁ = L(i-e_x, j-e_y-1) = L(C) für r_y negativ
W₁ = L(i-e_x, j-e_y+1) = L(G) für r_y positiv
W₂ = L(i-e_x-1, j-e_y-1) = L(B) für r_x negativ und für r_y negativ
W₂ = L(i-e_x+1, j-e_y-1) = L(D) für r_x positiv und für r_y negativ
W₂ = L(i-e_x+1, j-e_y+1) = L(F) für r_x positiv und für r_y positiv
W₂ = L(i-e_x-1, j-e_y+1) = L(H) für r_x negativ und für r_y positiv
W₃ = L(i-e_{x+t+1, j-e} _y) = L(E) für r_x positiv
W₃ = L(i-e_x-1, j-e_y) = L(A) für r_x negativ.W ₁ = L (ie _x , each _y -1) = L (C) for r _y negative
W ₁ = L (ie _x , each _y +1) = L (G) for r _y positive
W ₂ = L (ie _x -1, each _y -1) = L (B) negative for r _x and negative for r _y
W ₂ = L (ie _x +1, each _y -1) = L (D) positive for r _x and negative for r _y
W ₂ = L (ie _x +1, each _y +1) = L (F) positive for r _x and positive for r _y
W ₂ = L (ie _x -1, each _y +1) = L (H) negative for r _x and positive for r _y
W ₃ = L (ie _{x + t + 1, each} _y ) = L (E) for r _x positive
W ₃ = L (ie _x -1, each _y ) = L (A) for r _x negative.

Die Fig. 7 zeigt ein Blockschaltbild einer Ausführungsform einer Vorrichtung zur Neuausrichtung eines Bildes, das als neu auszurichtendes Bild bezeichnet wird bezüglich eines anderen Bildes, das als Referenzbild bezeichnet wird, zur Durchführung des erfindungsgemäßen Verfahrens. Diese Aus führungsform enthält: einen Eingangsanschluß 11, der eine Folge von Digitalwerten empfängt, welche die Luminanzwerte der Referenzbildelemente und die Elemente des neu aus zu richtenden Bildes darstellen; eine Detektionseinrichtung 12 zur Erfassung derjenigen Bildelemente, bei welchen der Lu minanzgradient einen Betrag aufweist, der größer als ein fester Schwellwert ist; einen Konturenspeicher 16; eine Berechnungseinrichtung 15 zur Berechnung der Werte T_x und T_y des Translationsvektors eines Korrelationsfensters; einen Bildspeicher 17; eine Einrichtung 18 zur Bestimmung der Luminanzwerte der Elemente eines neu ausgerichteten Bildes; einen Ausgangsanschluß 19, welcher eine Folge von Luminanzwerten dieses neu ausgerichteten Bildes liefert; einen Eingangsanschluß 13, welcher Synchronisationssignale empfängt; und einen Taktsignalgenerator 14. FIG. 7 shows a block diagram of an embodiment of a device for realigning an image, which is referred to as a realignment image with respect to another image, which is referred to as a reference image, for carrying out the method according to the invention. This embodiment includes: an input port 11 which receives a sequence of digital values representing the luminance values of the reference picture elements and the elements of the image to be realigned; a detection device 12 for detecting those picture elements in which the luminescent gradient has an amount that is greater than a fixed threshold value; a contour memory 16 ; a calculation device 15 for calculating the values T _x and T _{y of} the translation vector of a correlation window; an image memory 17 ; means 18 for determining the luminance values of the elements of a realigned image; an output terminal 19 which provides a sequence of luminance values of this realigned image; an input terminal 13 which receives synchronization signals; and a clock signal generator 14 .

Dieser Taktsignalgenerator 14 liefert ein Taktsignal HP, dessen Rhythmus dem Rhythmus der Luminanzwerte entspricht, welche an den Eingangsanschluß 11 angelegt werden, sowie ein Taktsignal HT, dessen Rhythmus demjenigen der Teilbil der entspricht, woraus jedes der Bilder besteht und die durch die Vorrichtung verarbeitet werden. Die Neuausrich tung jedes Bildes besteht darin, ein geradzahliges Teil bild bezüglich des geradzahligen Teilbildes des voraus gehenden Bildes neu auszurichten und das ungeradzahlige Teilbild bezüglich des ungeradzahligen Teilbildes des vorausgehenden Bildes auszurichten.This clock signal generator 14 supplies a clock signal HP, the rhythm of which corresponds to the rhythm of the luminance values which are applied to the input terminal 11 , and a clock signal HT, the rhythm of which corresponds to that of the sub-picture, of which each of the images consists and which are processed by the device. The realignment of each image is to realign an even-numbered field with respect to the even-numbered field of the previous image and to align the odd-numbered field with respect to the odd-numbered field of the previous image.

Die Detektionseinrichtung 12 erfaßt Bildelemente mit großem Luminanzgradienten mittels eines sehr einfachen Verfahrens, welches darin besteht, den Luminanzwert eines laufenden Bildelementes mit dem Luminanzwert des unmittelbar in der selben Zeile vorausgehenden Bildelementes und mit dem Lu minanzwert des entsprechenden Bildelementes in der voraus gehenden Zeile innerhalb desselben Teilbildes zu verglei chen. Diese Einrichtung 12 enthält: ein Register 21, dessen Kapazität gleich einem Wert ist; ein Schieberegister 22, dessen Fassungsvermögen einer Bildzeile minus ein Bildele ment ist; zwei Komparatoren 33 und 34; und eine OR-Tor schaltung 25. Die Register 21 und 22 sind in Reihe geschal tet, wobei ein Eingang des Registers 21 mit dem Eingangs anschluß 11 verbunden ist, um die Luminanzwerte zu empfan gen, während ein Ausgang des Registers 21 mit einem Daten eingang des Registers 22 verbunden ist. The detection device 12 detects picture elements with a large luminance gradient by means of a very simple method, which consists in determining the luminance value of a current picture element with the luminance value of the picture element immediately preceding in the same line and with the luminance value of the corresponding picture element in the preceding line within the same field to compare. This device 12 includes: a register 21 , the capacity of which is equal to a value; a shift register 22 , the capacity of which is one picture line minus one picture element; two comparators 33 and 34 ; and an OR gate circuit 25 . The registers 21 and 22 are connected in series, an input of the register 21 being connected to the input terminal 11 in order to receive the luminance values, while an output of the register 21 is connected to a data input of the register 22 .

Die Register 21 und 22 weisen jeweils einen Takteingang auf, welcher das Taktsignal HP empfängt, um die Luminanz werte im Rhythmus dieses Taktsignals zu verschieben. Der Komparator 23 weist einen ersten sowie einen zweiten Ein gang auf, von denen der erste mit dem Eingang und der zwei te mit dem Ausgang des Registers 21 verbunden ist. Der Korn parator 24 weist einen ersten und einen zweiten Ausgang auf, von denen der erste mit dem Eingang und der zweite mit einem Ausgang des Registers 22 verbunden ist. Die Kom paratoren 23 und 24 weisen jeweils einen Eingang auf, an welchen ein Schwellwert S angelegt wird, und besitzen einen Ausgang, der mit einem Eingang der Torschaltung 25 verbun den ist. Der Ausgang dieser Torschaltung 25 bildet einen Ausgang der Detektionseinrichtung 12, welcher mit einem Dateneingang des Konturenspeichers 16 und mit einem ersten Eingang der Berechnungseinrichtung 15 verbunden ist. Der Komparator 23 hat die Funktion, den Luminanzwert eines lau fenden Elementes mit dem Luminanzwert eines unmittelbar in derselben Zeile vorausgehenden Bildelementes zu vergleichen und an seinem Ausgang ein Logiksignal abzugeben, wenn der Absolutwert der Differenz zwischen diesen verglichenen Lu minanzwerten größer als der Schwellwert S ist.The registers 21 and 22 each have a clock input, which receives the clock signal HP in order to shift the luminance values in rhythm with this clock signal. The comparator 23 has a first and a second input, of which the first is connected to the input and the second to the output of the register 21 . The Korn parator 24 has a first and a second output, of which the first is connected to the input and the second to an output of the register 22 . The comparators 23 and 24 each have an input to which a threshold S is applied and have an output which is connected to an input of the gate circuit 25 . The output of this gate circuit 25 forms an output of the detection device 12 , which is connected to a data input of the contour memory 16 and to a first input of the calculation device 15 . The comparator 23 has the function of comparing the luminance value of a running element with the luminance value of a picture element immediately preceding in the same line and of emitting a logic signal at its output if the absolute value of the difference between these compared luminance values is greater than the threshold value S.

Die Funktion des Komparators 24 besteht darin, den Luminanz wert des laufenden Elementes mit dem Luminanzwert des ent sprechenden benachbarten Bildelementes in der unmittelbar vorausgehenden Zeile zu vergleichen und an seinem Ausgang ein Logiksignal abzugeben, wenn der Absolutwert der Diffe renz zwischen diesen beiden Luminanzwerten größer als der Schwellwert S ist. Die Torschaltung 25 schaltet die von den Komparatoren 23, 24 gelieferten Logiksignale an den ersten Eingang der Berechnungseinrichtung 15 und an den Kon turenspeicher 16 durch, worin ein Binärwert G₂(i, j) für jedes Element des Referenzbildes 1 gespeichert wird. Dieser Konturenspeicher 16 enthält somit die Kontoren des Referenz bildes, insbesondere die Konturen des Hintergrundes dieses Bildes. The function of the comparator 24 is to compare the luminance value of the current element with the luminance value of the corresponding neighboring picture element in the immediately preceding line and to emit a logic signal at its output if the absolute value of the difference between these two luminance values is greater than that Threshold S. The gate circuit 25 switches through the logic signals supplied by the comparators 23 , 24 to the first input of the calculation device 15 and to the contour memory 16 , in which a binary value G ₂ (i, j) is stored for each element of the reference image 1 . This contour memory 16 thus contains the contours of the reference image, in particular the contours of the background of this image.

Der Speicher 16 weist einen Steuereingang auf, welcher das Taktsignal HP empfängt, um diese Binärwerte in dem Rhythmus einzuschreiben, in welchem sie von der Detek tionseinrichtung 12 geliefert werden. Er weist ferner an einem weiteren Steuereingang das Taktsignal HT auf. Diese Taktsignale steuern einen nicht gezeigten Adressenzähler an, welcher die Schreibadresse für die Binärwerte bestimmt. Der Konturenspeicher 16 weist ferner einen Adresseneingang auf, der mit einem Ausgang der Berechnungseinrichtung 15 verbunden ist und Leseadressen mit den Werten (i-p, j-q) empfängt. Der Konturenspeicher 16 weist einen Ausgang auf, der mit einem zweiten Eingang der Berechnungseinrichtung 15 verbunden ist.The memory 16 has a control input which receives the clock signal HP in order to write these binary values in the rhythm in which they are supplied by the detection device 12 . It also has the clock signal HT at a further control input. These clock signals drive an address counter, not shown, which determines the write address for the binary values. The contour memory 16 also has an address input which is connected to an output of the calculation device 15 and receives read addresses with the values (ip, jq). The contour memory 16 has an output which is connected to a second input of the calculation device 15 .

Zu einem gegebenen Zeitpunkt empfängt der erste Eingang der Berechnungseinrichtung 15 den Binärwert G₂(i, j), und der zweite Eingang empfängt einen Wert G₁(i-p, j-q), wel che einem laufenden Bildelement des neu auszurichtenden Bildes 2 bzw. einem Bildelement entsprechen, das über die Translation (p, q) seine Entsprechung im Referenzbild 1 fin det. Diese Werte geben jeweils an, ob die betreffenden Bildelemente einen großen Luminanzgradienten aufweisen oder nicht.At a given time, the first input of the calculation device 15 receives the binary value G ₂ (i, j), and the second input receives a value G ₁ (ip, jq), which is a current picture element of the image 2 to be re-aligned or a picture element correspond, which finds its correspondence in the reference image 1 via the translation (p, q). These values indicate whether the picture elements in question have a large luminance gradient or not.

Die Berechnungseinrichtung 15 enthält: eine Multiplika tionsvorrichtung 30; eine Vorrichtung 31 zur Berechnung der Funktion COR(p, q); eine Vorrichtung 32 zur Bestimmung eines Maximums; und eine Vorrichtung 33 zur Berechnung von Restwerten. Die Multiplikationsvorrichtung 30 weist zwei Eingänge auf, welche die beiden Eingänge der Berechnungs einrichtung 15 bilden, und besitzt einen Ausgang, der mit einem ersten Eingang der Rechenvorrichtung 31 verbunden ist. Die Vorrichtung 31 besitzt einen zweiten Eingang, der mit einem ersten Ausgang der Vorrichtung 32 zur Be stimmung eines Maximums verbunden ist, um die Werte p und q zu empfangen. Die Vorrichtung 31 besitzt einen ersten Ausgang, der mit dem Adresseneingang zum Auslesen des Kon turenspeichers 16 verbunden ist, um diesem einen Lese adreßwert (i-p, j-q) zuzuführen, und besitzt einen zweiten Ausgang, welcher mit einem Eingang der Vorrichtung 32 und mit einem Eingang der Vorrichtung 33 verbunden ist. Die Vorrichtung 32 besitzt einen zweiten Ausgang, der mit einem zweiten Eingang der Vorrichtung 33 und mit einem ersten Ein gang der Vorrichtung 18 zur Bestimmung eines neu ausgerich teten Bildes verbunden ist. Sie besitzt ferner einen drit ten Ausgang, der mit einem dritten Eingang der Vorrichtung 33 und mit einem Eingang der Vorrichtung 18 verbunden ist. Die Vorrichtung 33 weist zwei Ausgänge auf, die jeweils mit einem von zwei Eingängen der Vorrichtung 18 verbunden sind.The calculator 15 includes: a multiplication device 30 ; a device 31 for calculating the function COR (p, q); a device 32 for determining a maximum; and a device 33 for calculating residual values. The multiplication device 30 has two inputs, which form the two inputs of the computing device 15 , and has an output which is connected to a first input of the computing device 31 . The device 31 has a second input which is connected to a first output of the device 32 for determining a maximum in order to receive the values p and q. The device 31 has a first output, which is connected to the address input for reading out the contour memory 16 in order to supply it with a read address value (ip, jq), and has a second output, which has an input of the device 32 and an input the device 33 is connected. The device 32 has a second output which is connected to a second input of the device 33 and to a first input of the device 18 for determining a newly aligned image. It also has a third output, which is connected to a third input of the device 33 and to an input of the device 18 . The device 33 has two outputs, each of which is connected to one of two inputs of the device 18 .

Der Bildspeicher 17 weist auf: einen Dateneingang, der mit dem Eingangsanschluß 11 verbunden ist, einen Ausgang, wel cher mit einem Eingang der Vorrichtung 18 verbunden ist, zwei Steuereingänge, von denen der erste das Taktsignal HP und der zweite das Taktsignal HT empfängt, und einen Lese adreßeingang, welcher mit einem Ausgang der Vorrichtung 18 verbunden ist. Die Vorrichtung 18 besitzt einen Ausgang, welcher mit dem Ausgangsanschluß 19 der Verschiebevorrich tung verbunden ist, um ihr eine Folge von Luminanzwerten L'(i, j) eines neu ausgerichteten Bildes zuzuführen.The image memory 17 has: a data input connected to the input terminal 11 , an output connected to an input of the device 18 , two control inputs, the first of which receives the clock signal HP and the second of the clock signal HT, and a read address input which is connected to an output of the device 18 . The device 18 has an output which is connected to the output terminal 19 of the shifting device in order to supply it with a sequence of luminance values L '(i, j) of a realigned image.

Die Multiplikationsvorrichtung 30 führt die Berechnung des Produktes G₂(i, j) × G₁(i-p, j-q) aus und liefert das berech nete Produkt an den ersten Eingang der Rechenvorrichtung 31. Diese liefert eine Folge von Leseadressen (i-p, j-q) an den Konturenspeicher 16, damit die Multiplikationsvorrichtung 30 nacheinander alle Terme der Formel berechnen kann:
The multiplication device 30 carries out the calculation of the product G ₂ (i, j) × G ₁ (ip, jq) and delivers the calculated product to the first input of the computing device 31 . This supplies a sequence of read addresses (ip, jq) to the contour memory 16 so that the multiplication device 30 can successively calculate all terms of the formula:

indem i und j von 0 bis 127 variieren, während die Werte p und q festgehalten werden und dem zweiten Eingang der Vorrichtung 31 durch die Vorrichtung 32 zugeführt werden. Die Vorrichtung 32 liefert eine Folge von Wertepaaren (p, q), welche von der Folge von Werten COR(p, g) abhängt, die zuvor berechnet wurden, denn die Vorrichtung 32 wen det bei der betrachteten Ausführungsform des erfindungs gemäßen Verfahrens den zuvor beschriebenen Algorithmus schneller Konvergenz an. Wenn die Vorrichtung 32 fest stellt, daß die Folge von Werten COR(p, q) ihr Maximum er reicht hat, liefert sie die Werte e_x und e_y an ihrem zwei ten und an ihrem dritten Ausgang. Diese Werte bilden den ganzzahligen Teil der Translationsvektorkomponenten für den Hintergrund des neu auszurichtenden Bildes 2 bezüglich des Hintergrundes des Referenzbildes 1. Die Vorrichtung 33 zur Restwertberechnung empfängt ihrerseits an ihrem ersten Eingang die Folge von Werten COR(p, q) und wendet das Inter polationsverfahren zweiter Ordnung an, welches zuvor er wähnt wurde, um die Restwerte r_x und r_y zu berechnen und sie an ihrem ersten bzw. zweiten Ausgang auszugeben. Die Rechenvorrichtung 33 berechnet diese Restwerte über die oben erwähnten Formeln (4) und (5).by varying i and j from 0 to 127 while holding the values p and q and feeding them to the second input of device 31 through device 32 . The device 32 supplies a sequence of value pairs (p, q), which depends on the sequence of values COR (p, g), which were previously calculated, because the device 32 applies the previously described embodiment of the method according to the invention Algorithm converges faster. When the device 32 determines that the sequence of values COR (p, q) has reached its maximum, it supplies the values e _x and e _y at its second and at its third output. These values form the integer part of the translation vector components for the background of the image 2 to be realigned with respect to the background of the reference image 1 . The device 33 for residual value calculation in turn receives the sequence of values COR (p, q) at its first input and uses the second order interpolation method which was mentioned previously in order to calculate the residual values r _x and r _y and apply them to theirs output first or second output. The computing device 33 calculates these residual values using the formulas (4) and (5) mentioned above.

Die Multiplikationsvorrichtung 30 ist eine Logikschaltung von sehr einfacher Ausführung, denn sie kann durch eine einfache AND-Torschaltung gebildet werden. Die Rechenvor richtung 31 kann aus Arbeitsspeichern mit willkürlichem Zugriff und Addierern bestehen, die so ausgebildet sind, daß die Berechnung nach Formel (1) ausgeführt wird. Ihre Verwirklichung liegt im Rahmen fachmännischen Könnens. Die Vorrichtung 32 zur Bestimmung des Maximums und die Vorrichtung 33 zur Berechnung der Restwerte können durch einen einzigen Mikroprozessor gebildet sein, der so pro grammiert ist, daß er einen Maximalwert nach dem zuvor erwähnten Algorithmus schneller Konvergenz ausführt und eine Restwertberechnung über die Formeln (4) und (5) durch führt. Bei dieser Programmierung werden herkömmliche Re chenverfahren angewendet, so daß sie im Bereich fachmän nischen Könnens liegt. The multiplication device 30 is a logic circuit of a very simple design, because it can be formed by a simple AND gate circuit. The Rechenvor direction 31 may consist of random access memory and adders, which are designed so that the calculation is carried out according to formula (1). Their realization lies within the framework of professional skills. The device 32 for determining the maximum and the device 33 for calculating the residual values can be formed by a single microprocessor which is programmed so that it executes a maximum value according to the aforementioned fast convergence algorithm and a residual value calculation using the formulas (4) and (5) performs. In this programming, conventional computing methods are used, so that it lies in the area of technical skill.

Der Bildspeicher 17 speichert die Luminanzwerte des neu auszurichtenden Bildes in dem Rhythmus, in welchem sie an den Eingangsanschluß 11 angelegt werden, und zwar an den Adressen, die dem Speicher über einen nicht dargestell ten Zähler zugeführt werden, welcher durch das Taktsignal HP angesteuert und durch das Taktsignal HT auf Null rück gesetzt wird. Für jedes Bildelement des neu ausgerichteten Bildes wird der Speicher 17 nacheinander an vier Adressen ausgelesen, welche die Vorrichtung 18 liefert, um vier Luminanzwerte L(i-e_x, j-e_y), W₁, W₂ und W₃ zu erhalten, welche in Abhängigkeit vom Vorzeichen r_x und r_y bestimmt werden, entsprechend den Logikregeln, die bei der Beschrei bung der Ausführungsform des Verfahrens genannt wurden.The image memory 17 stores the luminance values of the image to be realigned in the rhythm in which they are applied to the input terminal 11 , namely at the addresses which are supplied to the memory via a counter, not shown, which is driven by the clock signal HP and by the clock signal HT is reset to zero. For each picture element of the newly aligned picture, the memory 17 is read out successively at four addresses which the device 18 supplies in order to obtain four luminance values L (ie _x , each _y ), W ₁ , W ₂ and W ₃ , which are dependent on Signs r _x and r _{y are} determined in accordance with the logic rules that were mentioned in the description of the embodiment of the method.

Die Vorrichtung 18 berechnet einen Luminanzwert L'(i, j) über die Formel (6). Die Verwirklichung der Vorrichtung 18 kann mittels Arbeitsspeichern mit willkürlichem Zugriff und Additionsschaltungen geschehen, wobei die Arbeitsspei cher mit Wertetabellen geladen werden: (1-λ).(1-α).L, ge speichert an den Adressen L = 0 bis 255; mit Werten α(1-λ).W₁, gespeichert an den Adressen W₁ = 0 bis 255; mit Werten λ.α.W₂, gespeichert an den Adressen W₂ = 0 bis 255; und mit Werten λ. (1-α).W₃, gespeichert an den Adres sen W₃ = 0 bis 255. Bei diesem Ausführungsbeispiel werden diese Werte ein einziges Mal berechnet, um ein gesamtes Teilbild zu verarbeiten, sobald die Vorzeichen von r_x und r_y bekannt sind. Die Berechnung dieser Wertetabellen kann mittels desselben Mikroprozessors erfolgen, welcher die Vorrichtungen 32 und 33 bildet. Die Verwirklichung des Programmes zur Berechnung dieser Tabellen liegt im Bereich fachmännischen Könnens, da nur einfache Multiplikations operationen und das Laden der Arbeitsspeicher durchgeführt werden müssen.The device 18 calculates a luminance value L '(i, j) using the formula (6). The device 18 can be implemented by means of random access memory and addition circuits, the memory being loaded with value tables: (1-λ). (1-α) .L, ge stores at the addresses L = 0 to 255; with values α (1-λ) .W ₁ , stored at the addresses W ₁ = 0 to 255; with values λ.α.W ₂ , stored at the addresses W ₂ = 0 to 255; and with values λ. (1-α) .W ₃ , stored at the addresses W ₃ = 0 to 255. In this exemplary embodiment, these values are calculated once to process an entire field as soon as the signs of r _x and r _{y are} known . These tables of values can be calculated by means of the same microprocessor which forms the devices 32 and 33 . The implementation of the program for the calculation of these tables lies in the area of professional skill, since only simple multiplication operations and the loading of the working memory have to be carried out.

Das erfindungsgemäße Verfahren und die Vorrichtung zu seiner Durchführung können insbesondere für die Zielver folgung angewendet werden. Gemäß einer Ausführungsvariante betrifft die Neuausrichtung nur ein Teilbild des Bildes. Gemäß einer weiteren Variante ist das Referenzbild 1 von dem neu auszurichtenden Bild 2 durch ein Zeitintervall getrennt, das mehreren Bildern entspricht.The inventive method and the device for its implementation can be used in particular for pursuing the goal. According to one embodiment variant, the realignment affects only a partial image of the image. According to a further variant, the reference image 1 is separated from the image 2 to be realigned by a time interval which corresponds to several images.

Claims

1. A method for realigning an image to be realigned ( 2 ) with respect to a further image referred to as a reference image ( 1 ), the background of the image to be realigned ( 2 ) being a translation relative to the background of the reference image ( 1 ). has experienced and each image ( 1 , 2 ) is analyzed by a sequence of image elements, each represented by the digital value of its luminance, where:

- A correlation function is defined, which depends on the coordinates of the picture elements of the newly aligned image ( 2 ) and the picture elements of the reference picture ( 1 ) and on the components Δ _x and Δ _{y of} a translation vector of one in the pictures ( 1 , 2 ) is a cut out correlation window ( 7 , 3 );
- Values T _x and T _{y of} the components Δ _x and Δ _{y of} the translation vector of the correlation window ( 7 , 3 ) are calculated in such a way that the correlation function has a maximum;
- Luminance values of picture elements of a realigned image are calculated as a function of the luminance values of the picture elements of the realigned image ( 2 ) and of the values T _x and T _y ;
characterized in that the picture elements of the image to be newly prepared ( 2 ) and the picture elements of the reference picture ( 1 ) which are used for the definition of the correlation function are elements in which the luminance gradient has an amount which exceeds a defined threshold value .

2. The method according to claim 1, characterized in that the correlation function is given by the following expression:
where Δ _x and Δ _{y are} equal to the integer value p and q, respectively, G ₂ (i, j) is a binary function of the amount of the luminance gradient of a picture element whose column index i and whose line index j is new image to be aligned, G ₁ (ip, jq) also being a binary function of the amount of the luminance gradient of a picture element whose column index i _p and whose row index j _{q is} in the reference image ( 1 ),
that the correlation function is given by the following expression:
P (Δ _x , e _y ) = a _1. (Δ _x ) ² + b ₁ + c ₁ (2)
and
P (e _x , Δ _y ) = a _2. (Δ _y ) ² + b ₂ .Δ _y + c ₁ (3)
for integer values and non-integer values of Δ _x and Δ _y which belong to the environment of the value e _x and e _y , respectively, which are two integer values for which COR (e _x , e _y ) has a maximum ;
and that the calculation of the values T _x and T _{y of} the components Δ _x and Δ _{y of} the translation vector so that the correlation function has a maximum consists in that:

- The two integer values e _x and e _y are determined so that COR (e _x , e _y ) has a maximum;
- a residual value R _{x is} then determined such that P (e _x + r _x , e _y ) has a maximum, and a residual value r _y is determined such that P (e _x , e _y + r _y ) has a maximum ; where then T _{x is formed} by e _x + r _x and T _{y is formed} by e _y + r _y .

3. The method according to claim 2, characterized in that the calculation of the integer values e _x and e _y so that COR (e _y , e _y ) has a maximum consists in that:

- COR (p _k , k), COR (p _k -1, q _k ), COR (p _k + ¹ , q _k ), COR (p _k , q _k -1), COR (p _k , q _k + 1) are calculated, then the maximum value M _{k is determined} from these values, these calculations starting with p _O = 0 and q _O = 0;
- COR (p _{k + 1} , q _{k + 1} ), COR (p _{k + 1} -1, q _{k + 1} +1), COR (p _{k + 1} +1, q _{k + 1} ), COR (p _{k +1} , q _{k + 1} -1), COR (p _{k + 1} , q _{k + 1} +1) are calculated and then the maximum value M _{k + 1 is determined} from these values, where p _{k + 1} and q _{k +1 are} the values of p and q which correspond to M _k ; where e _{x is set} equal to p _{k + 1} and e _{y is set} equal to q _{k + 1} if M _{k + 1} corresponds to the value COR (p _{k + 1} , q _{k + 1} ), whereas in the opposite case the calculations are continued with p = p _{k + 2} and q = _{k + 2} , where p _{k + 2} and q _{k + 2 are} the values of p and q which correspond to M _{k + 1} .

4. The method according to claim 2, characterized in that the residual values are calculated using the following formulas:

5. The method according to claim 1, characterized in that for calculating a luminance value L '(i, j) for each picture element of a newly aligned image as a function of the luminance values L (i, j) of the picture elements of the newly to be straightened image, wherein i is a column index and j is a row index of a picture element, a linear interpretation formula of the following form is used:
L '(i, j) = (l-α). (1-λ) .L (ie _x , each _y ) + λ. (1-α) .W ₁ + α.λ.W ₂ + α (1 -λ) .W ₃ (6)
where α and λ are the absolute values of r _x and r _y , respectively, and where L (ie _x , each _y ), W ₁ , W ₂ and W _{3 are} the luminance values of the four picture elements of the image ( 2 ) to be realigned which are closest lie at a point with the coordinates (iT _x , jT _y ) in a Cartesian coordinate system, in which the unit corresponds to the dimensions of a picture element.

6. A device for realigning an image ( 2 ) to be realigned with respect to another image, referred to as a reference image ( 1 ), for carrying out the method according to claim 1, each of these images being analyzed element by element and by the image element the digital value of its luminance is represented with:

- Means ( 15 , 16 ) for calculating the values of a correlation function as a function of the coordinates of the picture elements of the image ( 2 ) to be realigned and of picture elements of the reference picture ( 1 ) as well as of the components Δ _x and Δ _{y of} a translation vector of a correlation window ( 3 , 7 );
- and means ( 15 , 16 ) for calculating the values T _x and T _{y of} the components Δ _x and Δ _{y of} the translation vector of the correlation window ( 3 , 7 ) in such a way that the correlation function has a maximum;
- As well as means ( 17 , 18 ) for calculating the luminance values of picture elements of a newly aligned image as a function of the luminance values of the picture elements of the newly aligned image ( 2 ) and as a function of the values T _x and T _y ;
characterized in that it also contains:
- Means ( 12 ) for detecting the picture elements of the image to be newly aligned ( 2 ), in which the luminance gradient has an amount that is greater than a fixed threshold, these means receiving the luminance values of all image elements of the image to be newly aligned ( 2 ) and the means ( 15 , 16 ) for calculating the values of a correlation function supply a sequence of binary values which depend on the magnitude of the luminance gradient of each picture element of the picture ( 2 ) to be realigned;
- A contour memory ( 16 ) for storing these binary values for a duration that corresponds to the duration of a new image to be prepared ( 2 ) in order to output these values to the calculation means ( 15 ) so that the values T _x and T _{y of} the translation vector components in can be calculated in such a way that the correlation function has a maximum.

7. The device according to claim 6, characterized in that the means ( 12 ) for detecting image elements of the newly aligned image ( 2 ), in which the luminance gradient has an amount which exceeds a fixed threshold value, contain:

- Two registers ( 21 , 22 ), in which each luminance value of the picture elements of the new image ( 2 ) to be realigned is stored in order to output them with a delay, which corresponds in each case to one picture element or one picture line, the delay relating to the point in time is for which the application was made to the input of these detection means ( 12 );
- Two comparators ( 23 , 24 ) for comparing each luminance value applied to the input of the detection means ( 12 ) with the two delayed luminance values from the two registers ( 21 , 22 ) and for supplying a logic signal if the absolute value of the difference between the luminance value applied to the input and one of the delayed values is greater than a threshold value S;
- An OR gate circuit ( 25 ) which outputs a logic signal to an output of the detection means ( 12 ) when a logic signal is output by one of the two comparators ( 23 , 24 ).

8. The device according to claim 6, characterized in that the means ( 15 , 16 ) for calculating the values of a correlation function and for calculating the values T _x and T _y contain:

- a contour memory ( 16 ) for storing the binary values which are supplied by the detection device ( 12 );
- First computing means ( 30 ) which have a binary value G ₂ (i, j) supplied by the detection device ( 12 ) and a binary value G ₁ (ip, jq) read from the contour memory ( 16 ) at an address (ip, jq) received and provide a value G ₂ (i, j) × G ₁ (ip, jq);
- Second computing means ( 31 ) which receive each value G ₂ (i, j) × G ₁ G ₁ (ip, jq) and two values p and q in order to read a sequence of read addresses (ip, iq) for reading out the contour memory ( 16 ) to calculate where i and j take all integer values corresponding to a predetermined part ( 3 ) of the image ( 2 ) to be realigned; and to calculate a value
- third computing means ( 32 ) which receive each value COR (p, q) calculated by the second computing means ( 31 ) in order to determine a sequence of value pairs of integer values p and q which are supplied to the second computing means ( 31 ) and for which the values COR (p, q) converge to their maximum in order to derive two integer values e _x and e _{y from them} in such a way that COR (e _x , e _y ) has a maximum;
- fourth computing means ( 33 ), which receive the values e _x and e _y calculated by the third computing means ( 32 ) and also receive the values COR (p, q) calculated by the second computing means ( 31 ), by interpolation second order residual values r _x and r _y to be calculated such that the function COR (p, q) interpolated via a second order expression near e _x and e _{y is} a maximum for (e _x + r _x , E _y + _y ) has; where the value T _{x is} equal to e _x + r _x and the value T _{y is} equal to e _y + r _y .

9. The device according to claim 8, characterized in that the means ( 17 , 18 ) for calculating the luminance values of picture elements of a newly aligned image comprise:

Computing means ( 18 ) which receive the values e _x , e _y , r _x , r _y calculated by the means ( 15 , 16 ) in order to calculate the values T _x and T _y , and four luminance values L (ie _x , each _y ), W ₁ , W ₂ and W _{3 are received} from picture elements of the reoriented image ( 2 ) in order to calculate the following luminance value for each picture element whose column index i and whose row index j is in the newly aligned image:
L '(i, j) = (1-α). (1-λ) .L (ie _x , each _y ) + λ. (1.α) .W ₁ + α.λ.W ₂ + α. ( 1-λ) .W ₃ (6)
where α is the absolute value of r _x and λ is the absolute value of r _y ; and to supply three address values in succession which depend on i, j, e _x , e _y , r _x , r _y ;
- An image memory ( 17 ) for storing the luminance values of the newly aligned image ( 2 ) and outputting the luminescence values L (ie _x , each _y ), W ₁ , W ₂ and W ₃ to the computing means ( 18 ), these values at the three addresses calculated by the computing means ( 18 ).