DE4226128A1 - Procedure for determining motion vectors - Google Patents

Procedure for determining motion vectors

Info

Publication number
DE4226128A1
DE4226128A1 DE4226128A DE4226128A DE4226128A1 DE 4226128 A1 DE4226128 A1 DE 4226128A1 DE 4226128 A DE4226128 A DE 4226128A DE 4226128 A DE4226128 A DE 4226128A DE 4226128 A1 DE4226128 A1 DE 4226128A1
Authority
DE
Germany
Prior art keywords
value
vector
determined
assumed
values
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE4226128A
Other languages
German (de)
Inventor
Wenjun Dr Zhang
Robert Huttinger
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Philips Intellectual Property and Standards GmbH
Original Assignee
Philips Patentverwaltung GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Philips Patentverwaltung GmbH filed Critical Philips Patentverwaltung GmbH
Priority to DE4226128A priority Critical patent/DE4226128A1/en
Priority to GB9316105A priority patent/GB2269508B/en
Priority to FR9309609A priority patent/FR2696255B1/en
Publication of DE4226128A1 publication Critical patent/DE4226128A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • G06T7/238Analysis of motion using block-matching using non-full search, e.g. three-step search

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

Die Erfindung betrifft ein Verfahren zur Ermittlung von Bewegungsvektoren für ein in Bilder oder Teilbilder gegliedertes Bildsignal, wobei jedes Bild/Teilbild in Blöcke eingeteilt und für jeden Block ein Bewegungsvektor in wenigstens drei Schritten ermittelt wird, wobei in jedem Schritt eine Anzahl von Bewegungsvektoren als möglich angenommen und für jeden dieser angenommenen Bewegungsvektoren jeweils eine Abweichungsfunktion für jeden Bildpunkt des Blockes angewendet wird, in Abhängig­ keit deren Werte der günstigste Vektor ausgewählt und gegebenenfalls für den folgenden Schritt als einer der angenommenen Vektoren gewählt wird.The invention relates to a method for determining Motion vectors for an in pictures or drawing files articulated picture signal, each picture / field in Blocks divided and a motion vector for each block is determined in at least three steps, wherein in each step a number of motion vectors as possible and accepted for each of these Motion vectors each have a deviation function for each pixel of the block is applied in dependent value of which the cheapest vector is selected and if necessary for the following step as one of the adopted vectors is selected.

Ein derartiges Verfahren ist beispielsweise aus "Proceedings of the IEEE, Vol. 73, Nr. 4, April 1985, Seiten 523 bis 548" bekannt. Dieses Verfahren, meist als 3-Schritt Block Matching Algorithm bezeichnet, liefert für ein in eine vorgegebene Anzahl von Blöcke unterteiltes Bild bzw. Teilbild eines Bildsignals jeweils einen Bewegungsvektor, der für alle Bildpunkte des ihm zuge­ ordneten Blockes gültig ist und deren Bewegung zwischen zwei Teilbildern/Bildern angibt. Hierbei wird unterstellt, daß alle Bildpunkte in einem Block der gleichen Bewegung unterworfen sind. Das Verfahren arbeitet in drei Schritten, wobei in jedem Block eine vorgegebene Anzahl von Bewegungsvektoren als möglich angenommen wird, und für jeden dieser angenommenen Bewegungsvektoren anhand einer Abweichungsfunktion für jeden einzelnen Bildpunkt über­ prüft wird, welcher der Vektoren die tatsächlich vor­ liegende Bewegung am ehesten wiedergibt. In der Abweichungsfunktion wird im Prinzip für jeden Bildpunkt des Blockes, für den ein Bewegungsvektor überprüft werden soll, der Bildpunkt in dem aktuellen Bild/Teilbild mit dem entsprechenden um den zu überprüfenden Bewegungsvektor verschobenen Bildpunkt im vorigen Bild/Teilbild ver­ glichen. Je Größer die Abweichung zwischen den beiden Punkten ist, desto größer ist der Wert der Abweichungs­ funktion für diesen Bildpunkt. Aufsummiert für alle Bild­ punkte des Blockes ergibt sich dann ein Wert der Abweichungsfunktion, der für alle Bildpunkte des Blockes angibt, wie gut der Wert des angenommenen Bewegungsvektors die tatsächlich vorliegende Bewegung wiedergibt. Je größer der Wert der Abweichungsfunktion ist, desto schlechter gibt der angenommene Bewegungsvektor die tatsächlich vor­ liegende Bewegung wieder.Such a method is, for example, from "Proceedings of the IEEE, Vol. 73, No. 4, April 1985, Pages 523 to 548 ". This process, mostly called 3-step block matching algorithm, returns for one divided into a predetermined number of blocks Image or field of an image signal one each Motion vector that is assigned to all pixels of it ordered block is valid and their movement between indicates two drawing files / images. Here it is assumed that all pixels in a block of the same motion are subject. The process works in three Steps, with a predetermined number in each block of motion vectors is assumed to be possible, and for each of these assumed motion vectors using one Deviation function for each individual pixel via it is checked which of the vectors actually precedes the most likely represents lying movement. In the The deviation function is in principle for each pixel of the block for which a motion vector is checked  the pixel in the current image / drawing file with the corresponding to the motion vector to be checked shifted pixel in the previous image / partial image ver like. The bigger the difference between the two Points, the greater the value of the deviation function for this pixel. Summed up for all picture points of the block then results in a value of Deviation function for all pixels of the block indicates how good the value of the assumed motion vector reflects the actual movement. The bigger the value of the deviation function is the worse the assumed motion vector actually specifies the lying movement again.

Auf diese Weise erfolgt in drei Schritten eine Suche nach dem günstigsten Bewegungsvektor. Im ersten Schritt werden die Bewegungsvektoren so gewählt, daß sie relativ stark voneinander abweichende Werte aufweisen. Der dann auf oben beschriebene Weise im ersten Schritt gefundene günstigste Bewegungsvektor unter diesen angenommenem Bewegungs­ vektoren wird im zweiten Schritt quasi als Ausgangspunkt gewählt. Im zweiten Schritt wird um diesen Bewegungsvektor herum weitere Bewegungsvektoren angenommen, deren Werte um den Wert des im ersten Schritt als günstigsten gefundenen Bewegungsvektors herumstreuen. Im zweiten Schritt wird wiederum auf oben beschriebene Weise ein günstigster Bewegungsvektor gefunden, der für den dritten Schritt als Ausgangspunkt gewählt wird. Im dritten Schritt werden um diesen gefundenen Vektor herum weitere Vektoren ange­ nommen, die nur relativ geringfügig von dem im zweiten Schritt gefundenen Bewegungsvektor abweichen. Im dritten Schritt wird wiederum in oben beschriebener Weise ein günstigster Vektor ermittelt, der den Endwert darstellt, und der die in dem Block vorliegende Bewegung relativ genau wiedergibt. In this way, a search is carried out in three steps the cheapest motion vector. The first step will be the motion vectors chosen to be relatively strong have different values. Then on top described cheapest found in the first step Motion vector among these assumed motion In the second step, vectors become the starting point chosen. The second step is around this motion vector around other motion vectors assumed, their values around the value of the cheapest found in the first step Scatter motion vector. The second step is again a cheapest in the manner described above Motion vector found to act as the third step Starting point is selected. The third step is to other vectors around this found vector taken that are only slightly different from that in the second Step found motion vector deviate. In the third Step is again in the manner described above Find the cheapest vector that represents the final value and the relative motion in the block reproduces exactly.  

Bei diesem Verfahren existiert das Problem, daß ein Fehler, der bei der Ermittlung des Bewegungsvektors im ersten Schritt eintritt, in den nachfolgenden Schritten nur noch teilweise korrigiert werden kann. Mit anderen Worten, ist ein Bewegungsvektor im ersten Schritt völlig falsch, kann dies in den folgenden Schritten nicht mehr entscheidend korrigiert werden. Ein derartiger Fehler insbesondere bei der Ermittlung des Bewegungsvektors im ersten Schritt tritt vor allem durch Rauschen ein, aber auch durch periodisch strukturierte Gebiete, bei denen in einem bestimmten Abstand von dem Ausgangspunkt eine ähnliche Struktur sich wiederholt (beispielsweise Latten­ zaun). In derartigen Fällen wird im ersten Schritt häufig ein falscher Bewegungsvektor ermittelt, der dann in den nachfolgenden Schritten nur noch fein korrigiert werden kann.The problem with this method is that a Error that occurred when determining the motion vector in the first step occurs in the subsequent steps can only be partially corrected. With others Words, a motion vector is complete in the first step wrong, this can no longer be done in the following steps be decisively corrected. Such a mistake especially when determining the motion vector in the first step occurs mainly through noise, however also through periodically structured areas in which a certain distance from the starting point similar structure is repeated (e.g. slats fence). In such cases, the first step is frequent an incorrect motion vector is determined, which is then in the subsequent steps can only be corrected finely can.

Es ist Aufgabe der Erfindung, daß eingangs genannte Ver­ fahren dahingehend weiterzuentwickeln, daß es weniger anfällig für derartige Fehler wird.It is an object of the invention that Ver drive to evolve so that there is less susceptible to such errors.

Diese Aufgabe ist erfindungsgemäß dadurch gelöst, daß im ersten Schritt von dem ermittelten Wert der Abweichungs­ funktion desjenigen Vektors mit dem kleinsten Wert ein vorgegebener Wert subtrahiert wird und anschließend der Vergleich mit den ermittelten Werten der Abweichungs­ funktion der übrigen angenommenen Bewegungsvektoren erfolgt und daß im zweiten und dritten Schritt jeweils vom Wert desjenigen angenommenen Bewegungsvektors ein vorge­ gebener Wert subtrahiert wird, der im vorigen Schritt als günstigster Bewegungsvektor ermittelt wurde, und daß der so verminderte Wert der Abweichungsfunktion dieses Vektors mit den Werten der Abweichungsfunktion der übrigen Vektoren des gleichen Schrittes zur Ermittlung des günstigsten Vektors verglichen wird. This object is achieved in that in first step from the determined value of the deviation function of the vector with the smallest value specified value is subtracted and then the Comparison with the determined values of the deviation function of the other assumed motion vectors takes place and that in the second and third steps of each Value of the assumed motion vector a pre value is subtracted, which in the previous step as most favorable motion vector was determined, and that the so decreased value of the deviation function of this vector with the values of the deviation function of the others Vectors of the same step to determine the cheapest vector is compared.  

Der Erfindung liegt die Erkenntnis zugrunde, daß die oben genannten Fehler bei der Ermittlung der Bewegungsvektoren, insbesondere im ersten Schritt, vor allem dadurch ent­ stehen, daß eine Bewegung ermittelt wird, die tatsächlich gar nicht vorliegt. Dies gilt insbesondere in dem Falle, daß das Bildsignal verrauscht ist. Es kann dann durch zufälliges Auftreten von durch das Rauschen bedingten Bildwerten scheinbar eine Bewegung vorliegen, die tat­ sächlich gar nicht gegeben ist. Entsprechendes gilt in ähnlicher Weise für die Schritte 2 und 3 des Verfahrens. Auch bei der periodischen Struktur in diesem Bildinhalt besteht die Gefahr, daß eine Bewegung ermittelt wird, die tatsächlich nicht vorhanden ist und die nur durch die Periodenstruktur vorgetäuscht wird.The invention is based on the finding that the above mentioned errors in the determination of the motion vectors, especially in the first step, especially because of this stand that a movement is actually determined not at all. This applies in particular in the case that the image signal is noisy. It can then go through random occurrence of noise related Image values seem to be a movement that did is not actually given. The same applies in similarly for steps 2 and 3 of the method. Even with the periodic structure in this picture content there is a risk that a movement is determined that actually does not exist and that only through the Period structure is faked.

Es ist daher erfindungsgemäß vorgesehen, im ersten Schritt des Verfahrens den Wert der Abweichungsfunktion des Vektors mit dem geringsten Wert um einen vorgegebenen Wert zu verringern. Im allgemeinen wird im ersten Schritt eine Schar von angenommenen Bewegungsvektoren gewählt, unter denen ein Vektor mit dem Wert Null ist, der also angibt, daß keine Bewegung vorliegt. In oben beschriebener Weise wird im ersten Schritt für jeden der angenommenen Vektoren die Abweichungsfunktion ermittelt. Die Werte der Ab­ weichungsfunktionen für jeden der angenommenen Bewegungs­ vektoren werden miteinander verglichen und es wird derjenige Bewegungsvektor als günstigster angenommen, dessen Wert der Abweichungsfunktion am kleinsten ist. Erfindungsgemäß wird nun vor diesem Vergleich der Werte oder Abweichungsfunktionen der angenommenen Bewegungs­ vektoren der Wert der Abweichungsfunktion desjenigen Vektors mit dem kleinsten Wert, im allgemeinen mit dem Wert Null, um einen vorgegebenen Wert vermindert. Erst anschließend erfolgt der Vergleich dieses verminderten Wertes der Abweichungsfunktion mit den Werten der Abweichungsfunktion der übrigen Vektoren. Durch diese Verminderung des Wertes der Abweichungsfunktion des Vektors mit dem kleinsten Wert wird erreicht, daß dieser Bewegungsvektor vorrangig gewählt wird. Durch Subtrahieren eines Wertes von seiner Abweichungsfunktion wird dieser Bewegungsvektor quasi bevorzugt, so daß er in Zweifels­ fällen, in denen die Werte der Abweichungsfunktionen der angenommenen Bewegungsvektoren ähnliche Werte aufweisen, gewählt wird.It is therefore provided according to the invention in the first step the value of the deviation function of the Vector with the lowest value around a given value to reduce. In general, the first step is a Set of assumed motion vectors chosen, under which is a zero-value vector that indicates that there is no movement. In the manner described above is the first step for each of the accepted vectors the deviation function is determined. The values of Ab softening functions for each of the assumed movement vectors are compared and it will the motion vector assumed to be the cheapest, whose value of the deviation function is the smallest. According to the invention, the values are now compared or deviation functions of the assumed motion vectors the value of one's deviation function Vector with the smallest value, generally with the Value zero, reduced by a predetermined value. First then the comparison of this reduced is carried out Value of the deviation function with the values of  Deviation function of the other vectors. Through this Decrease the value of the deviation function of the Vector with the smallest value is achieved that this Motion vector is selected as a priority. By subtracting a value of its deviation function becomes this Movement vector quasi preferred so that it is in doubt cases in which the values of the deviation functions of the assumed motion vectors have similar values, is chosen.

Durch diese Vorgehensweise wird insbesondere in den oben beschriebenen Fällen des Rauschens oder des sich wieder­ holenden Bildinhalts erreicht, daß im Zweifelsfalle der Bewegungsvektor mit dem kleinsten Wert (im allgemeinen dem Wert Null) gewählt wird. Damit wird das Verfahren schon im ersten Schritt deutlich weniger anfällig gegen die oben beschriebenen Fehler.By doing this, in particular in the above described cases of noise or back again fetching image content achieved that in case of doubt the Motion vector with the smallest value (generally that Value zero) is selected. So the procedure is already in first step significantly less susceptible to the above described errors.

Im zweiten Schritt des Verfahrens werden wiederum einige Bewegungsvektoren als möglich angenommen und für diese in oben beschriebener Weise der günstigste Bewegungsvektor gewählt. Dabei wird der im ersten Schritt als günstigster ermittelte Bewegungsvektor quasi als Zentrum ausgewählt. Die übrigen Bewegungsvektoren, die als möglich angenommen werden, werden in ihren Werten so gewählt, daß sie um den im ersten Schritt ermittelten Bewegungsvektoren herum liegen. Nach Ermittlung der Abweichungsfunktionen für die angenommenen Bewegungsvektoren des zweiten Schrittes wird erfindungsgemäß von demjenigen Vektor der im ersten Schritt ermittelt wurde, wiederum ein vorgegebener Wert abgezogen. Damit wird im zweiten Schritt dieser Vektor bevorzugt behandelt, so daß bei ähnlichen Werten der anderen angenommenen Vektoren der im ersten Schritt ermittelte Vektor gewählt wird. Entsprechendes gilt für den dritten Schritt, bei dem in gleicher Weise der im zweiten Schritt zuvor als günstigster ermittelte Bewegungsvektor bevorzugt wird, in dem von seinem Wert der Abweichungsfunktion vor Vergleich mit den Werten der Abweichungsfunktionen der übrigen im dritten Schritt an­ genommene Bewegungsvektoren ein vorgegebener Wert abge­ zogen wird.In the second step of the process, some are again Motion vectors assumed as possible and for these in the most favorable motion vector described above chosen. The first step is the cheapest motion vector ascertained is selected as the center. The remaining motion vectors are assumed to be possible are chosen in such a way that they are around the motion vectors determined in the first step lie. After determining the deviation functions for the assumed motion vectors of the second step According to the invention from that vector in the first Step was determined, again a predetermined value deducted. So in the second step this vector treated preferentially, so that at similar values the other assumed vectors of the first step determined vector is selected. The same applies to the third step, in which the im  second step previously determined to be the cheapest Motion vector is preferred, in which of its value the Deviation function before comparison with the values of the Deviation functions of the rest in the third step taken motion vectors a predetermined value is pulled.

Auch in den zweiten und dritten Schritten werden die oben beschriebenen Vorteile erreicht. Das Verfahren wird insgesamt weniger anfällig gegen Rauschen und gegen periodische Bildinhalte; damit wird gleichzeitig auch der Vorteil erreicht, daß für benachbarte Blöcke meist relativ ähnliche Bewegungsvektoren ermittelt werden, was bei dem Verfahren nach dem Stande der Technik insbesondere bei verrauschten Bildern nicht der Fall ist.Also in the second and third steps, the above described advantages achieved. The procedure will overall less susceptible to noise and to periodic image content; with that also the Advantage achieved that for neighboring blocks mostly relative Similar motion vectors are determined, which is what State-of-the-art methods, in particular noisy pictures is not the case.

Das Verfahren ist insbesondere vorteilhaft einsetzbar in einem HD-MAC-Enkoder, der einerseits an einen HD-MAC- Dekoder Bewegungsvektoren übertragen muß, damit dieser in der Lage ist, Bewegungen richtig wiederzugeben. Anderer­ seits werden diese Bewegungsvektoren auch in dem Enkoder selbst benötigt.The method can be used particularly advantageously in an HD-MAC encoder that is connected to an HD-MAC Decoder must transmit motion vectors so that this in is able to reproduce movements correctly. Other on the one hand, these motion vectors are also in the encoder yourself needed.

Eine Ausgestaltung der Erfindung sieht für das Verfahren, bei dem die angenommenen Bewegungsvektoren im ersten Schritt breit verteilte Werte aufweisen, im zweiten Schritt enger um den ermittelten Vektor des ersten Schrittes verteilte Werte aufweisen und bei dem sie im dritten Schritt nochmals enger um den ermittelten Vektor des zweiten Schrittes verteilte Werte aufweisen, vor, daß der im ersten Schritt von dem Wert der Verteilungsfunktion des Vektors mit dem kleinsten Wert abgezogene Wert größer ist als der im zweiten Schritt von dem Wert der Ver­ teilungsfunktion des zuvor im ersten Schritt als günstigsten ermittelten Verschiebungsvektors abgezogene Wert und daß der im zweiten Schritt von dem Wert der Verteilungsfunktion des im ersten Schritt als günstigsten ermittelten Verschiebungsvektors abgezogene Wert größer ist als der im dritten Schritt von dem Wert der Verteilungsfunktion des zuvor im zweiten Schritt als günstigsten ermittelten Verschiebungsvektors abgezogene Wert.One embodiment of the invention provides for the method in which the assumed motion vectors in the first Show widely distributed values in the second step Step closer to the determined vector of the first Step distributed values and at which they in third step again more closely around the determined vector of the second step have distributed values, before that the first step of the value of the distribution function of the vector with the smallest value subtracted larger is than that in the second step of the value of Ver division function of the previously in the first step as subtracted most favorable determined displacement vector  Value and that in the second step of the value of the Distribution function of the cheapest in the first step determined displacement vector value subtracted larger is than that in the third step of the value of Distribution function of the previously in the second step as subtracted most favorable determined displacement vector Value.

Bei dem oben beschriebenen dreischrittigen Verfahren werden im ersten Schritt die Werte der angenommenen Bewegungsvektoren so gewählt, daß sie relativ breit streuen. Im zweiten Schritt liegen die Werte der ange­ nommenen Vektoren bereits näher zusammen und im dritten Schritt liegen sie am engsten beieinander. Durch diese Vorgehensweise wird erreicht, daß der erste Schritt quasi eine Art Grobrichtung der Bewegung angibt, die dann in den nachfolgenden Schritten weiter verfeinert wird, um schließlich den endgültigen Wert der Bewegung zu erreichen. Für diese Vorgehensweise ist es vorteilhaft, wenn die erfindungsgemäß abgezogenen Werte von den jeweils bevorzugten angenommenen Bewegungsvektoren entsprechend in jedem Verfahrensschritt unterschiedlich gewählt werden. Es ist im ersten Schritt derjenige Wert, um den der Wert der Verteilungsfunktion des Vektors im ersten Schritt vermindert wird, relativ groß zu wählen, die abgezogenen Werte in den Schritten 2 und 3 sind dann jeweils kleiner zu wählen. Damit erfolgt eine Anpassung der abgezogenen Werte und damit quasi des Ausmaßes der Bevorzugung desjenigen Vektors, von dessen Abweichungsfunktion der Wert abgezogen wird, an das Maß der Streuung der Werte der angenommenen Bewegungsvektoren in dem jeweiligen Schritt.In the three-step process described above in the first step, the values of the assumed Motion vectors chosen so that they are relatively wide scatter. In the second step, the values of the are taken vectors already closer together and in the third They are the closest to each other. Through this Procedure is achieved so that the first step is quasi a kind of rough direction of the movement, which then goes into the subsequent steps is refined to finally the final value of the move too to reach. For this procedure it is advantageous if the values subtracted according to the invention from the respective preferred assumed motion vectors in accordance with each process step can be selected differently. It the first step is the value by which the value of the Distribution function of the vector in the first step is reduced to choose relatively large, the deducted Values in steps 2 and 3 are then smaller to choose. This means that the deducted is adjusted Values and thus almost the extent of the preference of the vector whose deviation function is the Subtracted from the value of the spread of the values assumed motion vectors in the respective step.

Anhand der Zeichnung wird das Verfahren nachfolgend näher erläutert. The process is explained in more detail below with the aid of the drawing explained.  

Die einzige Figur zeigt in schematischer Darstellung einen Ausschnitt eines Blocks eines Bildes oder Teilbildes, auf den das Verfahren zur Ermittlung von Bewegungsvektoren in drei Schritten angewendet wird.The single figure shows a schematic representation of one Detail of a block of a picture or drawing file the the method for determining motion vectors in three steps is applied.

Die Zeichnung zeigt in der X-Richtung eine Skalierung von -6 bis + 6 und in der Y-Richtung ebenfalls eine Skalierung von -6 bis + 6. In der Figur sind neun Kreise eingetragen, mit denen die angenommenen Bewegungsvektoren für den ersten Schritt angedeutet werden sollen. Einer der Bewegungsvektoren ist zentral angeordnet und trägt die Werte X = 0 und Y = 0. Dieser angenommene Bewegungsvektor gibt also den Fall wieder, daß keine Bewegung vorliegt. Die übrigen acht angenommenen Bewegungsvektoren für den ersten Schritt sind relativ breit verteilt, in dem in der Figur dargestellten Beispiel weichen sie in X- und/oder Y- Richtung um jeweils den Wert 3 von dem Bewegungsvektor X = 0, Y = 0 ab.The drawing shows a scaling in the X direction from -6 to + 6 and also one in the Y direction Scaling from -6 to + 6. There are nine circles in the figure with which the assumed motion vectors to be hinted at for the first step. One of Motion vectors are arranged centrally and carry them Values X = 0 and Y = 0. This assumed motion vector shows the case that there is no movement. The remaining eight assumed motion vectors for the first step are relatively broad, in which in the Example shown in the figure they give way in X and / or Y Direction by the value 3 of the motion vector X = 0, Y = 0 from.

Im ersten Schritt des Verfahrens wird für jeden dieser neuen angenommenen Bewegungsvektoren eine Abweichungs­ funktion gebildet, die verschieden aussehen kann, die jedoch in jedem Falle so gewählt ist, daß sie angibt, welche Abweichung zwischen einem Punkt des vorliegenden Blocks und dem entsprechenden Bildpunkt des entsprechenden Blocks des vorigen Bildes oder Teilbildes vorliegt, der um den jeweils angenommenen Bewegungsvektor verschoben ist. Die so für jeden Bildpunkt des Blocks ermittelte Abweichungsfunktion wird für einen angenommenen Bewegungs­ vektor aufsummiert, so daß diese Summe angibt, wie gut der angenommene Bewegungsvektor im Mittel für die Bildpunkte des Blockes ist.The first step of the process is for each of these new assumed motion vectors a deviation function formed, which can look different, the is however chosen in any case so that it indicates what deviation between a point of the present Blocks and the corresponding pixel of the corresponding Blocks of the previous picture or sub-picture is present, which is around the respectively assumed motion vector is shifted. That determined for each pixel of the block Deviation function is for an assumed movement vector summed up so that this sum indicates how good the assumed motion vector on average for the pixels of the block is.

Erfindungsgemäß wird dieser Summenwert der Abweichungs­ funktion desjenigen Vektors mit dem geringsten Wert um einen vorgegebenen Wert vermindert. In dem Beispielsfall gemäß der Figur ist der Vektor mit dem geringsten Wert derjenige mit dem Wert X = 0, Y = 0. Der Wert der Abweichungsfunktion für alle Bildpunkte dieses Vektors wird nun um einen vorgegebenen Wert vermindert. Erst anschließend wird der Wert der Abweichungsfunktion dieses Bewegungsvektors mit den Werten der Abweichungsfunktionen der übrigen acht angenommenen Bewegungsvektoren ver­ glichen. Es wird für den zweiten Schritt derjenige Bewegungsvektor als Ausgangspunkt gewählt, dessen Wert der Abweichungsfunktion (bzw. der verminderte Wert der Abweichungsfunktion) am kleinsten ist. Weisen beispiels­ weise die Werte der Abweichungsfunktionen für die neuen Bewegungsvektoren im ersten Schritt ähnliche Werte auf, so wird der Bewegungsvektor mit dem Wert X = 0, Y = 0 gewählt, da sein Wert erfindungsgemäß um einen vorge­ gebenen Wert vermindert wurde, so daß der so verminderte Wert kleiner ist als der Wert der Abweichungsfunktion der übrigen Bewegungsvektoren und somit als günstigster gewählt wird. In der Darstellung gemäß der Figur wird davon ausgegangen, daß dieser Fall nicht vorliegt, sondern daß der angenommene Bewegungsvektor mit dem Wert X = 3, Y = 3 eine deutlich niedrigere Abweichungsfunktion auf­ weist, die auch noch niedriger ist als der verminderte Wert der Abweichungsfunktion des Bewegungsvektors mit dem Wert X = 0, Y = 0. Damit wird trotz der Verminderung des Wertes der Abweichungsfunktion des Vektors X = 0, Y = 0 der Bewegungsvektor mit dem Wert X = 3, Y = 3 gewählt.According to the invention, this total value becomes the deviation function of the vector with the lowest value  decreases a predetermined value. In the example case according to the figure, the vector has the lowest value the one with the value X = 0, Y = 0. The value of the Deviation function for all pixels of this vector is now reduced by a predetermined value. First then the value of the deviation function becomes this Motion vector with the values of the deviation functions the remaining eight assumed motion vectors ver like. It becomes the one for the second step Motion vector selected as the starting point, the value of which Deviation function (or the reduced value of the Deviation function) is the smallest. Wise example assign the values of the deviation functions for the new ones Motion vectors in the first step have similar values, see above the motion vector with the value X = 0, Y = 0 chosen because its value according to the invention by a pre given value was reduced, so that the reduced Value is less than the value of the deviation function of other motion vectors and therefore the cheapest is chosen. In the illustration according to the figure assumed that this is not the case, but that the assumed motion vector with the value X = 3, Y = 3 has a significantly lower deviation function points, which is also lower than the diminished one Value of the deviation function of the motion vector with the Value X = 0, Y = 0. This means that despite the reduction in Value of the deviation function of the vector X = 0, Y = 0 the motion vector with the value X = 3, Y = 3 is selected.

Im zweiten Schritt des Verfahrens wird dieser im ersten Schritt ermittelte Bewegungsvektor als einer der im zweiten Schritt angenommenen Bewegungsvektoren gewählt. Die übrigen im zweiten Schritt angenommenen Bewegungs­ vektoren scharen sich um den Wert dieses Bewegungsvektors. Sie sind in der Figur mit Sternen gekennzeichnet. Die Abweichung der acht übrigen angenommenen Bewegungsvektoren von dem zentralen, in dem ersten Schritt als optimal ermittelten Bewegungsvektor ist geringer als die Abweichung der acht Bewegungsvektoren im ersten Schritt, die sich um den zentralen Bewegungsvektor mit dem Wert X =0, Y = 0 scharen.In the second step of the process, this is in the first Motion vector as one of the im second step assumed motion vectors selected. The remaining movement assumed in the second step vectors cluster around the value of this motion vector. They are marked with stars in the figure. The  Deviation of the eight remaining assumed motion vectors from the central, in the first step as optimal determined motion vector is less than that Deviation of the eight motion vectors in the first step, around the central motion vector with the value X = 0, Y = 0 share.

Im zweiten Schritt erfolgt nun im Prinzip in gleicher Weise wie im ersten Schritt eine Ermittlung der Werte der Abweichungsfunktionen und ein Vergleich der Werte der Abweichungsfunktionen. Vor diesem Vergleich wird der Wert der Abweichungsfunktion des zuvor im ersten Schritt als optimalen Bewegungsvektor ermittelten Vektors X = 3, Y = 3 ein vorgegebener Wert abgezogen. Dieser abgezogene Wert ist jedoch geringer als derjenige um den im ersten Schritt der Wert der Abweichungsfunktion des Bewegungsvektors X = 0, Y = 0 vermindert wurde.In principle, the second step is the same As in the first step, a determination of the values of the Deviation functions and a comparison of the values of the Deviation functions. Before this comparison, the value the deviation function of the previously in the first step as optimal motion vector determined vector X = 3, Y = 3 a specified value is subtracted. This deducted value however, is less than that in the first step the value of the deviation function of the motion vector X = 0, Y = 0 was decreased.

Auch im zweiten Schritt gilt, daß bei ähnlichen Werten aller neuen angenommenen Bewegungsvektoren im Zweifel derjenige Bewegungsvektor gewählt wird, der den mittleren Wert aufweist, d. h. also derjenige Vektor, der im ersten Schritt als optimaler Bewegungsvektor ermittelt wurde.The second step also applies to similar values of all new assumed motion vectors in doubt that motion vector is chosen that the middle Has value, d. H. so the vector in the first Step was determined as the optimal motion vector.

Der im zweiten Schritt als optimal ermittelte Bewegungs­ vektor (in der Figur der Vektor X = 5, Y = 5) wird im dritten Schritt wiederum als zentraler angenommener Bewegungsvektor gewählt, um den herum sich die Werte der übrigen angenommenen Bewegungsvektoren des dritten Schrittes scharen. Diese sind in der Figur mit Quadraten symbolisiert.The movement determined as optimal in the second step vector (in the figure the vector X = 5, Y = 5) is used in third step again as the central assumed Motion vector selected around which the values of the other assumed motion vectors of the third Step. These are in the figure with squares symbolizes.

Im dritten Schritt wiederholt sich die Vorgehensweise des zweiten Schrittes, wobei derjenige Vektor der im zweiten Schritt als optimal ermittelt wurde, bezüglich des Wertes seiner Abweichungsfunktion um einen vorgegebenen Wert vermindert wird. Dieser Wert ist wiederum kleiner als der im zweiten Schritt als Subtrahent des zuvor im ersten Schritt ermittelten Bewegungsvektors gewählte Wert.In the third step, the procedure of the second step, the vector in the second Step was determined as optimal, in terms of value  its deviation function by a predetermined value is reduced. This value is again less than that in the second step as a subtrahent of that previously in the first Step determined motion vector selected value.

Im Ergebnis wird im jeden der drei Schritte im Zweifels­ fall der zentrale Bewegungsvektor gewählt. Dies hat vor allem den Vorteil, daß bei zufälligen Werten, die sich vor allem bei Rauschen im Bild ergeben können, keine Bewegung durch den ermittelten Bewegungsvektor angegeben wird, die tatsächlich nicht vorliegt. Es erfolgt quasi eine Art "Vorspannung" desjenigen Bewegungsvektors mit dem Wert X = 0, Y = 0 im ersten Schritt, bzw. in den Schritten 2 und 3 desjenigen Bewegungsvektors, der im vorigen Schritt ermittelt wurde.As a result, the central motion vector is selected in each of the three steps in case of doubt. This has the advantage, in particular, that in the case of random values, which can result, in particular, from noise in the image, no movement is indicated by the determined motion vector which is actually not present. There is a kind of "preloading" of the motion vector with the value X = 0, Y = 0 in the first step, or in steps 2 and 3 of the motion vector that was determined in the previous step.

Claims (2)

1. Verfahren zur Ermittlung von Bewegungsvektoren für ein in Bilder oder Teilbilder gegliedertes Bildsignal, wobei jedes Bild/Teilbild in Blöcke eingeteilt und für jeden Block ein Bewegungsvektor in wenigstens drei Schritten ermittelt wird, wobei in jedem Schritt eine Anzahl von Bewegungsvektoren als möglich angenommen und für jeden dieser angenommenen Bewegungsvektoren jeweils eine Abweichungsfunktion für jeden Bildpunkt des Blockes angewendet wird, in Abhängigkeit deren Werte der günstigste Vektor ausgewählt und gegebenenfalls für den folgenden Schritt als einer der angenommenen Vektoren gewählt wird, dadurch gekennzeichnet, daß im ersten Schritt von dem ermittelten Wert der Abweichungsfunktion desjenigen Vektors mit dem kleinsten Wert ein vorgegebener Wert subtrahiert wird und anschließend der Vergleich mit den ermittelten Werten der Abweichungsfunktion der übrigen angenommenen Bewegungsvektoren erfolgt und daß im zweiten und dritten Schritt jeweils vom Wert desjenigen ange­ nommenen Bewegungsvektors ein vorgegebener Wert subtrahiert abgezogen wird, der im vorigen Schritt als günstigster Bewegungsvektor ermittelt wurde, und daß der so verminderte Wert der Abweichungsfunktion dieses Vektors mit den Werten der Abweichungsfunktion der übrigen Vektoren des gleichen Schrittes zur Ermittlung des günstigsten Vektors verglichen wird.1. A method for determining motion vectors for an image signal divided into images or partial images, wherein each image / partial image is divided into blocks and a motion vector is determined for each block in at least three steps, with a number of motion vectors being assumed as possible in each step and for a deviation function is applied to each of these assumed motion vectors for each pixel of the block, depending on the values of which the cheapest vector is selected and optionally selected as one of the assumed vectors for the following step, characterized in that in the first step of the determined value of the deviation function of the vector with the smallest value a subtracted value is subtracted and then the comparison with the determined values of the deviation function of the other assumed motion vectors takes place and that in the second and third step each of the value of that n assumed motion vector a subtracted value is subtracted, which was determined in the previous step as the cheapest motion vector, and that the reduced value of the deviation function of this vector is compared with the values of the deviation function of the other vectors of the same step to determine the cheapest vector. 2. Verfahren nach Anspruch 1, bei dem die ange­ nommenen Bewegungsvektoren im ersten Schritt breitver­ teilte Werte aufweisen, im zweiten Schritt enger um den ermittelten Vektor des ersten Schrittes verteilte Werte aufweisen und bei dem sie im dritten Schritt nochmals enger um den ermittelten Vektor des zweiten Schrittes verteilte Werte aufweisen, dadurch gekennzeichnet, daß der im ersten Schritt von dem Wert der Verteilungsfunktion des Vektors mit dem kleinsten Wert abgezogene Wert größer ist als der im zweiten Schritt von dem Wert der Verteilungsfunktion des zuvor im ersten Schritt als günstigsten ermittelten Verschiebungsvektors abgezogene Wert und daß der im zweiten Schritt von dem Wert der Verteilungsfunktion des im ersten Schritt als günstigsten ermittelten Verschiebungsvektors abgezogene Wert größer ist als der im dritten Schritt von dem Wert der Verteilungsfunktion des zuvor im zweiten Schritt als günstigsten ermittelten Verschiebungsvektors abgezogene Wert.2. The method of claim 1, wherein the ange motion vectors used in the first step have shared values, in the second step tighter around the  determined vector of the first step distributed values and in the third step again tighter around the determined vector of the second step have distributed values, characterized in that in the first step of the Value of the distribution function of the vector with the smallest Value subtracted is greater than that in the second step from the value of the distribution function of the one previously in the first Step as the cheapest determined displacement vector subtracted value and that in the second step of the Value of the distribution function of the in the first step as subtracted most favorable determined displacement vector Value is greater than that in the third step of the value the distribution function of the previously in the second step as subtracted most favorable determined displacement vector Value.
DE4226128A 1992-08-07 1992-08-07 Procedure for determining motion vectors Withdrawn DE4226128A1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE4226128A DE4226128A1 (en) 1992-08-07 1992-08-07 Procedure for determining motion vectors
GB9316105A GB2269508B (en) 1992-08-07 1993-08-03 Method of determining motion vectors
FR9309609A FR2696255B1 (en) 1992-08-07 1993-08-04 Method for determining motion vectors.

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE4226128A DE4226128A1 (en) 1992-08-07 1992-08-07 Procedure for determining motion vectors

Publications (1)

Publication Number Publication Date
DE4226128A1 true DE4226128A1 (en) 1994-02-10

Family

ID=6465045

Family Applications (1)

Application Number Title Priority Date Filing Date
DE4226128A Withdrawn DE4226128A1 (en) 1992-08-07 1992-08-07 Procedure for determining motion vectors

Country Status (3)

Country Link
DE (1) DE4226128A1 (en)
FR (1) FR2696255B1 (en)
GB (1) GB2269508B (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2728091A1 (en) * 1994-12-13 1996-06-14 Thomson Consumer Electronics METHOD FOR SELECTING MOTION VECTORS AND IMAGE PROCESSING DEVICE USING THE SAME

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9906420D0 (en) 1999-03-19 1999-05-12 Isis Innovation Method and apparatus for image processing
GB9920401D0 (en) 1999-08-27 1999-11-03 Isis Innovation Non-rigid motion image analysis

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8713455D0 (en) * 1987-06-09 1987-07-15 Sony Corp Television standards converters
JPH0255486A (en) * 1988-08-19 1990-02-23 Matsushita Electric Ind Co Ltd Movement vector detector
GB2231748B (en) * 1989-04-27 1993-08-18 Sony Corp Motion dependent video signal processing
JPH0832048B2 (en) * 1990-01-23 1996-03-27 日本ビクター株式会社 Motion vector detector
GB2248361B (en) * 1990-09-28 1994-06-01 Sony Broadcast & Communication Motion dependent video signal processing
FI89121C (en) * 1991-11-11 1993-08-10 Nokia Oy Ab FOER REQUIREMENT FOR SOURCE VECTOR FOR VIDEOSIGNAL

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2728091A1 (en) * 1994-12-13 1996-06-14 Thomson Consumer Electronics METHOD FOR SELECTING MOTION VECTORS AND IMAGE PROCESSING DEVICE USING THE SAME
EP0717372A1 (en) * 1994-12-13 1996-06-19 THOMSON multimedia Motion vector selection process and image processing device carrying out said process
US5717615A (en) * 1994-12-13 1998-02-10 Thomson Multimedia S.A. Method for selecting motion vectors and image processing device implementing the said method

Also Published As

Publication number Publication date
GB2269508A (en) 1994-02-09
FR2696255A1 (en) 1994-04-01
FR2696255B1 (en) 1995-05-19
GB9316105D0 (en) 1993-09-15
GB2269508B (en) 1996-05-01

Similar Documents

Publication Publication Date Title
DE69627765T2 (en) Method and device for spatial filtering of noisy numerical images
DE60020887T2 (en) OPTICAL FLOW AND PICTURE CONSTRUCTION
EP1770635B1 (en) Iterative image interpolation method
EP1386287B1 (en) Image processing method
DE3905234C2 (en)
EP0897247A2 (en) Method for computing motion vectors
DE10084783B3 (en) System and method for generating video frames
EP2023638A2 (en) Method for reducing image artefacts
DE4226128A1 (en) Procedure for determining motion vectors
EP1631091A1 (en) Coding of a plurality of binary input data words into one codeword
DE3341371A1 (en) METHOD AND DEVICE FOR GENERATING A COMBINED IMAGE SIGNAL
EP0780792B1 (en) Movement estimation calculating process for successive image points of a video sequence
EP1397002B1 (en) A gradient based method for the interpolation of picture elements
DE4104067C2 (en) Process for improving the quality of motion vectors for digital image transmission
EP0558922B1 (en) Method for improving motion estimation in a motion picture sequence with half pel precision
DE102006042386A1 (en) Method and device for displaying images
DE4404047C1 (en) Method for influencing the image quality of images supplied by an electronic image recording device
EP1976288B1 (en) Iterative method for interpolating image information values
EP1304652B1 (en) Method for compression and transmission of image data
DE2602126C2 (en) Display device
DE102008048257B4 (en) Method for detecting a block raster
EP1059610A2 (en) Trellis coding apparatus
DE69813329T2 (en) Manipulation of images encoded in run length
EP0513297B1 (en) Process for coding and decoding video data of a frame sequence
DE2226723A1 (en) Support spring assemblies for use in upholstery and methods of making the same

Legal Events

Date Code Title Description
8110 Request for examination paragraph 44
8127 New person/name/address of the applicant

Owner name: PHILIPS CORPORATE INTELLECTUAL PROPERTY GMBH, 2233

8125 Change of the main classification

Ipc: G06T 7/20

8139 Disposal/non-payment of the annual fee