DE3839502A1

DE3839502A1 - Method for determining the motion vectors of a sequence of video frames

Info

Publication number: DE3839502A1
Application number: DE3839502A
Authority: DE
Inventors: Klaus Dipl Phys Hienerwadel
Original assignee: Philips Patentverwaltung GmbH
Current assignee: Philips Intellectual Property and Standards GmbH
Priority date: 1988-11-23
Filing date: 1988-11-23
Publication date: 1990-05-31

Abstract

In this method, the section of a video frame within a search area is determined which best corresponds to a predetermined equally large section of the next video frame following. Before the check for correspondence, the data of at least one of the sections to be compared with one another are approximated by a small number of amplitudes and the check for correspondence is carried out with these amplitudes. So that the approximation does not become too coarse and therefore the image quality does not become too poor during the reproduction of the video frames, it is provided to divide the pixels, the data of which are to be approximated, into part areas, to determine the number of amplitudes for each part area and to select the values of the amplitudes in such a manner that the mean approximation error for each part area becomes minimum.

Description

Die Erfindung betrifft ein Verfahren zur Bestimmung der Bewegungsvektoren einer Sequenz von Videobildern gemäß dem Oberbegriff des Patentanspruches 1.The invention relates to a method for determining the Motion vectors according to a sequence of video images the preamble of claim 1.

Ein derartiges Verfahren ist in der DE 37 19 023 be schrieben. Es wird zum Beispiel bei Hybridcodecs für Vi deosignale angewendet. Bei dem bekannten Verfahren werden zur Bestimmung der Bewegungsvektoren zwei aufeinanderfol gende Videobilder benötigt. Unter Videobild soll hier die Gesamtheit aller für einen Betrachter gleichzeitig sicht bar zu machenden Bildpunkte verstanden werden, wobei jeder Bildpunkt durch seine Koordinaten sowie durch Daten über Helligkeit und Farbkomponenten festgelegt ist. Unter Teil, Ausschnitt, Bereich oder Teilbereich eines Video bildes wird eine Anzahl benachbarter Bildpunkte verstan den.Such a method is in DE 37 19 023 be wrote. For example, hybrid codecs for Vi deo signals applied. In the known method to determine the motion vectors two in succession video images needed. Under video picture here Whole view of all for one viewer pixels to be made can be understood, whereby each Pixel by its coordinates as well as by data about Brightness and color components is set. Under Part, section, area or partial area of a video image is understood a number of neighboring pixels the.

Wird nun in einer Sequenz von Videobildern ein sich bewe gender Gegenstand dargestellt, so muß es in aufeinander folgenden Videobildern Ausschnitte geben, die zumindest nahezu identisch sind. Ein Bewegungsvektor, der einem vorbestimmten Ausschnitt eines Videobildes zugeordnet ist, gibt an, aus welchem Ausschnitt des vorangegangenen Videobildes der vorbestimmte Ausschnitt durch Verschie bung erhalten werden kann.Will now prove itself in a sequence of video images gender object depicted, it must be in one another give the following video images excerpts, at least are almost identical. A motion vector that one assigned predetermined section of a video image indicates from which section of the previous one Video image the predetermined section by shifting exercise can be obtained.

Zur Bestimmung des Bewegungsvektors, der dem vorbestimm ten Ausschnitt zugeordnet wird, wird im vorangegangenen Videobild ein sogenannter Suchbereich festgelegt. Der Suchbereich ist derjenige Teil des vorangegangenen Video bildes, in dem derjenige Ausschnitt liegen sollte, aus dem der vorbestimmte Ausschnitt des nächstfolgenden Vi deobildes durch Verschiebung hervorgegangen ist. Zur Be stimmung des Bewegungsvektors wird jeder Ausschnitt des Suchbereiches, der die Größe des vorbestimmten Ausschnit tes hat, mit dem vorbestimmten Ausschnitt verglichen. Führt dieser Vergleich zur Übereinstimmung aller Daten der miteinander verglichenen Ausschnitte, so ist das Pro blem gelöst, da dieser Ausschnitt des Suchbereiches der jenige sein muß, aus dem der vorbestimmte Ausschnitt her vorgegangen ist. Tatsächlich wird nicht die Ubereinstim mung aller Daten verlangt, sondern lediglich ein mög lichst geringer Unterschied im Sinne einer geeignet defi nierten Abstandsnorm. Der Einfachheit halber soll jedoch im folgenden immer von Übereinstimmung gesprochen werden.To determine the motion vector that the predetermined th section is assigned in the previous Video image a so-called search area. The Search area is that part of the previous video image in which that section should lie which the predetermined section of the next Vi deobildes is caused by displacement. For loading every section of the Search area that the size of the predetermined section tes compared with the predetermined cutout. This comparison leads to the agreement of all data of the compared sections, that's the pro solved because this section of the search area of the must be the one from which the predetermined section is derived has proceeded. In fact, the match will not All data required, but only one possible minimal difference in the sense of a suitably defi distance standard. However, for the sake of simplicity in the following we always speak of agreement.

Es ist unmittelbar einsichtig, daß der Vergleich zwischen dem vorbestimmten Ausschnitt und allen gleichgroßen Aus schnitten des Suchbereiches einen erheblichen Rechenauf wand bedeutet. Daher ist in der DE 37 19 023 vorgesehen, vor der Prüfung auf Übereinstimmung die miteinander zu vergleichenden Ausschnitte grob zu quantisieren, d. h., durch eine geringe Anzahl von Amplituden zu approximie ren.It is immediately clear that the comparison between the predetermined section and all equal size cut the search area a considerable calculation wall means. DE 37 19 023 therefore provides before checking for consistency with each other roughly quantize comparative sections, d. H., due to a small number of amplitudes to approximie ren.

Bei dem bekannter Verfahren wird zum Beispiel der Wert von zwei Amplituden so gewählt, daß damit die Daten des gesamten Suchbereiches oder/und die Daten des gesamten vorbestimmten Ausschnittes möglichst gut wiedergegeben werden. Ein solches Vorgehen hat sich jedoch als zu grob erwiesen. Die Folge davon ist eine Verschlechterung der Bildqualität gegenüber dem Fall, in dem eine derartige Approximation nicht vorgenommen wird.In the known method, for example, the value of two amplitudes chosen so that the data of the entire search area and / or the data of the entire reproduced predetermined section as well as possible will. However, such an approach has proven to be too crude proven. The result of this is a worsening of the Image quality compared to the case where such Approximation is not made.

Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren der eingangs genannten Art anzugeben, bei dem mit ver tretbarem Rechenaufwand sich auch eine vertretbare Bild qualität ergibt.The invention has for its object a method of the type mentioned, in which ver Reasonable computing effort is also a reasonable picture quality results.

Diese Aufgabe wird dadurch gelöst, daß die zu approximie renden Daten in Teilbereiche aufgeteilt werden, daß die Zahl der Amplituden für jeden Teilbereich festgelegt wird und daß die Werte der Amplituden so gewählt werden, daß der mittlere Approximationsfehler für jeden Teilbereich minimal wird.This object is achieved in that the approximie Data are divided into sections that the Number of amplitudes for each sub-area is determined and that the values of the amplitudes are chosen such that the mean approximation error for each subrange becomes minimal.

Vorteilhafte Ausgestaltungen der Erfindung sind in den Unteransprüchen angegeben, die weiter unten näher erläu tert werden sollen.Advantageous embodiments of the invention are in the Subclaims specified, which further explained below should be tert.

Das erfindungsgemäße Verfahren soll nun anhand eines Aus führungsbeispieles weiter verdeutlicht werden.The method according to the invention should now be based on an off management example are further illustrated.

Im Beispiel besteht der Suchbereich aus 64 Bildpunkten, die regelmäßig über die Fläche eines Quadrates verteilt sind. Als Teilbereiche werden vier Teilquadrate gewählt, die jeweils 16 Bildpunkte enthalten. Zunächst werden die Daten der 16 Bildpunkte eines Teilquadrates linear gemit telt, woraus sich ein Mittelwert M 1 ergibt. Durch Ver gleich der Daten s 1 des ersten Bildpunktes des ersten Teilquadrates wird dieser - je nach Vorzeichen der Diffe renz s 1-M 1 - einer ersten Klasse oder einer zweiten Klas se von Bildpunkten zugeordnet. Entsprechend wird mit den restlichen Bildpunkten des ersten Teilquadrates verfah ren. Sodann werden die Daten aller Bildpunkte, die einer Klasse angehören, gemittelt und der sich daraus ergebende Mittelwert jedem Bildpunkt dieser Klasse zugeordnet. Da mit sind die Daten aller Bildpunkte des ersten Teilqua drates durch zwei Amplituden approximiert. Entsprechendes wird nun mit dem zweiten, dritten und vierten Teilquadrat vorgenommen. In the example, the search area consists of 64 pixels that are regularly distributed over the area of a square. Four partial squares, each containing 16 pixels, are selected as partial areas. First, the data of the 16 pixels of a partial square are linearly averaged, which results in an average value M 1 . By comparing the data s 1 of the first pixel of the first partial square, this is assigned to a first class or a second class of pixels, depending on the sign of the difference s 1 - M 1 . The remaining pixels of the first partial square are processed accordingly. The data of all pixels belonging to a class are then averaged and the resulting mean value is assigned to each pixel of this class. The data of all pixels of the first partial square are approximated by two amplitudes. The same is now done with the second, third and fourth partial square.

Zu bemerken ist, daß die beiden Amplituden, die sich für jedes Teilquadrat ergeben, von Teilquadrat zu Teilquadrat unterschiedlich sein können.It should be noted that the two amplitudes, which are for result in each partial square, from partial square to partial square can be different.

Mit diesen Amplituden wird nun der Vergleich mit dem vor bestimmten Bereich des nächstfolgenden Bildes vorgenom men. Die Amplituden werden so behandelt, als seien sie die ursprünglichen Daten der Bildpunkte. Wird nun auch noch der vorbestimmte Ausschnitt durch zwei Amplituden approximiert, so wird in gleicher Weise vorgegangen wie bei der Approximation des Suchbereiches.With these amplitudes is now the comparison with the before certain area of the next picture men. The amplitudes are treated as if they were the original data of the pixels. Will now still the predetermined section by two amplitudes approximated, the procedure is the same as in the approximation of the search area.

Claims

1. A method for determining the motion vectors of a sequence of video images, in which that section of a video picture within a search area is determined which best matches a predetermined section of the same size of the next following video picture, and in which the data of the pixels of the search area and / or the Data of the pixels of the predetermined section are approved by a small number of amplitudes and the matching is carried out with these amplitudes, characterized in that
that the pixels whose data are to be approximated are divided into partial areas,
that the number of amplitudes for each sub-area is determined and
that the values of the amplitudes are chosen so that the mean approximation error is minimal for each sub-area.

2. The method according to claim 1, characterized, that the number of amplitudes for all subsections is two is.

3. The method according to claim 2, characterized, that in an intermediate step the pixels of a partial area can be divided into two classes, one Pixel falls into one or the other class, if be ne data larger or smaller than an average of all Da th of the sub-area and that all the pixels that fall into the same class, the same amplitude is arranged.

4. The method according to claim 3, characterized, that the amplitude assigned to a given pixel de is identical to the mean of all the pixels fall into the same class as the given pixel len.