EP1153513A1 - Bewegungsschätzung in videobildern - Google Patents

Bewegungsschätzung in videobildern

Info

Publication number
EP1153513A1
EP1153513A1 EP00987289A EP00987289A EP1153513A1 EP 1153513 A1 EP1153513 A1 EP 1153513A1 EP 00987289 A EP00987289 A EP 00987289A EP 00987289 A EP00987289 A EP 00987289A EP 1153513 A1 EP1153513 A1 EP 1153513A1
Authority
EP
European Patent Office
Prior art keywords
image
parameter sets
video
image data
video image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP00987289A
Other languages
English (en)
French (fr)
Inventor
Gerard De Haan
Rimmert B. Wittebrood
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Priority to EP00987289A priority Critical patent/EP1153513A1/de
Publication of EP1153513A1 publication Critical patent/EP1153513A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based

Definitions

  • the invention relates to a method for motion estimation in video image data, wherein parameter sets of two or more motion models are first determined on the basis of a first and a second video image, and image objects are then assigned to the motion models.
  • the invention further relates to a device for performing the method, a device according to the method for displaying video images and a computer program product for motion estimation.
  • One of the motion models is required to take into account those parts of the image that are static.
  • the associated displacement vector is therefore the zero vector.
  • the parameter sets of the other motion models are determined by evaluating the adjustment errors of the motion models when describing the displacement of the image objects between successive video images. It is then necessary for the interpolation to segment the image data and to assign suitable motion models to individual image objects. The result of the segmentation are separate objects, that is to say parts of the image which perform a similar or comparable shift from the previous to the current video image.
  • the known method for motion estimation represents a powerful alternative to the otherwise usual block-oriented method, since the number of objects that can move independently of one another in normal video sequences is small and therefore only a correspondingly small number of motion models has to be processed. This results in a small number of arithmetic operations, which makes the method universally applicable even in the home.
  • the basic object of the present invention is to further improve the previously known motion estimation method while at the same time further reducing the complexity.
  • An important step in motion estimation is the determination of the parameter sets for the motion models.
  • the parameter sets are combined into vectors.
  • a parameter set is vectored from a set of candidate according to a selection criterion selected.
  • the selection criterion is the assessment of an adjustment error. This is calculated as the sum of absolute differences between individual motion-compensated pixel intensities between the current and previous video image, a displacement vector according to one of the candidate vectors being used for the compensation.
  • a major problem here is that it is not clear from the start which image area which movement model with which parameter set is to be assigned.
  • the previously known method proceeds by first applying the above selection criterion to the same image areas with all motion models. The most suitable parameter sets are then selected without an assignment having already been made. According to the above task, another
  • Reduction of complexity in a motion estimation method of the type mentioned at the outset achieved in that only parts of the image area are taken into account when determining the parameter sets.
  • One problem here is to select appropriate parts of the image area in a suitable manner so that shifts between the video images are recorded as completely as possible. According to the invention, only those parts of the image area are taken into account for the determination of the parameter sets in which the first and the second video image differ significantly.
  • Movement data must be known.
  • the parameter determination only has to take place in the non-stationary parts of the image. Because the selection criterion is only applied to parts of the image area, the number of arithmetic operations required is greatly reduced and the entire motion estimation is thus accelerated. Due to the fact that only a few moving objects are shown in typical video sequences, it is normally sufficient to limit yourself to a corresponding number of "interesting" points in the video image when determining the parameter sets.
  • the "areas of interest" are expediently determined by evaluating deviations between the video images block by block, taking into account those blocks for determining the parameter sets in which the deviation value exceeds a predetermined threshold value.
  • the image area is So divided into individual blocks, the size of which must be such that the parameter sets can be determined using individual blocks.
  • the deviations between the current and previous video image can be determined, for example, by forming the absolute differences in the pixel intensities in each case within the individual blocks. The result is a positive number, so that comparison with a predetermined threshold value makes it easy to determine whether or not there is movement in the associated image area.
  • the method according to the invention is then limited to those blocks in which a certain difference between the two video images can be recognized on the basis of the pixel intensities.
  • This procedure has the additional advantage that the threshold value can be determined on the basis that the number of image areas taken into account for the determination of the parameter sets is limited to a predeterminable value. Since the entire process must be performed in real time for the motion estimation, it must be ensured that the number of arithmetic operations remains below a specified maximum value. It is thus possible, when the method according to the invention is used repeatedly, to regulate the threshold value such that the data processing time remains uncritical.
  • a device for motion estimation in video image data with a digital image memory in which a first and a second video image can be stored, and with means for determining parameter sets of two or more motion models according to one is suitable for carrying out the method according to the invention
  • the device according to the invention has means for the block-wise evaluation of the deviations between the current and previous video image and for the selection of those blocks for the application of the selection criterion in which the deviation value exceeds a predefinable threshold value.
  • Devices of this type are used, for example, as subcomponents in television and video devices.
  • the digital image memory of the device according to the invention does not necessarily have to have sufficient capacity to record the first and the second video image simultaneously. The storage of the respective images in succession is sufficient for the method according to the invention.
  • Devices for displaying video images such as television sets, monitors, etc., with a digital image memory in which video image data can be stored, with electronic means for processing the image data stored in the image memory and for displaying video images on a display device, the means for processing the image data have means for determining parameter sets of two or more motion models according to a selection criterion can advantageously benefit from the method according to the invention if the means for processing the image data also include means for evaluating the deviations between the current and previous video image in blocks and for selecting those blocks Have application of the selection criterion in which the deviation value exceeds a predefinable threshold.
  • Conventional digital television sets and monitors can be operated in a simple manner by the method according to the invention, which improves the quality of the image display. Display devices in the above sense are, for example, the cathode ray tubes or dot matrix displays that are common in television sets and monitors. Other display devices for the visual output of digital image data are also conceivable.
  • a computer program product is suitable for the interpolation between pairs of video image data sets, which receives an input as a first and a second video image, calculates parameter sets of two or more motion models based thereon, and outputs motion data which describe the displacement of the image objects from the previous to the current image, the image data of the two video images being compared with one another and only those parts of the image area being taken into account in the calculation of the parameter sets in which there are significant differences between the two video images.
  • the computer program can be made available on various data carriers, such as floppy disks, CD-ROMs or the like, but also for transmission via computer networks (e.g. the Internet).
  • FIG. 2 block diagram of a motion estimation method according to the invention.
  • Fig. 3 block diagram of a device according to the invention for displaying video images.
  • a selection criterion is applied to selected image areas.
  • the selection criterion consists, for example, in the evaluation of an adaptation error ⁇ .
  • I (n) of selected image areas are included.
  • the absolute differences between the pixel intensities in the current or previous video image are summed up at these image coordinates.
  • F s (x, n) is the pixel intensity at the image coordinate x in a video image with a reduced image raster. It has been shown that the use of an image with a reduced resolution (sub-sampled image) is completely sufficient for the parameter determination. This advantageously leads to a considerable reduction in the computing effort.
  • C 0 (x, n) denotes the displacement vector at the image coordinate x for the image pair n as the current and n - ⁇ as the previous video image according to the motion model with the index o.
  • W 0 (x) represents a weighting factor with which it is taken into account which motion model o the image coordinate x was assigned to in the previous sequence of image data of the video sequence. This enables a link to be established between parameter determination and image segmentation, which has advantages with regard to the temporal consistency of the motion estimation and the performance of the method.
  • the following motion model can be used to calculate displacement vectors based on four parameters:
  • Parameter set P g (n) s x (o, n), d x (o, n), s (o, n), d (o, n) f.
  • the parameter set is determined in such a way that the above adaptation error for the corresponding motion model is one assumes minimum value.
  • at least two motion models are always used, one of which always has the zero vector as a parameter set, so that by means of this motion model with the
  • Image segmentation i.e. the assignment of image areas to the motion models. To do this, the entire image area is first divided into blocks. In practice, square blocks of 8 by 8 pixels have proven their worth. For all image coordinates within the
  • Blocks at position X then xe B (X).
  • block X is assigned the motion model o for which ⁇ o (X, n) is minimal.
  • the assignment is then stored in the segmentation mask M (X, ⁇ ).
  • the motion estimation method is limited when determining the parameters of the motion models to "interesting" image areas, which is given by the set I ( ⁇ ). It is advantageous to fill the set I (n) with the blocks that have a poor match with the corresponding blocks in a previous picture. This can be done, for example, according to the following rule:
  • I (n) ⁇ x ⁇ ⁇ 0 (X, nl) ⁇ ⁇ ]
  • T is a predeterminable threshold value which defines the measure of the deviation between two successive images, from which a parameter determination is carried out in the relevant image area.
  • FIG. 1 shows a video image 1, on which a motorcyclist 2 is shown who is driving on a road 3.
  • the motorcyclist moves from left to right in the image section shown.
  • the background including street 3, is at rest.
  • the figure shows the selection of "interesting" image areas, which are shown as white blocks 4 are shown.
  • the white blocks 4 are assigned a movement model that describes the movement of the motorcyclist 2.
  • the image background is stationary and is assigned to another corresponding movement model.
  • FIG. 2 schematically shows the sequence of the motion estimation method according to the invention. Starting from a previous video image 6, a current video image 7 and a threshold value 8, the image areas of interest for determining the parameter sets are determined in a first step 9 using the method described above.
  • all these image areas are provided with weighting factors 10 and then further processed in a method step 11, in which the parameters of the motion models are determined according to a selection criterion.
  • the entire image area is then divided into blocks in a step 12 and the displacement vectors corresponding to the individual motion models are calculated for each block.
  • the segmentation of the image area then takes place in FIG. 13, the blocks being assigned to the movement models.
  • the assignments that are used in the weighting 10 for the next pair of images are stored.
  • FIG. 3 shows schematically the structure of a digitally operating display device, which is e.g. can be a television set or a video monitor.
  • the device is supplied with a video signal 20, which is stored and processed in a digital image processing unit 21.
  • the image processing unit has an image memory 22, a processor 23 and a program memory 24. If necessary, these elements can also, at least partially, be combined in a discrete component.
  • a program stored in the program memory 24 runs on the processor 23 and controls the image processing according to the invention.
  • An image display unit 25 receives image data 26 processed by the image processing unit 21 and uses this to generate a signal 27 for controlling a cathode ray tube 28, via which the video images are visually output.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Studio Circuits (AREA)

Abstract

Die Erfindung betrifft ein objekt-orientiertes Verfahren zur Interpolation zwischen Videobildern. Es werden dabei zwei oder mehr Bewegungsmodelle verwendet, um die Verschiebung von Bildobjekten zwischen zwei Videobildern zu beschreiben. Die Bewegungsmodelle werden durch Parametersätze bestimmt, aus welchen sich Verschiebungsvektoren berechnen lassen. Eines der Bewegungsmodelle wird benötigt, um diejenigen Bildteile zu berücksichtigen, die statisch, also unbeweglich sind. Gemäß der Erfindung beschränkt sich das Verfahren bei der Bestimmung der Parametersätze für die Bewegungsmodelle auf 'interessante' Bildbereiche, um Rechenzeit zu sparen. Dabei werden solche Bildteile ausgewählt, in denen sich die beiden Videobilder signifikant voneinander unterscheiden.

Description

Bewegungsschätzung in Videobildern
Die Erfindung betrifft ein Verfahren zur Bewegungsschätzung in Videobilddaten, wobei zunächst ausgehend von einem ersten und einem zweiten Videobild Parametersätze von zwei oder mehr Bewegungsmodellen ermittelt werden und wobei dann den Bewegungsmodellen Bildobjekte zugeordnet werden. Die Erfindung betrifft ferner eine Vorrichtung zur Durchführung des Verfahrens, eine gemäß dem Verfahren arbeitende Vorrichtung zur Darstellung von Videobildern und ein Compute rogrammprodukt zur Bewegungsschätzung.
Fortschritte in der Multimedia-Technik haben zur Entwicklung einer Vielzahl von Videoformaten und Wiedergabestandards geführt. Diese unterscheiden sich unter anderem auch in der Bildrate, also in der Zahl der Einzelbilder pro Zeiteinheit. Soll eine Videosequenz auf einem PC- oder TV -Bildschirm wiedergegeben werden, so ist es erforderlich, eine Anpassung an die Bildrate des Wiedergabegeräts vorzunehmen. Hierfür geeignete Schnittstellen arbeiten mit Kon versions verfahren unterschiedlicher Komplexität. Die einfachste Methode besteht darin, bei der Wiedergabe je nach gewünschter Bildrate Einzelbilder der Videosequenz zu wiederholen oder auszulassen. Bei der Darstellung derartig behandelter Videodaten treten jedoch unerwünschte Artefakte auf. Es kommt je nach dem Verhältnis der zugrundeliegenden Bildraten zu unerwünschten Darstellungsfehlern. Die Wiedergabe erscheint stockend und ungleichmäßig, so daß die in der Videosequenz dargestellten Bewegungen unnatürlich wirken. Aufwendigere Verfahren nehmen eine Interpolation zwischen aufeinanderfolgenden Videobildern vor, wobei ein Algorithmus zur Bewegungsschätzung zum Einsatz kommt, welcher die Verschiebungen einzelner Bildelemente von einem Einzelbild zum nächsten erkennt und daraus Bilddaten erzeugt, die zeitlich zwischen den Einzelbildern der Videosequenz liegen. Die Anwendung derartiger
Verfahren im Bereich der Heim-Endgeräte erfordert, daß die zugrundeliegenden Algorithmen eine qualitativ hochwertige Bildratenkonversion liefern und dabei nur einen geringen Rechenaufwand benötigen, da der Leistungsfähigkeit der digitalen Signalverarbeitungselektronik von Heimgeräten Grenzen gesetzt sind. Verfahren zur Bewegungsschätzung der eingangs genannten Art eignen sich außer für die Bildratenkonversion auch für die Kodierung und Kompression bei der Übertragung von Videodaten sowie für die Tiefeschätzung in der 3D Bilddatenverarbeitung und für Disparitätsschätzungen bei Stereobildern. Ein derartiges Verfahren schlägt die WO 99/16251 vor. Es handelt sich hierbei um ein leistungsfähiges, objektorientiertes Verfahren zur Bewegungsschätzung, bei dem zwei oder mehr Bewegungsmodelle verwendet werden, um die Verschiebung von Bildobjekten zwischen einem aktuellen und einem vorhergehenden Videobild zu beschreiben. Die Bewegungsmodelle werden durch Parametersätze bestimmt, aus welchen sich Verschiebungsvektoren berechnen lassen. Eines der Bewegungsmodelle wird benötigt, um diejenigen Bildteile zu berücksichtigen, die statisch sind. Der zugehörige Verschiebungsvektor ist also der Nullvektor. Die Parametersätze der übrigen Bewegungsmodelle werden ermittelt, indem die Anpassungsfehler der Bewegungsmodelle bei der Beschreibung der Verschiebung der Bildobjekte zwischen aufeinanderfolgenden Videobildern bewertet werden. Für die Interpolation ist es dann erforderlich, die Bilddaten zu segmentieren und dabei einzelnen Bildobjekten geeignete Bewegungsmodelle zuzuordnen. Das Ergebnis der Segmentierung sind separate Objekte, also Bildteile die vom vorhergehenden zum aktuellen Videobild eine ähnliche oder vergleichbare Verschiebung ausführen. Das vorbekannte Verfahren zur Bewegungsschätzung stellt eine leistungsfähige Alternative zu den ansonsten üblichen blockorientierten Verfahren dar, da die Zahl der unabhängig voneinander beweglichen Objekte in normalen Videosequenzen gering ist und deswegen auch nur eine entsprechend kleine Zahl von Bewegungsmodellen verarbeitet werden muß. Daraus resultiert eine geringe Zahl von Rechenoperationen, was das Verfahren auch im Heimbereich universell einsetzbar macht.
Die grundlegende Aufgabe der vorliegenden Erfindung ist es, das vorbekannte Bewegungsschätzungsverfahren weiter zu verbessern und dabei gleichzeitig die Komplexität weiter zu reduzieren.
Ein wichtiger Schritt bei der Bewegungsschätzung ist die Bestimmung der Parametersätze für die Bewegungsmodelle. Bei dem vorbekannten Verfahren sind die Parametersätze zu Vektoren zusammengefaßt. Für jedes Bewegungsmodell wird ein Parametersatz aus einer Menge von Kandidaten vektoren nach einem Auswahlkriterium selektiert. Das Auswahlkriterium besteht dabei in der Bewertung eines Anpassungsfehlers. Dieser wird als Summe von absoluten Differenzen von einzelnen bewegungskompensierten Pixelintensitäten zwischen aktuellem und vorhergehendem Videobild berechnet, wobei zur Kompensation ein Verschiebungsvektor gemäß einem der Kandidatenvektoren verwendet wird. Ein wesentliches Problem ist dabei, daß von vornherein nicht klar ist, welchem Bildbereich welches Bewegungsmodell mit welchem Parametersatz zuzuordnen ist. Das vorbekannte Verfahren geht so vor, daß zunächst das obige Auswahlkriterium mit allen Bewegungsmodellen auf die gleichen Bildbereiche angewandt wird. Es werden dann, ohne daß bereits eine Zuordnung feststeht, die am besten passenden Parametersätze ausgewählt. Gemäß der obigen Aufgabenstellung wird eine weitere
Komplexitätsreduzierung bei einem Bewegungsschätzungsverfahren der eingangs genannten Art dadurch erzielt, daß nur Teile des Bildbereiches bei der Ermittlung der Parametersätze berücksichtigt werden. Ein Problem besteht dabei darin, entsprechende Teile des Bildbereiches in geeigneter Weise auszuwählen, so daß Verschiebungen zwischen den Videobildern möglichst vollständig erfaßt werden. Es werden also erfindungsgemäß nur diejenigen Teile des Bildbereiches für die Ermittlung der Parametersätze berücksichtigt, bei denen sich das erste von dem zweiten Videobild signifikant unterscheidet.
Derartige Unterschiede sind ein deutlicher Hinweis darauf, daß an den entsprechenden Stellen eine Verschiebung vorliegt. Damit können sehr einfach Bildteile für die Ermittlung der Parametersätze ausgewählt werden, ohne daß zunächst genauere
Bewegungsdaten bekannt sein müssen. Zusätzlich wird vermieden, daß bei der Ermittlung der Parametersätze für die Bewegungsmodelle unbewegte Bildteile verarbeitet werden, bei denen eine Bewegungskompensation sinnlos und damit unnötig ist. Die Parameterermittlung muß nämlich nur in den nicht-stationären Bildteilen erfolgen. Dadurch daß das Auswahlkriterium nur auf Teile des Bildbereiches angewandt wird, wird die Zahl der benötigten Rechenoperationen stark reduziert und damit die gesamte Bewegungsschätzung beschleunigt. Aufgrund der Tatsache, daß in typischen Videosequenzen nur einige wenige bewegliche Objekte dargestellt werden, ist es unter normalen Umständen ausreichend, sich auf eine entsprechende Zahl von "interessanten" Punkten im Videobild bei der Ermittlung der Parametersätze zu beschränken.
Zweckmäßigerweise werden die "interessierenden" Bildbereiche ermittelt, indem Abweichungen zwischen den Videobilder blockweise bewertet werden, wobei diejenigen Blöcke für die Ermittlung der Parametersätze berücksichtigt werden, bei denen der Abweichungswert einen vorgegebenen Schwellenwert überschreitet. Der Bildbereich wird also in einzelne Blöcke aufgeteilt, deren Größe so bemessen sein muß, daß die Ermittlung der Parametersätze anhand einzelner Blöcke erfolgen kann. Die Abweichungen zwischen aktuellem und vorhergehendem Videobild können beispielsweise durch Bildung der absoluten Differenzen der Pixelintensitäten jeweils innerhalb der einzelnen Blöcke ermittelt werden. Das Ergebnis ist eine positive Zahl, so daß durch Vergleich mit einem vorgegebenen Schwellenwert auf einfache Weise feststellbar ist, ob in dem zugehörigen Bildbereich Bewegung stattfindet oder nicht. Bei der Ermittlung der Parametersätze beschränkt sich das erfindungsgemäße Verfahren dann auf diejenigen Blöcke, bei denen ein gewisser Unterschied zwischen den beiden Videobildem anhand der Pixelintensitäten erkennbar ist. Bei dieser Vorgehensweise ergibt sich der zusätzliche Vorteil, daß der Schwellenwert nach der Maßgabe bestimmt werden kann, daß die Zahl der für die Ermittlung der Parametersätze berücksichtigten Bildbereiche auf einen vorgebbaren Wert beschränkt ist. Da bei der Bewegungsschätzung das gesamte Verfahren in Echtzeit ablaufen muß, muß sichergestellt sein, daß die Zahl der Rechenoperationen unterhalb eines festgesetzten Maximalwertes bleibt. Es ist somit möglich, bei wiederholter Anwendung des erfindungsgemäßen Verfahrens den Schwellenwert so einzuregeln, daß die Datenverarbeitungszeit unkritisch bleibt.
In der Praxis hat sich gezeigt, daß es vorteilhaft sein kann, diejenigen Teile des Bildbereiches für die Ermittlung der Parametersätze zu berücksichtigen, in denen bei früheren Videodaten einer Sequenz von Videobildem Bewegungen festgestellt wurden. Auf diese Weise ergibt sich eine höhere zeitliche Konsistenz bei der Bewegungskompensation.
Für die Durchführung des erfindungsgemäßen Verfahrens eignet sich eine Vorrichtung zur Bewegungsschätzung in Videobilddaten, mit einem digitalen Bildspeicher, in dem ein erstes und ein zweites Videobild speicherbar sind, und mit Mitteln zur Bestimmung von Parametersätzen von zwei oder mehr Bewegungsmodellen nach einem
Auswahlkriterium. Dabei weist die Vorrichtung gemäß der Erfindung Mittel zur blockweisen Bewertung der Abweichungen zwischen aktuellem und vorhergehendem Videobild und zur Selektion derjenigen Blöcke zur Anwendung des Auswahlkriteriums auf, bei denen der Abweichungswert einen vorgebbaren Schwellenwert überschreitet. Derartige Vorrichtungen kommen beispielsweise als Teilkomponenten in Femseh- und Videogeräten zum Einsatz. Der digitale Bildspeicher der erfindungsgemäßen Vorrichtung muß dabei nicht notwendigerweise eine ausreichende Kapazität haben, um das erste und das zweite Videobild gleichzeitig aufzunehmen. Die Speicherung der jeweiligen Bilder nacheinander reicht für das erfindungs gemäße Verfahren aus. Vorrichtungen zur Darstellung von Videobildem, wie beispielsweise Fernsehgeräte, Monitore usw., mit einem digitalen Bildspeicher, in dem Videobilddaten speicherbar sind, mit elektronischen Mitteln zur Verarbeitung der in dem Bildspeicher gespeicherten Bilddaten und zur Darstellung von Videobildem auf einer Anzeigevorrichtung, wobei die Mittel zur Verarbeitung der Bilddaten Mittel zur Bestimmung von Parametersätzen von zwei oder mehr Bewegungsmodellen nach einem Auswahlkriterium aufweisen, können vorteilhafterweise von dem erfindungsgemäßen Verfahren profitieren, wenn die Mittel zur Verarbeitung der Bilddaten femer Mittel zur blockweisen Bewertung der Abweichungen zwischen aktuellem und vorhergehendem Videobild und zur Selektion derjenigen Blöcke zur Anwendung des Auswahlkriteriums aufweisen, bei denen der Abweichungswert einen vorgebbaren Schwellenwert überschreitet. Herkömmliche digital arbeitende Fernsehgeräte und Monitore können auf einfache Weise nach dem erfindungsgemäßen Verfahren betrieben werden, wodurch die Qualität der Bilddarstellung verbessert wird. Anzeigevorrichtungen im obigen Sinne sind dabei zum Beispiel die bei Fernsehgeräten und Monitoren üblichen Kathodenstrahlröhren oder Punktmatrixdisplays. Andere Anzeigevorrichtungen zur visuellen Ausgabe von digitalen Bilddaten sind genauso denkbar.
Gemäß der Erfindung eignet sich zur Interpolation zwischen Paaren von Videobilddatensätzen ein Computerprogrammprodukt, welches als Eingabe ein erstes und ein zweites Videobild erhält, davon ausgehend Parametersätze von zwei oder mehr Bewegungsmodellen berechnet und Bewegungsdaten ausgibt, welche die Verschiebung der Bildobjekte vom vorhergehenden zum aktuellen Bild beschreiben, wobei die Bilddaten der beiden Videobilder miteinander verglichen werden und nur diejenigen Teile des Bildbereiches bei der Berechnung der Parametersätze berücksichtigt werden, in denen signifikante Differenzen zwischen den beiden Videobildem bestehen. Das Computerprogramm kann auf verschiedenen Datenträgem, wie Disketten, CD-ROMs oder ähnlichem, aber auch zur Übertragung über Computernetzwerke (z.B. Internet) bereitgestellt werden.
Im folgenden werden, auch anhand der Figuren, Ausführungsbeispiele der Erfindung erläutert. Es zeigen: Fig. 1 Auswahl von interessanten Bildbereichen;
Fig. 2 Blockdiagramm eines Bewegungsschätzungsverfahrens gemäß der Erfindung.
Fig. 3 Blockdiagramm einer erfindungsgemäßen Vorrichtung zur Darstellung von Videobildem. Bei der Ermittlung der Parametersätze für die Bewegungsmodelle gemäß der
Erfindung wird ein Auswahlkriterium auf ausgewählte Bildbereiche angewandt. Das
Auswahlkriterium besteht dabei zum Beispiel in der Bewertung eines Anpassungsfehlers ε .
Dieser wird als Summe von absoluten Differenzen von einzelnen bewegungskompensierten
Pixelintensitäten zwischen einem aktuellen und einem vorhergehendem Videobild folgendermaßen berechnet: ε( σ,n) = ∑Wo(-r> | F. ( ,n) - F. (* - C0(x,π),n -l) | x I(.n)
Es erfolgt eine Summierung über Bildkoordinaten x , die in einer Menge
I(n) von ausgewählten Bildbereichen enthalten sind. An diesen Bildkoordinaten werden die absoluten Differenzen zwischen den Pixelintensitäten im aktuellen bzw. vorhergehenden Videobild aufsummiert. Fs (x,n) ist dabei die Pixelintensität an der Bildkoordinate x in einem Videobild mit reduziertem Bildraster. Es hat sich nämlich gezeigt, daß bei der Parameterbestimmung die Verwendung eines in der Auflösung reduzierten Bildes (sub- sampled image) völlig ausreichend ist. Dies führt vorteilhafterweise zu einer erheblichen Reduktion des Rechenaufwandes. Durch den fortlaufenden Index n wird die Nummer des
Einzelbildes und damit der Zeitpunkt innerhalb der Videosequenz bezeichnet. C0(x,n) bezeichnet für das Bildpaar n als aktuelles und n -\ als vorhergehendes Videobild den Verschiebungsvektor an der Bildkoordinate x gemäß dem Bewegungsmodell mit dem Index o . W0(x) stellt einen Wichtungsfaktor dar, mit dem berücksichtigt wird, welchem Bewegungsmodell o die Bildkoordinate x bei früheren Bilddaten der Videosequenz zugeordnet wurde. Damit läßt sich eine Verknüpfung zwischen Parameterbestimmung und Bildsegmentierung herstellen, was Vorteile im Hinblick auf die zeitliche Konsistenz der Bewegungsschätzung und die Leistungsfähigkeit des Verfahrens hat.
Mittels des folgenden Bewegungsmodells lassen sich ausgehend von vier Parametern Verschiebungsvektoren berechnen:
( sx (o, ή) + x ■ dx (o, n) C0 (x, ) = sXo,n) + y - d., (o,n)
Es handelt sich hierbei um ein einfaches lineares Modell erster Ordnung, mit dem Translationen und Skalierungen beschreibbar sind. Das Modell wird bestimmt durch den
Parametersatz Pg (n) = sx (o, n), dx (o, n), s (o,n), d (o, n)f . Der Parametersatz wird so bestimmt, daß der obige Anpassungsfehler für das entsprechende Bewegungsmodell o einen minimalen Wert annimmt. Bei dem Bewegungsschätzungsverfahren gemäß der Erfindung kommen stets wenigstens zwei Bewegungsmodelle zum Einsatz, wovon eines immer den Nullvektor als Parametersatz hat, so daß durch dieses Bewegungsmodell mit dem
Verschiebungsvektor C0(x, n) = 0 die stationären Bildbereiche beschrieben werden. Der nächste Schritt bei der Bewegungsschätzung gemäß der Erfindung ist die
Bildsegmentierung, also die Zuordnung von Bildbereichen zu den Bewegungsmodellen. Hierzu wird zunächst der gesamte Bildbereich in Blöcke unterteilt. In der Praxis haben sich quadratische Blöcke aus 8 mal 8 Pixeln bewährt. Für alle Bildkoordinaten innerhalb des
Blocks an der Stelle X gilt dann x e B(X). Für jeden Block wird wiederum ein Anpassungsfehler an ein Bewegungsmodell o berechnet: ε0(X,n) = ∑\ Fs (x + (l - )C0(x,n), n) - Fs (x - aC0 (x, n), n - ϊ) \ x≡B(X )
Der Zeitpunkt, zudem die Segmentierung gültig sein soll, wird durch a festgelegt. Im einfachsten Fall wird dem Block X dasjenige Bewegungsmodell o zugeordnet, für das εo(X,n) minimal ist. Die Zuordnung wird dann in der Segmentierungsmaske M(X,ή) abgelegt.
Gemäß der Erfindung beschränkt sich das Bewegungsschätzungsverfahren bei der Ermittlung der Paramter der Bewegungsmodelle auf "interessante" Bildbereiche, die durch die Menge I(ή) gegeben ist. Vorteilhaft ist es, die Menge I(n) mit den Blöcken zu füllen, die eine schlechte Übereinstimmung mit den korrespondierenden Blöcken in einem vorhergehenden Bild haben. Dies kann beispielsweise nach der folgenden Vorschrift geschehen:
I(n) = {x \ ε0(X,n-l) ≥ τ]
T ist dabei ein vorgebbarer Schwellenwert, der das Maß der Abweichung zwischen zwei aufeinanderfolgenden Bildern festlegt, ab dem eine Parameterermittlung in dem betreffenden Bildbereich vorgenommen wird.
Die Figur 1 zeigt ein Videobild 1, auf dem ein Motorradfahrer 2 gezeigt ist, der eine Straße 3 befährt. Der Motorradfahrer bewegt sich in dem gezeigten Bildausschnitt von links nach rechts. Der Hintergrund, also auch die Straße 3, ist in Ruhe. In der Figur ist die Auswahl von "interessanten" Bildbereichen zu erkennen, die als weiße Blöcke 4 dargestellt sind. Den weißen Blöcken 4 wird ein Bewegungsmodell zugeordnet, das die Bewegung des Motorradfahrers 2 beschreibt. Der Bildhintergrund ist stationär und wird einem anderen entsprechenden Bewegungsmodell zugeordnet. Die Figur 2 zeigt schematisch den Ablauf des Bewegungsschätzungsverfahrens gemäß der Erfindung. Ausgehend von einem vorhergehenden Videobild 6, einem aktuellen Videobild 7 und einem Schwellenwert 8 werden in einem ersten Schritt 9 die für die Bestimmung der Parametersätze interessierenden Bildbereiche nach der oben beschriebenen Methode ermittelt. Für eine Mehrzahl von Bewegungsmodellen werden alle diese Bildbereiche mit Wichtungsfaktoren 10 versehen und dann in einem Verfahrensschritt 11, bei dem die Parameter der Bewegungsmodelle nach einem Auswahlkriterium ermittelt werden, weiterverarbeitet. Ausgehend von den vollständig bestimmten Bewegungsmodellen wird dann in einem Schritt 12 der gesamte Bildbereich in Blöcke unterteilt und für jeden Block werden die den einzelnen Bewegungsmodellen entsprechenden Verschiebungsvektoren berechnet. Danach erfolgt in 13 die Segmentierung des Bildbereiches, wobei die Zuordnung der Blöcke zu den Bewegungsmodellen vorgenommen wird. In einer dabei entstehende Segmentierungsmaske 14 werden die Zuordnungen, die beim nächsten Bildpaar in die Wichtung 10 Eingang finden, gespeichert.
Die Figur 3 zeigt schematisch den Aufbau eines digital arbeitenden Anzeigegerätes, bei dem es sich z.B. um ein Fernsehgerät oder einen Videomonitor handeln kann. Der Vorrichtung wird ein Videosignal 20 zugeführt, das in einer digitalen Bildverarbeitungseinheit 21 gespeichert und aufbereitet wird. Hierzu weist die Bildverarbeitungseinheit einen Bildspeicher 22, einen Prozessor 23 und einen Programmspeicher 24 auf. Gegebenenfalls können diese Elemente auch, zumindest teilweise, in einem diskreten Bauteil vereinigt sein. Auf dem Prozessor 23 läuft ein in dem Programmspeicher 24 abgelegtes Programm ab, durch das die erfindungsgemäße Bildverarbeitung gesteuert wird. Eine Bilddarstellungseinheit 25 erhält von der Bildverarbeitungseinheit 21 aufbereitete Bilddaten 26 und erzeugt daraus ein Signal 27 zur Ansteuerung einer Kathodenstrahlröhre 28, über welche die Videobilder visuell ausgegeben werden.

Claims

PATENTANSPRÜCHE:
1. Verfahren zur Bewegungsschätzung in Videobilddaten, bei dem ausgehend von einem ersten und einem zweiten Videobild (6,7) Parametersätze von zwei oder mehr Bewegungsmodellen ermittelt werden (11) , d a d u r c h g e k e n n z e i c h n e t , d a ß nur diejenigen Teile (4,5) des Bildbereiches (1) für die Ermittlung der Parametersätze berücksichtigt werden (9), in denen sich das erste von dem zweiten Videobild signifikant unterscheidet.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß Abweichungen zwischen aktuellem und vorhergehendem Videobild blockweise bewertet werden, wobei diejenigen Blöcke für die Ermittlung der Parametersätze berücksichtigt werden, bei denen der Abweichungswert einen vorgegebenen Schwellenwert überschreitet.
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß der Schwellenwert nach der Maßgabe bestimmt wird, daß die Zahl der für die Ermittlung der Parametersätze berücksichtigten Bildbereiche auf einen vorgebbaren Wert beschränkt ist.
4. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß diejenigen Teile des Bildbereiches für die Ermittlung der Parametersätze berücksichtigt werden, in denen bei früheren Videobilddaten einer Sequenz von Videobildem Bewegungen festgestellt wurden.
5. Vorrichtung zur Bewegungsschätzung in Videobilddaten, mit einem digitalen Bildspeicher, in dem ein erstes und ein zweites Videobild speicherbar sind, und mit Mitteln zur Bestimmung von Parametersätzen von zwei oder mehr Bewegungsmodellen nach einem Auswahlkriterium, gekennzeichnet durch Mittel zur blockweisen Bewertung der
Abweichungen zwischen aktuellem und vorhergehendem Videobild und zur Selektion derjenigen Blöcke zur Anwendung des Auswahlkriteriums, bei denen der Abweichungswert einen vorgebbaren Schwellenwert überschreitet.
6. Vorrichtung zur Darstellung von Videobildem, insbesondere Fernsehgerät oder Monitor, mit einem digitalen Bildspeicher (22), in dem Videobilddaten speicherbar sind, mit elektronischen Mitteln (21,25) zur Verarbeitung der in dem Bildspeicher gespeicherten Bilddaten und zur Darstellung von Videobildem auf einer Anzeigevorrichtung (28), wobei die Mittel (21) zur Verarbeitung der Bilddaten Mittel zur Bestimmung von Parametersätzen von zwei oder mehr Bewegungsmodellen nach einem Auswahlkriterium aufweisen, dadurch gekennzeichnet, daß die Mittel (21) zur Verarbeitung der Bilddaten femer Mittel zur blockweisen Bewertung der Abweichungen zwischen aktuellem und vorhergehendem Videobild und zur Selektion derjenigen Blöcke zur Anwendung des Auswahlkriteriums aufweisen, bei denen der Abweichungswert einen vorgebbaren Schwellenwert überschreitet.
7. Computerprogrammprodukt zur Bewegungsschätzung in Videobilddaten, welches als Eingabe ein erstes und ein zweites Videobild erhält, davon ausgehend Parametersätze von zwei oder mehr Bewegungsmodellen berechnet und Bewegungsdaten ausgibt, welche die Verschiebung der Bildobjekte vom vorhergehenden zum aktuellen Bild beschreiben, dadurch gekennzeichnet, daß die Bilddaten der beiden Videobilder miteinander verglichen werden und nur diejenigen Teile des Bildbereiches bei der Berechnung der Parametersätze berücksichtigt werden, in denen signifikante Differenzen zwischen den beiden Videobildem bestehen.
EP00987289A 1999-12-17 2000-11-23 Bewegungsschätzung in videobildern Withdrawn EP1153513A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP00987289A EP1153513A1 (de) 1999-12-17 2000-11-23 Bewegungsschätzung in videobildern

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
EP99204369 1999-12-17
EP99204369 1999-12-17
EP00987289A EP1153513A1 (de) 1999-12-17 2000-11-23 Bewegungsschätzung in videobildern
PCT/EP2000/011710 WO2001045422A1 (de) 1999-12-17 2000-11-23 Bewegungsschätzung in videobildern

Publications (1)

Publication Number Publication Date
EP1153513A1 true EP1153513A1 (de) 2001-11-14

Family

ID=8241015

Family Applications (1)

Application Number Title Priority Date Filing Date
EP00987289A Withdrawn EP1153513A1 (de) 1999-12-17 2000-11-23 Bewegungsschätzung in videobildern

Country Status (4)

Country Link
EP (1) EP1153513A1 (de)
JP (1) JP2003517795A (de)
KR (1) KR20010102216A (de)
WO (3) WO2001045422A1 (de)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7447337B2 (en) * 2004-10-25 2008-11-04 Hewlett-Packard Development Company, L.P. Video content understanding through real time video motion analysis
US7818614B2 (en) 2004-10-25 2010-10-19 Hewlett-Packard Development Company, L.P. System and method for reintroducing a processor module to an operating system after lockstep recovery
US7627781B2 (en) 2004-10-25 2009-12-01 Hewlett-Packard Development Company, L.P. System and method for establishing a spare processor for recovering from loss of lockstep in a boot processor
WO2009070508A1 (en) 2007-11-30 2009-06-04 Dolby Laboratories Licensing Corp. Temporally smoothing a motion estimate
AU2008200967B2 (en) * 2008-02-28 2010-04-15 Canon Kabushiki Kaisha Spatio-activity based mode matching
CN110389366B (zh) * 2019-08-05 2021-03-30 中国人民解放军军事科学院国防科技创新研究院 一种基于多源sar卫星的海上目标运动估计方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI842333A7 (fi) * 1984-06-08 1985-12-09 Valtion Teknillinen Tutkimuskeskus Foerfarande foer identifiering av de mest foeraendrade bildomraodena i levande videosignal.
CA2079434A1 (en) * 1991-09-30 1993-03-31 Derek Andrew Motion vector estimation, motion picture encoding and storage
US5259040A (en) * 1991-10-04 1993-11-02 David Sarnoff Research Center, Inc. Method for determining sensor motion and scene structure and image processing system therefor
JPH06209466A (ja) * 1992-10-07 1994-07-26 Canon Inc 動ベクトル検出装置
JP3612360B2 (ja) * 1995-04-10 2005-01-19 株式会社大宇エレクトロニクス 移動物体分割法を用いた動画像の動き推定方法
GB2317525B (en) * 1996-09-20 2000-11-08 Nokia Mobile Phones Ltd A video coding system
US5999651A (en) * 1997-06-06 1999-12-07 Matsushita Electric Industrial Co., Ltd. Apparatus and method for tracking deformable objects
WO1999016251A1 (en) * 1997-09-23 1999-04-01 Koninklijke Philips Electronics N.V. Motion estimation and motion-compensated interpolation

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO0145422A1 *

Also Published As

Publication number Publication date
KR20010102216A (ko) 2001-11-15
WO2001045422A1 (de) 2001-06-21
WO2001045421A1 (de) 2001-06-21
JP2003517795A (ja) 2003-05-27
WO2001045420A1 (de) 2001-06-21

Similar Documents

Publication Publication Date Title
DE69609482T2 (de) Verfahren zur Interpolation von Vollbilden
EP0293644B1 (de) Verfahren zur Ermittlung von Bewegungsvektorfeldern aus digitalen Bildsequenzen
EP0309669B1 (de) Verfahren zur szenenmodellgestützten Bilddatenreduktion für digitale Fernsehsignale
DE69333846T2 (de) Verfahren zur mischung von bildern und vorrichtung hierzu.
DE69027479T2 (de) Bewegungsabhängige Videosignalverarbeitung
DE69328602T2 (de) Schaltungen zur Rauschunterdrückung
DE68928438T2 (de) Verfahren und Vorrichtung zur Erzeugung von beweglichen Bildern
DE69924437T2 (de) Verfahren und Vorrichtung zur Bearbeitung von Videobildern, insbesondere zur Kompensation des Falschkontureffekts
DE60215427T2 (de) Bildverarbeitungsprozessor, Bildverarbeitungsprogramm und Bildverarbeitungsverfahren
DE69518937T2 (de) System und Verfahren zur Darstellung komprimierter Videografikbilder
DE69519398T2 (de) Abtastumsetzung mit Bewegungsadaptation unter Verwendung einer richtungsabhängigen Interpolation der Kanten
DE69333103T2 (de) Vorrichtung zur Umsetzung von digitalen Daten
DE69123359T3 (de) Videobildverarbeitung
DE69510851T2 (de) Verfahren und Gerät zur Reduzierung von Umwandlungsartefakten
DE69318216T2 (de) Verfahren und Vorrichtung zur adaptiven Interpolation
DE60127866T2 (de) Verringern von aura-artigen effekten bei der bewegungskompensierten interpolation
DE69015419T2 (de) Umwandlung eines Videosignals auf einen photographischen Film.
DE69028651T2 (de) Bewegungsabhängige Videosignalverarbeitung
DE602004002935T2 (de) Bearbeitung von Tickern in Videosequenzen
DE69028792T2 (de) Bewegungsabhängige Videosignalverarbeitung
DE3788326T2 (de) Verfahren und Apparat zur Kodierung von Bewegtbildsignalen.
DE69031144T2 (de) Bewegungsabhängige Videosignalverarbeitung
DE69028239T2 (de) Bewegungsabhängige Videosignalverarbeitung
DE69626475T2 (de) Verfahren zur Korrektur von Bewegungsschätzung in Bildern mit periodischen Strukturen
DE60006651T2 (de) Verfahren, vorrichtung und verwendung zur bewertung von kodierten bildern

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE TR

AX Request for extension of the european patent

Free format text: AL;LT;LV;MK;RO;SI

17P Request for examination filed

Effective date: 20011221

RBV Designated contracting states (corrected)

Designated state(s): DE ES FR GB IT

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20060410