DE60032452T2 - Verfahren zur globalen bewegungsschätzung - Google Patents

Verfahren zur globalen bewegungsschätzung Download PDF

Info

Publication number
DE60032452T2
DE60032452T2 DE60032452T DE60032452T DE60032452T2 DE 60032452 T2 DE60032452 T2 DE 60032452T2 DE 60032452 T DE60032452 T DE 60032452T DE 60032452 T DE60032452 T DE 60032452T DE 60032452 T2 DE60032452 T2 DE 60032452T2
Authority
DE
Germany
Prior art keywords
motion estimation
motion
estimation method
cost function
static image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE60032452T
Other languages
English (en)
Other versions
DE60032452D1 (de
Inventor
Michel Bonnet
Cecile Dufour
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Entropic Communications LLC
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=8242119&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=DE60032452(T2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Application granted granted Critical
Publication of DE60032452D1 publication Critical patent/DE60032452D1/de
Publication of DE60032452T2 publication Critical patent/DE60032452T2/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/527Global motion vector estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/537Motion estimation other than block-based
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/537Motion estimation other than block-based
    • H04N19/54Motion estimation other than block-based using feature points or meshes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Description

  • BEREICH DER ERFINDUNG
  • Die vorliegende Erfindung bezieht sich auf ein Verfahren und eine entsprechende Anordnung zur Bewegungsschätzung zwischen einem eintreffenden Frame F(n) einer Sequenz von Frames und einem großen statischen Bild M(n-1), wobei das genannte große statische Bild aus vorhergehenden Frames F(1)...F(n-1) der genannten Sequenz konstruiert wird, wobei das genannte Schätzungsverfahren ein Bewegungsmodell benutzt, basiert auf einer zweidimensionalen schaubildlichen Transformation mit acht Bewegungsparametern und mit einem Optimierungsschritt einer Kostenfunktion.
  • Eine derartige Erfindung kann nützlich sein für Applikationen in Bezug auf den MPEG-4 Standard und insbesondere auf den MPEG-7 Standard, wie Sprite-Erzeugung oder Mosaikerzeugung.
  • HINTERGRUND DER ERFINDUNG
  • Ein Verfahren der oben genannten Art ist aus der Patentanmeldung WO 98/59497 bekannt. Diese Patentanmeldung beschreibt ein Verfahren, das bei Videocodierung zur Erzeugung eines Sprites aus den Video-Objekten in dem Frame einer Videosequenz angewandt wird. Das Verfahren schätzt die globale Bewegung zwischen einem Videoobjekt in einem aktuellen Frame und einem aus Videoobjekten vorhergehender Frames konstruierten Sprite. Insbesondere berechnet das Verfahren zur globalen Bewegungsschätzung Bewegungskoeffizienten einer zweidimensionalen Transformation, welche die Intensitätsfehler zwischen Pixeln in dem Videoobjekt und entsprechenden Pixeln in dem Sprite minimiert. Das Levenberg-Marquardt-Verfahren wird für den Minimierungsschritt angewandt, der aus der Minimierung einer analytischen Funktion in Bezug auf die Intensitätsfehler besteht und es ermöglicht, dass die am meisten repräsentativen Punkte selektiert und die anderen als Ausreißer zurückgewiesen werden.
  • Dennoch hat das oben beschriebene globale Bewegungsschätzungsverfahren mehrere Nachteile. Der Hauptnachteil ist, dass es sehr empfindlich ist für Ausreißer, wobei es sich um Pixel handelt, die der globalen Bewegung nicht folgen und mit Objekten übereinstimmen, die eine eigene Bewegung heben. Dies bedeutet, dass das Verfahren zur globalen Bewegungsschätzung bei einigen bestimmten Videosequenzen manchmal ausfällt. Ein anderer Nachteil ist auch die Unfähigkeit, sich für eine bestimmte Art von Videosequenzen auf effiziente und schnelle Art und Weise anzupassen.
  • ZUSAMMENFASSUNG DER EERFINDUNG
  • Deswegen ist es u. a. eine Aufgabe der vorliegenden Erfindung ein anderes Verfahren zur globalen Bewegungsschätzung vorzuschlagen, das sehr robust für Ausreißer ist, das aber auch eine effiziente und schnelle Anpassung ermöglicht.
  • Dazu weist das Verfahren nach der vorliegenden Erfindung das Kennzeichen auf, dass die genannten acht Bewegungsparameter die Koordinaten der vier Eckpunkte des eintreffenden Frames sind, wobei die genannten Eckpunkte nacheinander in zwei Richtungen verlagert wird um eine Schätzung der Bewegungsparameter zu finden, die mit einer optimalen Kostenfunktion übereinstimmt.
  • Das Bewegungsschätzungsverfahren basiert auf einer geometrischen Annäherung, die nacheinander und wiederholt die acht Bewegungsparameter durch Optimierung einer numerischen Funktion behandelt, während die Annäherung nach dem Stand der Technik auf Basis des Levenberg-Marquardt-Algorithmus, die acht Bewegungsparameter simultan durch Minimierung einer analytischen Funktion behandelt. Dadurch hat es sich herausgestellt, dass das Bewegungsschätzungsverfahren auf Basis der Verlagerung der vier Eckpunkte robuster ist für Ausreißer als das Verfahren, das bisher angewandt wurde.
  • Das Verfahren nach der vorliegenden Erfindung weist auch das Kennzeichen auf, dass das genannte Bewegungsschätzungsverfahren ein erstes iteratives Verfahren umfasst, das bei jeder Iteration den genannten Optimierungsschritt zum Ermitteln einer Schätzung der acht Bewegungsparameter umfasst, wonach ein Schritt zum Berechnen der zwei Bewegungsrichtungen jedes der vier Eckpunkte folgt, und zwar dadurch, dass die letzte Verformung berücksichtigt wird, wobei das genannte iterative Verfahren durchgeführt wird, bis ein definiertes Kriterium erreicht ist.
  • Das iterative Verfahren basiert auf dem Powellschen Algorithmus, der die Konvergenz des genannten Verfahrens verbessert.
  • Das Verfahren nach der vorliegenden Erfindung weist zum Schluss das Kennzeichen auf, dass der genannte Optimierungsschritt ein zweites iteratives Verfahren umfasst, das bei jeder Wiederholung einen parabelförmigen Interpolationsvorgang von Werten der genannten Kostenfunktion durchführt, und zwar zum aufeinander folgend Schätzen der Bewegungsparameter.
  • Die Anwendung eines parabelförmigen Interpolationsvorgangs macht die Konvergenz des Bewegungsschätzungsverfahrens schneller, insbesondere in dem Fall einer großen Bewegung.
  • Dadurch könnte das vorliegende Bewegungsschätzungsverfahren auf vorteilhafte Weise in einem Verfahren zum Erzeugen eines großen statischen Bildes, wie eines Sprites oder eines Mosaiks vorgesehen, und in einer Anordnung zum Erzeugen eines derartigen großen Statischen Bildes implementiert sein.
  • Diese und andere Aspekte der vorliegenden Erfindung dürften aus nachstehend beschriebenen Ausführungsformen hervorgehen.
  • KURZE BESCREIBUNG DER ZEICHNUNG
  • Ausführungsbeispiele der Erfindung sind in der Zeichnung dargestellt und werden im Folgenden näher beschrieben. Es zeigen:
  • 1 eine geometrische Darstellung des Quantisierungsschrittes für die erste Wiederholung,
  • 2 ein Flussdiagramm für den Prozess, angewandt zum Durchführen der automatischen Auslösung der Bewegungsparameter für die zwei ersten Bilder,
  • 3 ein Flussdiagramm für den iterativen Prozess, angewandt zum Optimieren der Bewegungsparameter,
  • 4 eine geometrische Darstellung des Optimierungsschrittes für die Wiederholung (1+1),
  • 5 ein Schema einer Anordnung zur Erzeugung eines großen statischen Bildes.
  • BESCHREIBUNG DER ERFINDUNG
  • Die vorliegende Erfindung schlägt ein neues Verfahren zur globalen Bewegungsschätzung zwischen einem eintreffenden Frame F(n) einer Sequenz von Frames und einem großen statischen Bild M(n-1) vor, das aus vorhergehenden Frames F(1), F(2), ..., F(n-1) der Videosequenz konstruiert wird.
  • Das Prinzip des Bewegungsschätzungsverfahrens ist in 1 dargestellt. Das genannte Bewegungsschätzungsverfahren benutzt ein Bewegungsmodell auf Basis einer zweidimensionalen schaubildlichen Transformation, das auch als das schaubildliche Modell bezeichnet wird, damit die Bewegung zwischen zwei Frames gekennzeichnet wird. Dieses Modell enthält acht Bewegungsparameter und wird vorzugsweise gewählt, weil es mehr Kamerabewegungsmöglichkeiten als die anderen, wie beispielsweise Translation, Zoom oder Rotation, gestattet. Die Verwendung des schaubildlichen Modells gilt in den zwei nachfolgenden Fällen:
    – Alle Bilder teilen sich dieselbe optische Mitte. Dies ist mehr oder weniger der Fall, wenn eine Kamera auf einem Stativ steht; die Drehungsachse kann durch die optische Mitte der Kamera gehen oder nahe daran sein. Wenn die eingefangenen Objekte von der Kamera sehr weit entfernt sind, ist diese Annahme immer wahr.
    – Die eingefangene Szene entspricht einer ebenen Fläche.
  • Eine schaubildliche Projektion transformiert ein Rechteck in ein Viereck. Die zweidimensionalen Koordinaten der vier Eckpunkte des Vierecks definieren die acht Bewegungsparameter a0 bis a7 des schaubildlichen Projektion völlig. Auf diese Weise sind die acht Bewegungsparameter in der vorliegenden Erfindung die zweidimensionalen Koordinaten der vier Eckpunkte, die am Anfang des Prozesses A(0)(a0(0), a1(0)), B(0)(a2(0), a3(0)), C(0)(a4(0), a5(0)) und D(0)(a6(0), a7(0)).
  • Das Bewegungsschätzungsverfahren nach der vorliegenden Erfindung ermöglicht jede beliebige Verlagerung der vier Ecken des ursprünglichen rechteckigen Bildes um zu dem Nächsten zu passen, durch Optimierung einer Kostenfunktion. Ausgehend von einer Ausgangslage für diese vier Eckpunkte, entsprechend einem Ausgangssatz von Bewegungsparametern, versucht das Verfahren die Kostenfunktion zu optimieren durch geringfügige Verlagerungen der vier Eckpunkte. Jeder Eckpunkt wird um einen geringfügigen Betrag um die Ausgangslage herum verlagert um ein örtliches Optimum für die Kostenfunktion zu finden. So wird beispielsweise A(0) in der Richtung d1(0) verlagert, was in diesem speziellen Fall eine horizontale Richtung ist, damit ein Optimum der Kostenfunktion gefunden wird. Danach wird der gefundene Punkt in der Richtung d2(0) verlagert, was in diesem speziellen Fall eine vertikale Richtung ist, bis ein anderes Optimum gefunden wird, was einen neuen Eckpunkt A(1) (a0(1), a1(1)) ergibt. Dieser Vorgang wird danach nachein ander für die anderen Eckpunkte durchgeführt und es wird ein neues viereckiges Bild erhalten.
  • In der bevorzugten Ausführungsform bezieht sich die Kostenfunktion auf die verlagerte Framedifferenz (DFD) ("Displaced Frame Difference"). Die DFD-Messung wird an den Pixeln berechnet, die zu dem Bereich S gehören, der das eintreffende Frame F(n) und das aktuelle große statische Bild M(n-1) überlappt, und zwar wie folgt:
    Figure 00050001
    wobei rp eine Differenz zwischen dem ursprünglichen und dem vorhergesagten Wert eines Pixels p ist, definiert wie folgt: rp = L(x,y) – L(x',y')wobei:
    – L(x,y) der Leuchtdichtewert des Videosignals ist, entsprechend dem Pixel p(x,y) des eintreffenden Frames F(n),
    – L(x',y') der Leuchtdichtewert des Videosignals ist, entsprechend dem Pixel p'(x',y') des großen statischen Bildes M(n-1),
    – (x',y') der Gleitkommawert des Pixels p' ist, der aus dem großes statischen Bild extrahiert werden soll. Der Wert der Leuchtdichte entsprechend diesem Pixel wird in Bezug auf die vier nächsten ganzzahligen Koordinaten in dem Bild berechnet, die (x0,y0), (x1,y1), (x2,y2), (x3,y3) mit betreffenden Leuchtdichtewerten L0, L1, L2 und L3 sind, und zwar unter Anwendung einer bilinearen Interpolation: L(x',y')= L0 + (x' – x0)(L1 – L0) + (y' – y0)(L2 – L0) + (x' – x0)(y' – y0)(L3 – L2 – L1 + L0)
  • Die Optimierung der Kostenfunktion ist in diesem Fall eine Minimierung der verlagerten Framedifferenz. Die DFD wird hier mit den Leuchtdichtewerten der Videosignale berechnet, kann aber auch mit den Farbartwerten der Videosignale berechnet werden.
  • In einer anderen Ausführungsform bezieht sich die Kostenfunktion auf die verlagerte Framekorrelation (DFC) ("Displaced Frame Correaltion"). Die DFC Messung wird an den Pixeln berechnet, die zu dem Bereich S gehören, der das eintreffende Frame F(n) und das aktuelle große statische Bild M(n-1) überlappt, und zwar wie folgt:
    Figure 00050002
  • Die Optimierung der Kostenfunktion ist in diesem Fall eine Maximierung der verlagerten Framecorrelation. Die DFD wird hier mit den Leuchtdichtewerten der Videosignale berechnet, kann aber auch mit den Farbartwerten der Videosignale berechnet werden.
  • Das Bewegungsschätzungsverfahren nach der vorliegenden Erfindung umfasst zwei Hauptschritte:
    – Ein erster Schritt wird durchgeführt zum automatischen Auslösen der Bewegungsparameter für die zwei ersten Teilbilder.
    – Während eines zweiten Schrittes wird jeder Bewegungsparameter unabhängig optimiert, und zwar durch Minimierung einer Kostenfunktion in Bezug auf die DFD. Diese Kostenfunktion cost() ist in der bevorzugten Ausführungsform ein gewichteter mittlerer quadratischer Fehler, wie folgt definiert:
    Figure 00060001
    wobei wp ein Gewichtungskoeffizient ist, der wie folgt definiert wird:
    Figure 00060002
    wobei ρ eine symmetrische, positiv definite Funktion mit einem einzigartigen Maximum bei rp=0 ist.
  • Die ρ Funktion ist derart gewählt, dass der Einfluss von Ausreißern reduziert wird. In der bevorzugten Ausführungsform ist die ρ Funktion eine Lorentz-Funktion, definiert wie folgt:
    Figure 00060003
    wobei σ ein Skalierungsfaktor ist.
  • Andere ρ Funktionen können für die vorliegende Erfindung geeignet sein, wie beispielsweise die German und McClure Funktion, die wie folgt definiert wird:
    Figure 00060004
  • In einer zweiten Ausführungsform ist die Kostenfunktion ein anderer gewichteter mittlerer quadratischer Fehler, wobei eine Information über den Gradienten eines Pixels p (gradp) wie folgt berücksichtigt wird:
    Figure 00070001
    wobei T eine Schwelle nahe Null ist und wobei der Gewichtungskoeffizient wp wie folgt definiert wird:
    Figure 00070002
  • In dieser zweiten Ausführungsform wird der Gewichtungskoeffizient wp des mittleren quadratischen Fehlers normalisiert durch Teilung desselben durch die Summe der Gewichtungen bei jeder Pixelstelle zugunsten kleiner Verlagerungen mit kleinen Fehlern statt großer Verlagerungen mit großen Fehlern. Weiterhin ermöglicht die Einführung einer Gradienteninformation Folgendes:
    – Gebiete, in denen der Gradient höher ist als die Schwelle T werden wichtiger, wobei diese Gebiete für Anpassungszwecke geeigneter sind,
    – Gebiete, in denen der Gradient unterhalb der Schwelle T liegt, werden ausgeschaltet, wodurch es auf diese Weise ermöglicht wird, die Geschwindigkeit der Kostenschätzung zu steigern.
  • 2 ist ein Flussdiagramm, das das Verfahren zeigt, das angewandt wird zum Durchführen der automatischen Auslösung der Bewegungsparameter für die zwei ersten Teilbilder.
  • In der bevorzugten Ausführungsform wird eine Translationstransformation angwandt, die nur zwei Bewegungsparameter braucht, um eine erste Annäherung der Verlagerungen zwischen den zwei ersten Teilbildern der Videosequenz zu erhalten, wobei keine Prädiktion verfügbar ist.
  • Der automatische Auslösungsschritt umfasst:
    – einen Auslösungssubschritt INI) der Pixelposition xx_min entsprechend dem Minimum der Kostenfunktion in einer horizontalen Richtung: xx_min = 0,
    – einen Berechnungssubschritt (CALC) des Wertes j der Pixelposition entsprechend dem Minimum der Kostenfunktion cost(), wenn Translationen bei dem eintreffenden Teilbild in einer horizontalen Richtung angewandt werden, wobei die Amplitude i des Translationsvektors zwischen –5 und +5 Pixeln liegt:
    Figure 00070003
    wobei Argmin die Funktion ist, die die Abszisse entsprechend dem Minimum der Kostenfunktion zurücksendet, wobei hier die Verlagerung zwischen den zwei Teilbildern für die betreffende Richtung gegeben ist,
    – einen Test (Cj) an dem Wert von j,
    – wenn der Test nicht befriedigend ist (j ist nicht gleich Null), einen Subsatz der Neuberechnung (INC) des Wertes xx_min: xx_min = xx_min + j,
    – wenn der Test befriedigend ist (j=0) das Ende des Prozesses (RES), was die schlussendliche Translation xx_min in der horizontalen Richtung ergibt.
  • Derselbe Algorithmus wird in der vertikalen Richtung durchgeführt, damit die durchzuführende Translation yy_min gefunden wird.
  • 3 ist ein Flussdiagramm, das den iterativen Prozess zeigt, der durchgeführt wird zum Optimieren der Bewegungsparameter. Dieses Verfahren basiert auf dr Konvergenzmethode von Powell.
  • Der Satz von acht Parametern entsprechend den Koordinaten der vier Eckpunkte, wird ausgelöst für Werte, gegeben durch die Prädiktion der globalen Bewegung, in ak(0) mit 0 ≤ k ≤ 7.
  • Der Schritt der Optimierung der Bewegungsparameter umfasst:
    – einen Initialisierungssubschritt (INIk1) von k und von einem Zähler 1: k = 1 = 0,
    – einen Test (Ck) an dem Wert von k,
    – wenn der Wert von k zweifellos niedriger ist als 8(y), einen Berechnungssubschritt (PI) des Wertes des Bewegungsparameters ak(1+1), der einem Minimum der Kostenfunktion cost() entspricht:
    Figure 00080001
    wonach ein Inkrementierungssubschritt um Eins von k folgt (INCk),
    – in dem entgegengesetzten Fall (n) einen zweiten Test (Ca) an dem Maximum M für die jeweiligen Werte von k, des absoluten Wertes der Differenz zwischen ak(1+1) und ak(1):
    Figure 00080002

    – wenn der Wert von M kleiner ist als eine Schwelle (y), das Ende des Prozesses (RESa), was die Werte von ak(1+1) ergibt,
    – in dem entgegengesetzten Fall (n), einen Subschritt zur Berechnung neuer Richtungen der Minimierung (DIR), wonach ein Inkrementierungssubschritt um Eins von 1 (INCI) und ein Neuinitialisierungssubschritt von k (INIk) folgen.
  • Der Berechnungssubschritt (PI) des Wertes ak(1+1) wird unter Anwendung parabelförmigen Interpolationen durchgeführt. Eine erste parabelförmige Interpolation wird an den Werten der Kostenfunktion durchgeführt, entsprechend drei aufeinander folgenden Pixeln. Danach wird eine neue parabelförmige Interpolation an den drei Pixeln durchgeführt, die dem Minimum der vorher gefundenen Parabel am nächsten liegen. Der Prozess endet, wenn das Minimum der Parabel in dem Fenster enthalten ist, das durch die drei untersuchten Pixeln definiert wird. Ein derartiges Berechnungsverfahren steigert die Konvergenz des Optimierungsschrittes. Wenn ein parabelförmige Interpolationsvorgang nicht möglich ist, (das ist, wenn die Parabel ein Maximum statt eines Minimums hat), wird die Berechnung des Wertes von ak(1+1) unter Anwendung eines Gradientenabstiegs durchgeführt, der aus aufeinander folgenden Vergleiche von Werten der Kostenfunktion aufeinander folgender Pixel besteht, bis ein Minimum der genannten Kostenfunktion erreicht ist.
  • Wenn 1 = 0 ist, sind die Richtungen, denen die acht Parameter zur Minimierung der Kostenfunktion folgen, horizontal für Abszissen oder vertikal für Ordinaten, wie in 1 beschrieben. Wenn 1 ≥ 1 ist, werden die Richtungen, die zur Optimierung befolgt werden, neu betrachtet, was die letzte Information gibt, wie in 4 beschrieben. Die Optimierungsrichtung wird als die Richtung d1(1) definiert, gehend von dem Eckpunkt A(1-1) zu dem Eckpunkt A(1) und ist senkrecht d2(1) usw. für die drei anderen Eckpunkte.
  • Dieses Bewegungsschätzungsverfahren kann bei einer Methode und deren entsprechender Anordnung zum Erzeugen eines großen statischen Bildes M(n), wie eines Sprites oder eines Mosaiks, angewandt werden. Ein derartiges Verfahren ist in 5 beschrieben.
  • Drei Hauptschritte können ein großes statisches Bild M(n) erzeugen. Erstens soll der globale Bewegungsschätzungsschritt ME) nach der vorliegenden Erfindung durchgeführt werden, damit das eintreffende Frame F(n) mit dem großen statischen Bild M(n-1), das bereits aus den vorhergehenden Frames F(1), F(2), ..., F(n-1) zusammengesetzt worden ist, vermischt wird. Der genannte globale Bewegungsschätzungsschritt (ME) ergibt die Bewegungsparameter ak. Das aktuelle Frame wird danach unter Verwendung der Bewegungsparameter kompensiert; dieser zweite Schritt wird auch als Verwerfung ("Warping") (WAR) bezeichnet. Das verworfene aktuelle Frame F(n) wird zum Schluss mit dem großen statischen Bild M(n-1) vermischt (BLE), und zwar zum Bilden eines neuen vergrößerten großen statischen Bildes M(n), was ein panoramisches Bild der Szene ergibt, das in einem Speicher MEM) gespeichert wird, damit es mit dem nächsten eintreffenden Frame F(n+1) vermischt werden kann, usw.

Claims (10)

  1. Verfahren zum Schätzen von Bewegung zwischen einem eintreffenden Frame F(n) einer Folge von Frames und einem großen statischen Bild M(n-1), wobei das genannte große statische Bild ein Sprite oder ein Mosaik ist, konstruiert aus vorhergehenden Frames F(1)...F(n-1) der genannten Folge, wobei das genannte Bewegungsschätzungsverfahren ein Bewegungsmodell benutzt, und zwar auf Basis einer zweidimensionalen schaubildlichen Transformation mit acht Bewegungsparametern und mit einem Optimierungsschritt einer Kostenfunktion, dadurch gekennzeichnet, dass die genannten acht Bewegungsparameter die Koordinaten der vier Eckpunkte des eintreffenden Frames sind, wobei jeder Eckpunkt der genannten Eckpunkte nacheinander und wiederholt in zwei Richtungen verlagert wird um eine Schätzung der Bewegungsparameter zu finden, die mit einer optimalen Kostenfunktion übereinstimmt.
  2. Bewegungsschätzungsverfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Kostenfunktion durch
    Figure 00110001
    definiert wird, wobei rP eine Differenz zwischen ursprünglichen und vorhergesagten Werten eines Pixels p ist und wobei wp ein Gewichtungskoeffizient ist.
  3. Bewegungsschätzungsverfahren nach Anspruch 2, dadurch gekennzeichnet, dass der Gewichtungskoeffizient wp eine Funktion des Reziprokwertes von rp ist und die Ableitung von ρ(rp) ist, wobei ρ eine symmetrische, positiv definite Funktion mit einem einzigartigen Maximum bei rp=0 ist.
  4. Bewegungsschätzungsverfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Kostenfunktion durch
    Figure 00110002
    definiert wird, wobei rp eine Differenz zwischen ursprünglichen und vorhergesagten Wertes eines Pixels p ist, wobei T eine Schwelle ist und wobei wp ein Gewichtungskoeffizient ist.
  5. Bewegungsschätzungsverfahren nach Anspruch 4, dadurch gekennzeichnet, dass der Gewichtungskoeffizient wp durch
    Figure 00120001
    definiert wird, wobei gradp ein Gradient eines Pixels p ist und wobei σ ein Skalierungsfaktor ist.
  6. Bewegungsschätzungsverfahren nach Anspruch 1, dadurch gekennzeichnet, dass das genannte Bewegungsschätzungsverfahren einen Verfahrensschritt der automatischen Auslösung der genannten Bewegungsparameter für die zwei ersten Frames unter Anwendung einer zweidimensionalen Translationstransformation umfasst.
  7. Bewegungsschätzungsverfahren nach Anspruch 1, dadurch gekennzeichnet, dass das genannte Bewegungsschätzungsverfahren ein erstes iteratives Verfahren umfasst, das bei jeder Iteration den genannten Optimierungsschritt zum Ermitteln einer Schätzung der acht Bewegungsparameter umfasst, wonach ein Schritt zum Berechnen der zwei Bewegungsrichtungen jedes der vier Eckpunkte folgt, und zwar dadurch, dass die letzte Verformung berücksichtigt wird, wobei das genannte iterative Verfahren durchgeführt wird, bis ein definiertes Kriterium erreicht ist.
  8. Bewegungsschätzungsverfahren nach Anspruch 7, dadurch gekennzeichnet, dass der genannte Optimierungsschritt ein zweites iteratives Verfahren umfasst, das bei jeder Wiederholung einen parabelförmigen Interpolationsvorgang von Werten der genannten Kostenfunktion durchführt, und zwar zum aufeinander folgend Schätzen der Bewegungsparameter.
  9. Verfahren zum Erzeugen eines großen statischen Bildes M(n), wie eines Sprites oder eines Mosaiks, wobei dieses Verfahren ein Verfahren umfasst zum Schätzen einer Bewegung nach einem der Ansprüche 1 bis 8.
  10. Anordnung zum Erzeugen eines großen statischen Bildes M(n), wie eines Sprites oder eines Mosaiks, mit einer Bewegungsschätzungsschaltung, die ein Bewegungsschätzungsverfahren nach einem der Ansprüche 1 bis 8 implementiert.
DE60032452T 1999-09-21 2000-09-11 Verfahren zur globalen bewegungsschätzung Expired - Fee Related DE60032452T2 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP99402310 1999-09-21
EP99402310 1999-09-21
PCT/EP2000/008853 WO2001022733A1 (en) 1999-09-21 2000-09-11 Method of global motion estimation

Publications (2)

Publication Number Publication Date
DE60032452D1 DE60032452D1 (de) 2007-02-01
DE60032452T2 true DE60032452T2 (de) 2007-10-11

Family

ID=8242119

Family Applications (1)

Application Number Title Priority Date Filing Date
DE60032452T Expired - Fee Related DE60032452T2 (de) 1999-09-21 2000-09-11 Verfahren zur globalen bewegungsschätzung

Country Status (8)

Country Link
US (1) US6707854B1 (de)
EP (1) EP1131955B1 (de)
JP (1) JP2003510910A (de)
KR (1) KR100798283B1 (de)
CN (1) CN1164121C (de)
DE (1) DE60032452T2 (de)
ES (1) ES2276696T3 (de)
WO (1) WO2001022733A1 (de)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003024116A1 (en) * 2001-09-12 2003-03-20 Koninklijke Philips Electronics N.V. Motion estimation and/or compensation
US7602848B2 (en) * 2002-03-26 2009-10-13 General Instrument Corporation Methods and apparatus for efficient global motion compensation encoding and associated decoding
US7421129B2 (en) * 2002-09-04 2008-09-02 Microsoft Corporation Image compression and synthesis for video effects
US7408986B2 (en) * 2003-06-13 2008-08-05 Microsoft Corporation Increasing motion smoothness using frame interpolation with motion analysis
US7558320B2 (en) * 2003-06-13 2009-07-07 Microsoft Corporation Quality control in frame interpolation with motion analysis
US7400680B2 (en) * 2003-09-30 2008-07-15 Intel Corporation Rectangular-shape motion search
US7684628B2 (en) * 2004-08-12 2010-03-23 Industrial Technology Research Institute System and method for non-iterative global motion estimation
US20060215036A1 (en) * 2005-03-25 2006-09-28 Multivision Intelligent Surveillance (Hk) Ltd. Method and apparatus for video stabilization
US7193720B2 (en) * 2005-05-17 2007-03-20 Lockheed Martin Coherent Technologies, Inc. Optical vibration imager
IL170320A (en) * 2005-08-17 2010-04-29 Orad Hi Tec Systems Ltd System and method for managing the visual effects insertion in a video stream
US7456760B2 (en) * 2006-09-11 2008-11-25 Apple Inc. Complexity-aware encoding
KR101392732B1 (ko) * 2007-08-20 2014-05-08 삼성전자주식회사 손떨림에 의한 움직임 추정 장치 및 방법, 그를 이용한영상 촬상 장치
US8879631B2 (en) 2007-11-30 2014-11-04 Dolby Laboratories Licensing Corporation Temporally smoothing a motion estimate
CN104680504B (zh) * 2013-11-26 2018-06-08 杭州海康威视数字技术股份有限公司 场景变化检测方法及其装置
KR102559203B1 (ko) * 2018-10-01 2023-07-25 삼성전자주식회사 포즈 정보를 출력하는 방법 및 장치

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4023449C1 (de) * 1990-07-24 1992-01-23 Ant Nachrichtentechnik Gmbh, 7150 Backnang, De
US5592228A (en) * 1993-03-04 1997-01-07 Kabushiki Kaisha Toshiba Video encoder using global motion estimation and polygonal patch motion estimation
US5611000A (en) * 1994-02-22 1997-03-11 Digital Equipment Corporation Spline-based image registration
JP3183155B2 (ja) * 1996-03-18 2001-07-03 株式会社日立製作所 画像復号化装置、及び、画像復号化方法
US6037988A (en) 1996-03-22 2000-03-14 Microsoft Corp Method for generating sprites for object-based coding sytems using masks and rounding average
US6529613B1 (en) * 1996-11-27 2003-03-04 Princeton Video Image, Inc. Motion tracking using image-texture templates
WO1998044739A1 (en) * 1997-03-31 1998-10-08 Sharp Kabushiki Kaisha Mosaic generation and sprite-based image coding with automatic foreground and background separation
KR20010024416A (ko) * 1998-08-05 2001-03-26 요트.게.아. 롤페즈 정적 이미지 발생 방법 및 장치

Also Published As

Publication number Publication date
JP2003510910A (ja) 2003-03-18
CN1322443A (zh) 2001-11-14
KR100798283B1 (ko) 2008-01-28
CN1164121C (zh) 2004-08-25
KR20010080523A (ko) 2001-08-22
US6707854B1 (en) 2004-03-16
EP1131955B1 (de) 2006-12-20
EP1131955A1 (de) 2001-09-12
WO2001022733A1 (en) 2001-03-29
DE60032452D1 (de) 2007-02-01
ES2276696T3 (es) 2007-07-01

Similar Documents

Publication Publication Date Title
DE60032452T2 (de) Verfahren zur globalen bewegungsschätzung
DE69812882T2 (de) Verfahren zur bewegungskompensierten Mehrhalbbildverbesserung von Videostandbildern
DE69735488T2 (de) Verfahren und vorrichtung zum ausrichten von bildern
DE69534399T2 (de) Verfahren und Gerät zur Bestimmung von Merkmalpunkten
DE60209262T2 (de) Verfahren und Vorrichtung zur Bildangleichung
DE69533870T2 (de) Vorrichtung zur Bilddekodierung
DE69722637T2 (de) Bewegungsschätzungssystem und -verfahren für einen videokodierer
DE69434657T2 (de) System und Verfahren zur elektronischen Bildstabilisierung
EP0293644B1 (de) Verfahren zur Ermittlung von Bewegungsvektorfeldern aus digitalen Bildsequenzen
DE602004004379T2 (de) Verfahren und einrichtungen zur codierung und decodierung einer bildsequenz mittels bewegungs-/texturzerlegung und wavelet-codierung
DE69920638T2 (de) Auflösungsverbesserung aus Mehrfach-Bildern einer Szene, die eine Bewegung in nichtganzzahligen Pixelwerten enthält
DE69812800T2 (de) Verfahren und Gerät zur Bildverbesserung
DE112016005905T5 (de) Verfahren und System zum Verschmelzen erfasster Messungen
DE102011056972A1 (de) Vorrichtung und Verfahren zur digitalen Bildstabilisierung
DE3837590A1 (de) Verfahren zum reduzieren der datenrate von digitalen bilddaten
DE69217444T2 (de) Rauschverminderung in bildübertragenen Videosignalen
EP2490448A1 (de) Kodierverfahren und Bildkodiervorrichtung zur Kompression einer Bildsequenz
DE19618984B4 (de) Verfahren zur Bewegungsbewertung in Bilddaten sowie Vorrichtung zur Durchführung dieses Verfahrens
DE102004007637A1 (de) Verfahren zum Erzeugen eines Bildes mit erhöhter Auflösung unter Verwendung einer Mehrzahl von Bildern mit niedriger Auflösung
DE60022018T2 (de) Verfahren und vorichtung zur bewegungsvektorfeldkodierung
DE69818751T2 (de) Dekompression von interpolierten Bildern
DE69630199T2 (de) Verfahren und gerät zur selektiven kompression von video-codec
WO2009082990A1 (de) Verfahren und vorrichtung zur echtzeit-multiview-erzeugung
DE69721979T2 (de) Gradientbasierte bewegungsschätzung
EP1177690B1 (de) Verfahren und anordnungen zur rechnergestützten bewegungskompensation eines digitalisierten bildes sowie computerprogramm-erzeugnisse und computerlesbare speichermedien

Legal Events

Date Code Title Description
8364 No opposition during term of opposition
8327 Change in the person/name/address of the patent owner

Owner name: NXP B.V., EINDHOVEN, NL

8327 Change in the person/name/address of the patent owner

Owner name: TRIDENT MICROSYSTEMS (FAR EAST) LTD., GRAND CA, KY

8328 Change in the person/name/address of the agent

Representative=s name: EPPING HERMANN FISCHER, PATENTANWALTSGESELLSCHAFT

R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee

Ref document number: 1131955

Country of ref document: EP

R082 Change of representative

Ref document number: 1131955

Country of ref document: EP

Representative=s name: EPPING HERMANN FISCHER, PATENTANWALTSGESELLSCH, DE

R081 Change of applicant/patentee

Ref document number: 1131955

Country of ref document: EP

Owner name: ENTROPIC COMMUNICATIONS, INC., US

Free format text: FORMER OWNER: TRIDENT MICROSYSTEMS (FAR EAST) LTD., GRAND CAYMAN, KY

Effective date: 20121023

R082 Change of representative

Ref document number: 1131955

Country of ref document: EP

Representative=s name: EPPING HERMANN FISCHER, PATENTANWALTSGESELLSCH, DE

Effective date: 20121023