DE19644767B4 - Apparatus and method for motion estimation of image objects - Google Patents

Apparatus and method for motion estimation of image objects Download PDF

Info

Publication number
DE19644767B4
DE19644767B4 DE1996144767 DE19644767A DE19644767B4 DE 19644767 B4 DE19644767 B4 DE 19644767B4 DE 1996144767 DE1996144767 DE 1996144767 DE 19644767 A DE19644767 A DE 19644767A DE 19644767 B4 DE19644767 B4 DE 19644767B4
Authority
DE
Germany
Prior art keywords
motion estimation
unit
local
global
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE1996144767
Other languages
German (de)
Other versions
DE19644767A1 (en
Inventor
Kuk-Yeol Yoo
Joo-Hee Moon
Gwang-Hoon Park
Jae-Kyoon Kim
Sang-Hee Lee
Cheol-Soo Park
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SK Hynix Inc
Original Assignee
Hyundai Electronics Industries Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Electronics Industries Co Ltd filed Critical Hyundai Electronics Industries Co Ltd
Publication of DE19644767A1 publication Critical patent/DE19644767A1/en
Application granted granted Critical
Publication of DE19644767B4 publication Critical patent/DE19644767B4/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/543—Motion estimation other than block-based using regions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Vorrichtung zur Bewegungsschätzung von Bildobjekten, mit einer Globalbewegungsschätzeinheit (103) zum Schätzen einer Objektbewegung in einem größeren Gebiet unter Berücksichtigung eines von einer Bildsignal-Eingangseinheit (101) und einer Objekt-Maskensignal-Ausgangseinheit (102) eingegebenen Objektsignals,
einer Lokalgebiet-Auswahleinheit (104) zum Auswählen eines von mehreren kleinen Gebieten, in die das größere Gebiet unterteilt worden ist, unter Berücksichtigung eines von der Objekt-Maskensignal-Ausgangseinheit (102) empfangenen Objektsignals,
einer ersten Lokalbewegungsschätzeinheit (105) zum Schätzen einer Objektbewegung unter Berücksichtigung eines von der Bildsignal-Eingangseinheit (101) und der Globalbewegungsschätzeinheit (103) auf der Grundlage des von der Lokalgebiet-Auswahleinheit (104) ausgewählten kleineren Gebietes eingegebenen Objektsignals,
gekennzeichnet durch
eine zweite Lokalbewegungsschätzeinheit (106) zum Schätzen einer Objektbewegung in dem ausgewählten kleineren Gebiet unter Berücksichtigung einer von der Bildsignal-Eingangseinheit (101) auf der Grundlage des von der Lokalgebiet-Auswahleinheit (104) ausgewählten kleineren Gebietes eingegebenen Objektsignals, wobei die Bewegungsschätzung der zweiten Lokalbewegungsschätzeinheit (106) unabhängig von der Bewegungsschätzung der Globalbewegungsschätzeinheit (103) erfolgt, und
eine Steuereinheit (107) zum Steuern...An apparatus for motion estimation of image objects, comprising: a global motion estimation unit (103) for estimating object movement in a larger area in consideration of an object signal input from an image signal input unit (101) and an object mask signal output unit (102);
a local area selection unit (104) for selecting one of a plurality of small areas into which the larger area has been divided in consideration of an object signal received from the object mask signal output unit (102),
a first local motion estimation unit (105) for estimating object movement in consideration of an object signal input from the image signal input unit (101) and the global motion estimation unit (103) on the basis of the smaller area selected by the local area selection unit (104);
marked by
a second local motion estimation unit (106) for estimating object movement in the selected smaller area considering an object signal input from the image signal input unit (101) based on the smaller area selected by the local area selection unit (104), the motion estimation of the second local motion estimation unit (106) is independent of the motion estimation of the global motion estimation unit (103), and
a control unit (107) for controlling ...

Figure 00000001
Figure 00000001

Description

Die Erfindung betrifft eine Vorrichtung und ein Verfahren zur Bewegungsschätzung von Bildobjekten gemäß dem Oberbegriff des Patentanspruchs 1 bzw. 6.The The invention relates to a device and a method for the motion estimation of Picture objects according to the preamble of claim 1 or 6.

Im Allgemeinen wird in der Praxis eine Bewegungsschätzung durchgeführt, um die Leistungsfähigkeit einer Codierung zu verbessern, wenn ein Signal eines bewegten Bildes verarbeitet wird.in the Generally, in practice, a motion estimation is performed to the efficiency improve a coding when a moving picture signal is processed.

Das Bewegungsschätzverfahren zielt darauf ab, in welchem Umfang sich ein Makro-Block oder ein Block eines aktuellen Frames eines Bildsignals gegenüber dem vorangegangenen Frame bewegt hat; das Bewegungsschätzverfahren wird häufig angewandt, wenn Signale zwischen den Frames verarbeitet werden.The Motion estimation method aims to determine to what extent a macro-block or a Block of a current frame of an image signal relative to the moved previous frame; the motion estimation method becomes common applied when signals are processed between frames.

Die Bewegungsschätzung kann durch eine Vorhersage bzw. Prädiktion oder eine Bewertung der Art und des Umfanges bzw. des Ausmaßes einer Bewegung eines Objektes einschließen, d. h. ausgehend von einem gegenwärtigen Bild werden die Veränderungen zum nächsten Bild aufgrund einer Bewegungsschätzung bzw. einer Bewegungs-Vorhersage oder Bewegungs-Prädiktion innerhalb eines gegenwärtigen Bildes auf Sender- und/oder auf Empfängerseite vorausberechnet, und nur die Abweichungen von der realen Veränderung zur vorausberechneten Veränderung werden über den Daten-Kanal übertragen. Entscheidend ist dabei die Wirksamkeit bzw. das Zutreffen der abgeschätzten bzw. vorausberechneten Veränderungen aufgrund der Bewegung des Bildobjektes.The motion estimation can by a prediction or a prediction or a rating the nature and extent or extent of movement of an object lock in, d. H. starting from a current one Picture will be the changes to the next Picture based on a motion estimation or a motion prediction or motion prediction within a current one Picture on sender and / or on the receiver side precalculated, and only the deviations from the real change to the predicted change be over transmit the data channel. Decisive here is the effectiveness or the application of the estimated or precalculated changes due to the movement of the image object.

Im Allgemeinen werden in der Praxis für das Bewegungsschätzverfahren ein Sechs-Parameter-Bewegungsschätzmodell, ein Vier-Parameter-Bewegungsschätzmodell, ein Zwei-Parameter-Bewegungsschätzmodell usw. eingesetzt.in the Generally, in practice, for the motion estimation method a six-parameter motion estimation model, a four-parameter motion estimation model, a two-parameter motion estimation model etc. used.

Wenn die Bewegung eines Objektes abgeschätzt bzw. bewertet oder vorausgesagt werden soll, werden die verschiedenen oben beschriebenen Modelle ermittelt, basierend auf den Charakteristiken bzw. Eigenschaften des Objektes, wie beispielsweise der Größe, der Bedeutung oder der Einfachheit des Objektes, der Geschwindigkeit einer Bewegungsschätzung, der Wirksamkeit einer Bewegungsschätzung oder anderer Charakteristiken.If the movement of an object estimated or evaluated or predicted The different models described above will be used determined based on the characteristics of the object, such as the size, the meaning or the Simplicity of the object, the speed of a motion estimation, the Effectiveness of a motion estimation or other characteristics.

Im Allgemeinen kann sich im Fall eines größeren Gebietes ein komplizierterer Typ einer Objekt-Bewegung ergeben. Daher wird, wenn eine globale Bewegung in einem größeren Gebiet abgeschätzt werden soll, nur ein kompliziertes Modell eingesetzt werden können, beispielsweise das Sechs-Parameter-Bewegungsschätzmodell. Wenn ein größeres Gebiet in kleine Gebiete unterteilt wird, ist es für die Abschätzung der Bewegung in dem kleinen Gebiet (eine Lokalbewegungsschätzung) möglich, eine Bewegungs-Kompensation durchzuführen und dabei nur ein einfacheres Modell anzuwenden, beispielsweise das Zwei-Parameter-Bewegungsschätzmodell, weil die Bewegungen in den kleinen Gebieten von einfacherer Struktur sind als die Bewegung in dem größeren Gebiet.in the In general, in the case of a larger area, a more complicated Type of object movement result. Therefore, if a global Movement in a larger area estimated should be, only a complicated model can be used, for example the six-parameter motion estimation model. If a larger area is divided into small areas, it is for the estimation of the movement in the small Area (a local movement estimate) possible, perform a motion compensation and only a simpler Model, for example the two-parameter motion estimation model, because the movements in the small areas of simpler structure are considered the movement in the larger area.

Wenn jedoch eine lokal-orientierte Bewegung abgeschätzt wird, ist es unmöglich, eine Bewegungs-Kompensation durchzuführen, was die lokale Bewegungsschätzung anbelangt; aus diesem Grund wurde ein hierarchisches Bwewegungsschätzverfahren in der Industrie eingeführt, das nachfolgend auch als hierarchisches Bewegungsschätzverfahren bezeichnet wird.If However, a locally-oriented move is estimated to be impossible Perform motion compensation, what the local motion estimation As; For this reason, a hierarchical motion estimation method was used introduced in the industry, the following also as a hierarchical motion estimation method referred to as.

Ein hierarchisches Bewegungsschätzverfahren ist in dem Aufsatz "On the Hierarchical Variable Block Size Motion Estimation Technique for Motion Sequence Coding" von Jong Won Kim und Sang Uk Lee, erschienen in Proceedings of SPIE- Vol. 2094, Visual Communications and Image Processing '903, Barry G. Haskell, Hsueh-Ming Hang, Herausgeber, Oktober 1993, Seiten 372–383 beschrieben.One hierarchical motion estimation method is in the essay "On the Hierarchical Variable Block Size Motion Estimation Technique for Motion Sequence Coding "by Jong Won Kim and Sang Uk Lee, published in Proceedings of SPIE Vol. 2094, Visual Communications and Image Processing '903, Barry G. Haskell, Hsueh-Ming Hang, Editor, October 1993, pages 372-383.

Das hierarchische Bewegungsschätzverfahren zielt darauf ab, eine globale Bewegungsschätzung durchzuführen und dann eine lokale Bewegungsschätzung. Dabei wird der Wert der globalen Bewegungsschätzung als ein Anfangswert der lokalen Bewegungsschätzung verwendet.The hierarchical motion estimation methods aims to perform a global motion estimation and then a local motion estimation. The value of the global motion estimation is considered as an initial value of the local motion estimation used.

Beim hierarchischen Bewegungsschätzverfahren kann, wenn die globale Bewegungsschätzung fehlerhaft durchgeführt worden ist, oder wenn ein wesentlicher Unterschied zwischen der globalen Bewegungsschätzung und der lokalen Bewegungsschätzung vorliegt, der Fehlerwert, der von der globalen Bewegungsschätzung erhalten worden ist, auf die lokale Bewegungsschätzung übertragen werden. Da nämlich nach der Sechs-Parameter-Abschätzung, der abgeschätzte Wert der Sechs-Parameter-Abschätzung als Anfangswert für die Zwei-Parameter-Abschätzung verwendet wird, wird der Fehler auf diese übertragen. Außerdem tritt dieser Fehler ebenso in der globalen Bewegungsschätzung auf, weil die lokale Bewegung nicht vollständig berücksichtigt ist.At the hierarchical motion estimation can if the global motion estimation has been carried out incorrectly is, or if there is a material difference between the global motion estimation and the local motion estimation is present, the error value obtained from the global motion estimation has been transferred to the local motion estimation. Because after the six-parameter estimation that estimated Value of the six-parameter estimate as Initial value for the two-parameter estimate is used, the error is transferred to them. In addition, occurs this error as well in the global motion estimation, because the local movement is not fully taken into account.

Um die oben beschriebenen Fehler zu kompensieren, müssen die Fehler bzw. die bei der Globalbewegungsschätzung entstandenen Fehler kompensiert werden, wenn die lokale Bewegung abgeschätzt wird.Around To compensate for the errors described above, the errors or at the global motion estimation incurred errors are compensated when the local movement estimated becomes.

Da jedoch das hierarchische Bewegungsschätzverfahren darauf gerichtet ist, die Größe des Gebietes der globalen Bewegungsschätzung zu definieren, welches größer ist als das Gebiet der lokalen Bewegungsschätzung, und eine größere Bewegung ausdrückt, und das Gebiet, für welches die globale Bewegung abgeschätzt worden ist, im Fall der lokalen Bewegungsschätzung auf der Grundlage der lokalen Schwankungen jedes Gebietes in kleinere Gebiete teilt, ist es unmöglich, durch die Verwendung des Wertes der lokalen Bewegungsschätzung mit ihrem geringeren Bewegungsschätzbereich, die Fehler der globalen Bewegungsschätzung zu kompensieren und die Bewegung eines Objektes genau abzuschätzen.However, since the hierarchical movement estimation method is directed to defining the size of the area of global motion estimation, which is larger than the area of local motion estimation, and expressing a larger motion, and the area for which the global motion has been estimated in the case of local motion estimation By dividing the local fluctuations of each area into smaller areas, it is impossible, by using the value of the local motion estimation with its lower motion estimation area, to compensate for the errors of the global motion estimation and accurately estimate the motion of an object.

Eine Vorrichtung und ein Verfahren gemäß dem Oberbegriff des Patentanspruches 1 bzw. 6 sind aus der US-PS 4 937 666 bekannt. Sie offenbart eine Schaltung zum Durchführen eines "full Search block matching" Algorithmus mit der Genauigkeit von Pixel-Bruchzahlwerten, wobei die Schaltung eine erste Teilschaltung zum Erhalten von Verschiebungsvektoren mit der Genauigkeit von ganzzahligen Pixelwerten und eine zweite Teilschaltung zum Korrigieren der mit der ersten Teilschaltung erhaltenen Verschiebungsvektoren aufweist, wobei die korrigierten Verschiebungsvektoren die Genauigkeit von Pixel-Bruchzahlwerten hat. Bei dieser bekannten Vorrichtung wird ein Pixel eines vorhergehenden Einzelbildes (frame) mit dem Pixel des momentanen Einzelbildes verglichen.An apparatus and a method according to the preamble of claim 1 and 6 are known from U.S. Patent 4,937,666 known. It discloses a circuit for performing a full search block matching algorithm with the accuracy of pixel fraction values, the circuit comprising a first sub-circuit for obtaining displacement vectors with the precision of integer pixel values and a second sub-circuit for correcting the ones obtained with the first sub-circuit Having displacement vectors, the corrected displacement vectors having the accuracy of pixel fractional values. In this known device, a pixel of a previous frame is compared with the pixel of the current frame.

Die Aufgabe der Erfindung besteht darin, das gattungsgemäße Vorrichtungen und das als gattungsgemäße Verfahren weiterzubilden, um die Bewegungsschätzung zu verbessern, insbesondere genauer zu machen.The The object of the invention is the generic devices and that as a generic method in order to improve the motion estimation, in particular to be more precise.

Die Aufgabe wird durch die Merkmale des kennzeichnenden Teiles des Patentanspruches 1 für die Vorrichtung und durch die Merkmale des kennzeichnenden Teiles des Patentanspruches 6 für das Verfahren gelöst.The object is achieved by the features of the characterizing part of claim 1 for the device and by the features of the characterizing part of claim 6 solved for the procedure.

Die Erfindung wird nun anhand der beiliegenden Zeichnungen näher erläutert. Es zeigtThe The invention will now be explained in more detail with reference to the accompanying drawings. It shows

1 ein Blockdiagramm, welches eine Vorrichtung zur Bewegungsschätzung zum Kombinieren eines globalen Bewegungsschätzverfahrens und eines lokalen Bewegungsschätzverfahrens gemäß der vorliegenden Erfindung darstellt, 1 10 is a block diagram illustrating a motion estimation apparatus for combining a global motion estimation method and a local motion estimation method according to the present invention;

2 eine Darstellung eines globalen Bewegungsvektors gemäß der Erfindung und 2 a representation of a global motion vector according to the invention and

3 eine Darstellung eines lokalen Bewegungsvektors gemäß der Erfindung. 3 a representation of a local motion vector according to the invention.

1 zeigt ein Blockdiagramm, welches eine Vorrichtung zur Bewegungsschätzung durch Kombinieren eines Globalbewegungsschätzverfahrens und eines Lokalbewegungsschätzverfahrens gemäß der Erfindung darstellt. 1 FIG. 12 is a block diagram illustrating a motion estimation apparatus by combining a global motion estimation method and a local motion estimation method according to the invention. FIG.

Wie in der 1 gezeigt, ist in der Vorrichtung zur Bewegungsschätzung eine Bildsignal-Eingangseinheit 101 angeschlossen, um ein Bildsignal einzugeben. Eine Objekt-Maskensignal (Gestaltinformation)-Ausgangseinheit 102 ist angeschlossen, um eine Objekt-Maske auszugeben unter Berücksichtigung des durch die Bildsignal-Eingangseinheit 101 eingegebenen Bildsignals. Eine Globalbewegungsschätzeinheit 103 ist angeschlossen, um die Bewegung eines Objektes durch Ausführen des Globalbewegungsschätzverfahrens unter Berücksichtigung des durch die Bildsignal-Eingangseinheit 101 und die Objekt-Maskensignal-Ausgangseinheit 102 eingegebenen Objektsignals abzuschätzen. Eine Lokalgebiet-Auswahleinheit 104 ist angeschlossen, um das Objekt-Maskensignal von der Objekt-Maskensignal-Ausgangseinheit 102 zu empfangen und um ein Gebiet unter den Globalbewegungsschätzgebieten auszuwählen, die zum Abschätzen der lokalen Bewegung geteilt wurden. Eine erste Lokalbewegungsschätzeinheit 105 ist angeschlossen, zum Abschätzen einer Bewegung des Objektes durch Ausführen des Lokalbewegungsschätzverfahrens unter Berücksichtigung des durch die Bildsignal-Eingangseinheit 101 und die Globalbewegungsschätzeinheit 103 eingegebenen Objektsignales basierend auf den gemäß einer Gebietsauswahl der Lokalgebiet-Auswahleinheit 104 ausgewählten Gebieten. Eine zweite Lokalbewegungsschätzeinheit 106 ist angeschlossen, zum unabhängigen Abschätzen der Bewegung eines Objektes durch Ausführen des Lokalbewegungsschätzver fahrens unter Berücksichtigung des durch die Bildsignal-Eingangseinheit 101 eingegebenen Objektsignales basierend auf den gemäß einer Gebietsauswahl der Lokalgebiet-Auswahleinheit 104 ausgewählten Gebieten. Eine Steuereinheit 107 ist angeschlossen, um die Lokalgebiet-Auswahleinheit 104 gemäß den Charakteristiken eines Objektes zu steuern, wie beispielsweise der Größe, der Bedeutung, der Einfachheit, der Geschwindigkeit einer Bewegungsschätzung, der Wirksamkeit einer Bewegungsschätzung oder anderer Charakteristiken, zwischen dem vorangegangenen Objekt und dem aktuellen Objekt, und um den Ausgang der ersten und zweiten Lokalbewegungsschätzeinheiten 105 und 106 zu steuern, um durch Vergleichen der Wirksamkeit der ersten und zweiten Lokalbewegungsschätzeinheiten 105 und 106 eine bessere Bewegungsschätzinformation zu erzielen, die zu übertragen ist.Like in the 1 In the motion estimation apparatus, an image signal input unit is shown 101 connected to input a picture signal. An object mask signal (shape information) output unit 102 is connected to output an object mask in consideration of the image signal input unit 101 input image signal. A global movement estimation unit 103 is connected to the movement of an object by performing the global motion estimation method in consideration of the image signal input unit 101 and the object mask signal output unit 102 to estimate the input object signal. A local area selection unit 104 is connected to the object mask signal from the object mask signal output unit 102 and to select an area among the global motion estimation areas that were shared for estimating the local motion. A first local movement estimation unit 105 is connected to estimate a movement of the object by performing the local motion estimation method in consideration of the image signal input unit 101 and the global movement estimation unit 103 input object signal based on the region selection of the local area selection unit 104 selected areas. A second local movement estimation unit 106 is connected to independently estimate the movement of an object by performing the Lokalbewegungsschätzver procedure taking into account by the image signal input unit 101 input object signal based on the region selection of the local area selection unit 104 selected areas. A control unit 107 is connected to the local area selection unit 104 according to the characteristics of an object, such as the size, meaning, simplicity, speed of motion estimation, effectiveness of motion estimation or other characteristics, between the previous object and the current object, and the output of the first and second local motion estimation units 105 and 106 to control by comparing the effectiveness of the first and second local motion estimation units 105 and 106 to obtain better motion estimation information to be transmitted.

Bei dem oben beschriebenen Aufbau wird ein Bildsignal zur Signalverarbeitung in die Bildsignal-Eingangseinheit 101 eingegeben, und die Objekt-Maskensignal-Ausgangseinheit 102 gibt betreffend des Bildsignals, das von der Bildsignal-Eingangseinheit 101 ausgegeben wird, eine Objekt-Maske aus, nämlich eine Gestalt-Information des Objektes.In the structure described above is an image signal for signal processing in the image signal input unit 101 input, and the object mask signal output unit 102 concerning the image signal received from the image signal input unit 101 is outputted, an object mask, namely, shape information of the object.

Die Globalbewegungsschätzeinheit 103 verarbeitet die Signale, die von der Bildsignal-Eingangseinheit 101 und der Objekt-Maskensignal-Ausgangseinheit 102 eingegeben werden und schätzt durch Anwendung des Globalbewegungsschätzverfahrens.The global movement estimation unit 103 processes the signals received by the image signal input unit 101 and the object mask signal output unit 102 be entered and estimated by applying the global movement estimation method.

Die Globalbewegungsschätzeinheit 103 verwendet das Globalbewegungsschätzverfahren basierend auf dem Sechs-Parameter-Bewegungsschätzmodell. Die folgenden Gleichungen geben dies wieder: gx = a1x + a2y + a3 gy = a4x + a5y + a6 wobei a1 bis a6 die Koeffizienten des Sechs-Parameter Bewegungsschätzmodells bezeichnen, und x und y die Variablen eines räumlichen Bereiches bezeichnen.The global movement estimation unit 103 uses the global motion estimation method based on the six-parameter motion estimation model. The following equations reflect this: G x = a 1 x + a 2 y + a 3 G y = a 4 x + a 5 y + a 6 where a 1 to a 6 denote the coefficients of the six-parameter motion estimation model, and x and y denote the variables of a spatial area.

Beim Abschätzen der Bewegung unter Verwendung des oben beschriebenen Sechs-Parameter-Bewegungsschätzmodells wird eine zweidimensionale gestaltorientierte Abschätzung durchgeführt.At the estimate motion using the six-parameter motion estimation model described above a two-dimensional shape-oriented estimation is performed.

Außerdem empfängt die Lokalgebiet-Auswahleinheit 104 ein Objekt-Maskensignal von der Objekt-Maskensignal-Ausgangseinheit 102 gemäß einem Steuersignal von der Steuereinheit 107 basierend auf den Charakteristiken eines Objektes, wie beispielsweise der Größe, der Bedeutung, der Einfachheit, der Geschwindigkeit einer Bewegungsschätzung, der Wirksamkeit einer Bewegungsschätzung oder anderer Charakteristiken, und wählt ein vorbestimmtes Gebiet unter den geteilten Globalbewegungsschätzgebieten aus, so daß das derart ausgewählte Gebiet für die ersten und zweiten Bewegungschätzeinheiten 105 und 106 verwendet werden kann.In addition, the local area selection unit receives 104 an object mask signal from the object mask signal output unit 102 in accordance with a control signal from the control unit 107 based on the characteristics of an object, such as the size, meaning, simplicity, speed of motion estimation, effectiveness of motion estimation or other characteristics, and selects a predetermined area among the shared global motion estimation areas so that the area thus selected is for the object first and second movement estimation units 105 and 106 can be used.

Außerdem schätzt die erste Bewegungsschätzeinheit 105 eine Bewegung eines Objektes durch Anpassen des lokalen Bewegungsschätzverfahrens unter Berücksichtigung des darin von der Bildsignal-Eingangseinheit 101 eingegebenen Objektsignales und der Globalbewegungssignalsschätzeinheit 103, basierend auf dem Gebiet, welches durch die Lokalgebiet-Auswahleinheit 104 gemäß einem Steuersignal der Steuereinheit 107 ausgewählt wurde.Besides, the first movement estimation unit appreciates 105 moving an object by adjusting the local motion estimation method in consideration of the image signal input unit therein 101 input object signal and the global motion signal estimation unit 103 based on the area passing through the local area selection unit 104 in accordance with a control signal of the control unit 107 was selected.

Da die erste Bewegungsschätzeinheit 105 die auf dem Globalgebiet basierende Lokalbewegung abschätzt, wird das Sechs-Parameter-Bewegungsschätzmodell, welches für die Abschätzung der globalen Bewegung verwendet wird, durch die Parameter 1X = b1 1Y = b2 ergänzt, die für ein einfacheres Modellieren verwendet werden. Damit ergibt sich hx = gx + 1x = a1x + a2y + a3 + b1 hy = gy + 1y = a4x + a5y + a6 + b2 wobei b1 und b2 Bewegungsvektoren der x-Achse und y-Achse bezeichnen, und a3 und a6 die Anfangswerte der Zwei-Parameter basierend auf dem Schätzverfahren bezeichnen, und a3 = b1 und a6 = b2.Because the first movement estimation unit 105 estimating the local motion based on the global area, the six-parameter motion estimation model used for the estimation of the global motion is determined by the parameters 1 X = b 1 1 Y = b 2 added, which are used for easier modeling. This results H x = g x + 1 x = a 1 x + a 2 y + a 3 + b 1 H y = g y + 1 y = a 4 x + a 5 y + a 6 + b 2 where b 1 and b 2 denote motion vectors of the x-axis and y-axis, and a 3 and a 6 denote the initial values of the two-parameters based on the estimation method, and a 3 = b 1 and a 6 = b 2 .

Außerdem wird für den Fall, daß beim Durchführen der hierarchischen Bewegungsschätzung eine Mehrzahl von Gebieten (Objekten) in einem Frame ist, die hierarchische Bewegungsschätzung betreffend jedes Gebietes durchgeführt.In addition, will for the Case that when Carry out the hierarchical motion estimation one Plurality of areas (objects) in a frame is hierarchical motion estimation concerning each area.

Die zweite Lokalbewegungsschätzeinheit 106 schätzt unabhängig eine Bewegung eines Objektes durch Anpassen des Lokalbewegungsschätzverfahrens ab unter Berücksichtigung des darin von der Bildsignal-Eingangseinheit 101 eingegebenen Objektsignales, basierend auf dem Gebiet, welches durch die Lokalgebiet-Auswahleinheit 104 gemäß einem Steuersignal der Steuereinheit 107 ausgewählt wurde.The second local movement estimation unit 106 independently estimates a movement of an object by adjusting the local motion estimation method taking into account the image signal input unit therein 101 input object signal, based on the area, which by the local area selection unit 104 in accordance with a control signal of the control unit 107 was selected.

Die unabhängige zweite Lokalbewegungsschätzeinheit 106 bewertet nur die lokale Bewegungsschätzung ohne Berücksichtigung der globalen Bewegungsschätzung durch Anwendung der zwei Parameter, die eine Bedingung ix = b1 iy = b2 erfüllen.The independent second local movement estimation unit 106 only evaluates the local motion estimation without taking into account the global motion estimation by applying the two parameters, which is a condition i x = b 1 i y = b 2 fulfill.

Da das Bewegungsschätzverfahren, welches das Sechs- oder Zwei-Parameter Bewegungsschätzmodell verwendet, darauf gerichtet ist, das Bewegungsschätzverfahren durch den Einsatz eines zusätzlichen Zwei-Parameter-Bewegungsschätzmodells für die erste und zweite Bewegungsschätzeinheit 105 und 106 anzupassen, ist es möglich, ein Gebiet genauer abzuschätzen, welches eine große Bedeutung besitzt.Since the motion estimation method using the six- or two-parameter motion estimation model is directed to using the motion estimation method by employing an additional two-parameter motion estimation model for the first and second motion estimation units 105 and 106 it is possible to estimate more accurately an area which is of great importance.

Da die vorliegende Erfindung darauf abzielt, die Bewegungsschätzung unter Verwendung des Sechs-Parameter-Bewegungsschätzmodells durchzuführen, ist es daher möglich, die Probleme zu überwinden, die bei der nur ungenau durchführbaren Abschätzung der lokalen Bewegung auftreten, und damit eine genauere Bewegungsschätzung zu erzielen.There the present invention aims to provide the motion estimation Using the six-parameter motion estimation model is it is therefore possible to overcome the problems the only in the imprecise feasible appraisal The local movement occur, and thus a more accurate motion estimation achieve.

Die Steuereinheit 107 steuert die Lokalgebiet-Auswahleinheit 104, so daß ein optimaler Modus der Bewegungsschätzung ausgeführt wird, basierend auf den Charakteristiken eines Objektes, wie beispielsweise der Größe, der Bedeutung, der Einfachheit beziehungsweise der Struktur, der Geschwindigkeit einer Bewegungsschätzung, der Wirksamkeit einer Bewegungsschätzung oder anderer Charakteristiken.The control unit 107 controls the local area selection unit 104 so that an optimal mode of motion estimation is performed based on the characteristics of an object, such as size, meaning, simplicity, or structure, the speed of motion estimation, the effectiveness of motion estimation, or other characteristics.

Im vorliegenden Fall beinhaltet der Modus der Bewegungsschätzung einen globalen Modus der Bewegungsschätzung durch die Globalbewegungsschätzeinheit 103, einen hierarchischen Modus der Bewegungsschätzung durch die Globalbewegungsschätzeinheit 103 und die erste Lokalbewegungsschätzeinheit 105, einen unabhängigen Modus der Lokalbewegungsschätzung durch die zweite Lokalbewegungsschätzeinheit 106 usw. In den Zeichnungen bezeichnet eine Lokalbewegungs-Information einen geschätzten Lokalbewegungs-Parameter.In the present case, the motion estimation mode includes a global mode of motion estimation by the global motion estimator 103 , a hierarchical mode of motion estimation by the global motion estimation unit 103 and the first local motion estimation unit 105 , an independent mode of local motion estimation by the second local motion estimation unit 106 etc. In the drawings, local motion information refers to an estimated local motion parameter.

Zusätzlich wird die Wirksamkeit der ersten und zweiten Bewegungsschätzeinheiten 105 und 106 verglichen, und der Prozeß wird derart gesteuert, daß die Bewegungsschätz-Information übertragen wird, die eine bessere Wirksamkeit aufweist.In addition, the effectiveness of the first and second movement estimation units 105 and 106 and the process is controlled so as to transmit the motion estimation information having better efficiency.

In den Zeichnungen, insbesondere der 1, zeigt eine Steuerleitung von der Steuereinheit 107 an die Objekt-Maskensignal Ausgangseinheit 102 und kennzeichnet bzw. initiiert eine Objekt-Maskensignal-Ausgabe der Objekt-Maskensignal Ausgangseinheit 102, und eine hervortretende bzw. mit größerer Strichbreite gezeichnete Linie kennzeichnet eine Ausgabe-Leitung des Bewegungs-Informations- und Bewegungs-Abschätzungs-Modus als ein Ergebnis der Bewegungsschätzung.In the drawings, in particular the 1 shows a control line from the control unit 107 to the object mask signal output unit 102 and an object mask signal output identifies the object mask signal output unit 102 , and a more prominent line indicates an output line of the motion information and motion estimation mode as a result of the motion estimation.

Zusätzlich steuert die Steuereinheit 107 die Globalbewegungsschätzeinheit 103 abgesehen von der Lokalgebiet-Auswahleinheit 104 zum Auswählen des Bewegungsschätzmodus.In addition, the control unit controls 107 the global movement estimation unit 103 except for the local area selection unit 104 to select the motion estimation mode.

Die 2 ist eine Darstellung eines Globalbewegungsvektors betreffend eine Objekt-Maske einer Mutter, nämlich eine sich bewegende Mutter, und 3 ist eine Darstellung eines Lokalbewegungsvektors, der verschieden ist von dem Globalbewegungsvektor, nämlich eine Bewegung eines Babys.

  • 1) Es soll angenommen werden, daß ein Objekt groß ist, und die Bedeutung davon gering ist; beispielsweise soll angenommen werden, daß eine Mutter sich bewegt, aber ihr Baby sich nicht bewegt. In diesem Fall wird durch die Globalbewegungsschätzeinheit 103 eine Bewegung eines Objektes betreffend das gesamte Gebiet abgeschätzt. Dabei wird die Bewegungsrichtung durch den Pfeil, wie in der 2 dargestellt, angezeigt und kennzeichnet den Globalbewegungsvektor. Da es möglich ist, durch die Verwendung der nur durch die Globalbewegungsschätzeinheit 103 abgeschätzten Bewegungsinformation die einfachere Bewegung genauer abzuschätzen, wird die Bewegungsinformation übertragen, die durch die Globalbewegungsschätzeinheit 103 abgeschätzt wurde.
  • 2) Es soll angenommen werden, daß ein Objekt eine Bedeutung hat betreffend eines einfachen Objektes, oder das Objekt hat eine geringere Bedeutung, bzw. daß ein Objekt gegenüber einem anderen Objekt eine größere oder kleinere Bedeutung hat; beispielsweise wenn die Mutter und ihr Baby sich übereinstimmend bewegen, und die Bewegung des Babys identisch ist mit der Bewegungsrichtung der Mutter – der Fall der in der 3 dargestellten Identität des Bewegungsvektors mit der Globalbewegungsrichtung. In diesem Fall wird die Globalbewegungsschätzung betreffend bzw. unter Verarbeitung der Signale, die aus der Bildsignal-Eingangseinheit 101 und der Objekt-Maskensignal Ausgangseinheit 102 ausgegeben werden, durch die Globalbewegungsschätzeinheit 103 abgeschätzt. Zusätzlich wird durch die Lokalgebiet-Auswahleinheit 104 das Gebiet des Babys ausgewählt, unter Berücksichtigung bzw. unter Verarbeitung der Globalbewegungs-Objektmaske. Wenn der Wert des Steuersignals C1 der Steuereinheit 107 derart eingegeben wird, daß eine Bewegungsschätzung durch die erste Lokalbewegungsschätzeinheit 105 durchgeführt wird, dann schätzt die erste Lokalbewegungsschätzeinheit 105 die Bewegung gemäß einer Steuerung der Lokalgebiet-Auswahleinheit 104 ab, und das Ergebnis der Bewegungsschätzung wird gemäß einer Steuerung der Steuereinheit 107 übertragen. Damit wird in diesem Fall die hierarchische Bewegungsschätzung durchgeführt. Um die nach dem Stand der Technik auftretenden Probleme zu überwinden, werden in der Zwischenzeit, unter Verwendung des Wertes der Globalbewegungs-Abschätzung als Anfangswert für die Durchführung der Lokalbewegungsschätzung, die Wirksamkeiten der ersten und zweiten Lokalbewegungsschätzeinheiten 105 und 106 verglichen, indem beide zusammenwirkend bzw. gleichzeitig betrieben werden. Als Ergebnis wird der Wert der Bewegungsschätzung übertragen, der die bessere Wirksamkeit aufweist.
  • 3) Es soll nun angenommen werden, daß die Bedeutung groß ist bzw. die Bewegungsschätzung schwierig unter Berücksichtigung des komplizierten Objektes; beispielsweise wenn die Mutter und ihr Baby sich beide bewegen, aber die Bewegungsrichtungen unterschiedlich sind, und das Baby einen Gegenstand hält – der Fall des in der 3 dargestellten Unterschiedes zwischen dem Bewegungsvektors und der Globalbewegungsrichtung. In diesem Fall verhindert die Bewegungs-Information die Übertragung des Fehlers, der auf die Globalbewegungsschätzeinheit 103 zurückzuführen ist, indem die zweite Lokalbewegungsschätzeinheit 106 unabhängig von der Globalbewegungsschätzeinheit 103 betrieben wird. Da nämlich der Bewegungsschätzwert des Sechs-Parameter-Modells nicht als Anfangswert für die Bewegungsschätzung des Zwei-Parameter-Modells verwendet wird, wird die Übertragung des Fehlers bzw. eines möglichen Fehlers in diesem Bewegungs-Abschätzungs-Wert des Sechs-Parameter-Modells nicht, bzw. nicht in die zweite Lokalbewegungsschätzeinheit 106 mit ihrem Zwei-Parameter-Modell, übertragen. In diesem Fall gibt die Steuereinheit 107 ein Steuersignal C1 aus, um die zweite Lokalbewegungsschätzein heit 106 zu starten bzw. zur Verarbeitung der Daten auf zufordern. Wenn im Schritt 3 die Steuereinheit 107 das Steuersignal C1 eingibt, werden die erste und zweite Lokalbewegungsschätzeinheit 105 und 106 ausgewählt bzw. gestartet und diejenige der ersten und zweiten Lokalbewegungsschätzeinheit 105 und 106 wird ausgewählt, die eine bessere Wirksamkeit der Abschätzung aufweist.
The 2 is a representation of a global motion vector relating to an object mask of a mother, namely a moving mother, and 3 Figure 12 is an illustration of a local motion vector that is different from the global motion vector, namely, a baby's motion.
  • 1) Assume that an object is large and the meaning of it is small; for example, assume that a mother is moving but her baby is not moving. In this case, the global movement estimation unit 103 estimated a movement of an object with respect to the entire area. The direction of movement is by the arrow, as in the 2 displayed, displayed and marks the global motion vector. Because it is possible by the use of only by the global motion estimation unit 103 estimated motion information to more accurately estimate the easier motion, the motion information transmitted by the global motion estimation unit is transmitted 103 was estimated.
  • 2) Assume that an object has meaning with respect to a simple object, or the object has a lesser meaning, or that an object has greater or lesser importance than another object; for example, when the mother and her baby move in unison, and the baby's movement is identical to the mother's direction of movement - the case of the baby 3 illustrated identity of the motion vector with the global movement direction. In this case, the global motion estimation is related to the processing of the signals coming from the image signal input unit 101 and the object mask signal output unit 102 issued by the global movement estimation unit 103 estimated. In addition, by the local area selection unit 104 the area of the baby is selected, taking into account or processing the global motion object mask. If the value of the control signal C1 of the control unit 107 is input such that a motion estimation by the first local motion estimation unit 105 is performed, then estimates the first local motion estimation unit 105 the movement according to a control of the local area selection unit 104 and the result of the motion estimation is in accordance with a control of the control unit 107 transfer. Thus, in this case, the hierarchical motion estimation is performed. In the meantime, in order to overcome the problems of the prior art, using the value of the global motion estimation as the initial value for performing the local motion estimation, the efficiencies of the first and second local motion estimation units become 105 and 106 compared by operating both together or simultaneously. As a result, the value of the motion estimation which has the better efficacy is transmitted.
  • 3) Suppose now that Be meaning is large or the motion estimation difficult considering the complicated object; for example, when the mother and her baby are both moving, but the directions of movement are different, and the baby holds an object - the case of the 3 illustrated difference between the motion vector and the global motion direction. In this case, the motion information prevents the transmission of the error affecting the global motion estimation unit 103 due to the second local motion estimation unit 106 independent of the global movement estimation unit 103 is operated. Namely, since the motion estimation value of the six-parameter model is not used as the initial value for the motion estimation of the two-parameter model, the transmission of the error or a possible error in this motion estimation value of the six-parameter model does not become, or not in the second local motion estimation unit 106 with its two-parameter model, transmitted. In this case, the control unit gives 107 a control signal C1 off to the second Lokalbewegungsschätzein unit 106 to start or to process the data on request. When in step 3 the control unit 107 inputs the control signal C1, the first and second local motion estimation units become 105 and 106 selected and that of the first and second local motion estimation unit 105 and 106 is selected, which has a better effectiveness of the estimation.

Außerdem zielt die vorliegende Erfindung darauf ab, aus dem Globalbewegungsschätzmodus, dem hierarchischen Bewegungsschätzmodus und dem unabhängigen Lokalbewegungsschätzmodus wahlweise einen Modus auszuwählen gemäß einer Steuerung der Steuereinheit basierend auf der Abschätzgeschwindigkeit der Bewegungsschätzung.It also aims the present invention, from the global motion estimation mode, the hierarchical motion estimation mode and the independent one Local motion estimation mode optionally to select a mode according to a control the control unit based on the estimation speed of the motion estimation.

Wenn eine der Globalbewegungsschätzung, der hierarchischen Bewegungsschätzung und der unabhängigen Lokalbewegungsschätzung ausgewählt wurde, wird diese Abschätzung basierend auf den Charakteristiken eines Objektes ausgeführt, wie beispielsweise der Größe, der Bedeutung, der Einfachheit, der Geschwindigkeit einer Bewegungs-Abschätzung, der Wirksamkeit einer Bewegungsschätzung oder anderer Charakteristiken, oder alle oben genannten Abschätzungen werden gleichermaßen derart ausgeführt, daß die Abschätzung, bzw. die Ergebnisse derjenigen Abschätzung, welche die beste Wirksamkeit aufweist, gemäß der Steuerung der Steuereinheit 107 übertragen wird.When one of the global motion estimation, the hierarchical motion estimation, and the independent local motion estimation has been selected, this estimation is performed based on the characteristics of an object, such as size, meaning, simplicity, speed of motion estimation, motion estimation effectiveness, or others Characteristics, or all of the above-mentioned estimates, are equally performed in such a way that the estimation, or the results of the estimation which has the best effectiveness, according to the control of the control unit 107 is transmitted.

Wie vorstehend beschrieben weist die Vorrichtung und das Verfahren zur Bewegungsschätzung durch Kombinieren eines Globalbewegungsschätzverfahrens und eines Lokalbbewegungsschätzverfahrens gemäß der vorliegenden Erfindung folgende Vorteile auf:

  • – Erstens ist es möglich durch eine effektive Verbindung des Globalbewegungsschätzverfahrens und des Lokalbewegungsschätzverfahrens beim Abschätzen einer Bewegung den Effekt bzw. die Leistungsfähigkeit der Bewegungsschätzung bzw. der Bewegungs-Vorhersage zu erhöhen bzw. zu verbessern, um damit eine qualitative Auflösung bzw. eine bessere Bild-Auflösung und eine höhere Bild-Qualität zu erzielen.
  • – Zweitens ist es möglich, die Bildqualität durch eine effektive Auswahl eines Lokalbewegungsschätzgebietes zu verbessern.
  • – Drittens ist es möglich, eine von mehreren Bewegungsschätzungen, bzw. eines von mehreren Bewegungsschätzverfahren, auszuwählen entsprechend der Charakteristik bzw. der Eigenschaft eines Objektes, wie beispielsweise der Bedeutung, der Geschwindigkeit der Bewegungsschätzung, der Wirksamkeit der Bewegungsschätzung und anderen Charakteristiken.
As described above, the motion estimation apparatus and method by combining a global motion estimation method and a local motion estimation method according to the present invention has the following advantages:
  • Firstly, by effectively combining the global motion estimation method and the local motion estimation method in estimating a motion, it is possible to increase or improve the effect of the motion estimation or the motion prediction, respectively, in order to achieve a qualitative resolution or a better image quality. Resolution and higher image quality.
  • Second, it is possible to improve the image quality by effectively selecting a local motion estimation area.
  • Thirdly, it is possible to select one of several motion estimations, or one of several motion estimation methods, according to the characteristic of an object, such as meaning, motion estimation speed, motion estimation efficiency and other characteristics.

Claims (11)

Vorrichtung zur Bewegungsschätzung von Bildobjekten, mit einer Globalbewegungsschätzeinheit (103) zum Schätzen einer Objektbewegung in einem größeren Gebiet unter Berücksichtigung eines von einer Bildsignal-Eingangseinheit (101) und einer Objekt-Maskensignal-Ausgangseinheit (102) eingegebenen Objektsignals, einer Lokalgebiet-Auswahleinheit (104) zum Auswählen eines von mehreren kleinen Gebieten, in die das größere Gebiet unterteilt worden ist, unter Berücksichtigung eines von der Objekt-Maskensignal-Ausgangseinheit (102) empfangenen Objektsignals, einer ersten Lokalbewegungsschätzeinheit (105) zum Schätzen einer Objektbewegung unter Berücksichtigung eines von der Bildsignal-Eingangseinheit (101) und der Globalbewegungsschätzeinheit (103) auf der Grundlage des von der Lokalgebiet-Auswahleinheit (104) ausgewählten kleineren Gebietes eingegebenen Objektsignals, gekennzeichnet durch eine zweite Lokalbewegungsschätzeinheit (106) zum Schätzen einer Objektbewegung in dem ausgewählten kleineren Gebiet unter Berücksichtigung einer von der Bildsignal-Eingangseinheit (101) auf der Grundlage des von der Lokalgebiet-Auswahleinheit (104) ausgewählten kleineren Gebietes eingegebenen Objektsignals, wobei die Bewegungsschätzung der zweiten Lokalbewegungsschätzeinheit (106) unabhängig von der Bewegungsschätzung der Globalbewegungsschätzeinheit (103) erfolgt, und eine Steuereinheit (107) zum Steuern der Lokalgebiet-Auswahleinheit (104) und der ersten und zweiten Lokalbewegungsschätzeinheit (105 bzw. 106) und Auswählen einer von der ersten oder zweiten Lokalbewegungsschätzeinheit (105 bzw. 106) durchgeführten Bewegungsschätzung zwecks Übertragung der in der ausgewählten Bewegungsschätzung enthaltenen Information.Device for motion estimation of image objects, comprising a global motion estimation unit ( 103 ) for estimating object movement in a larger area in consideration of one of an image signal input unit ( 101 ) and an object mask signal output unit ( 102 ), a local area selection unit ( 104 ) for selecting one of a plurality of small areas into which the larger area has been divided in consideration of one of the object mask signal output unit (Fig. 102 ), a first local motion estimation unit ( 105 for estimating object movement in consideration of one of the image signal input unit (FIG. 101 ) and the global movement estimation unit ( 103 ) based on the local area selection unit ( 104 inputted selected smaller area, characterized by a second local motion estimation unit ( 106 ) for estimating an object movement in the selected smaller area taking into consideration one of the image signal input unit (Fig. 101 ) based on the local area selection unit ( 104 inputted selected smaller region, the motion estimation of the second local motion estimation unit ( 106 ) independent of the motion estimation of the global movement estimation unit ( 103 ), and a control unit ( 107 ) to control the Lokalge area selection unit ( 104 ) and the first and second local motion estimation unit ( 105 respectively. 106 ) and selecting one of the first or second local motion estimation unit ( 105 respectively. 106 ) to transmit the information contained in the selected motion estimate. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Globalbewegungsschätzeinheit (103) eine globale Bewegung durch Ausführen einer Sechs-Parameter-Bewegungsschätzung abschätzt.Apparatus according to claim 1, characterized in that the global motion estimation unit ( 103 ) estimates a global motion by performing a six-parameter motion estimation. Vorrichtung nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die erste und die zweite Lokalbewegungsschätzeinheit (105, 106) eine lokale Bewegung durch Ausführen einer Zwei-Parameter-Bewegungsschätzung abschätzen.Apparatus according to claim 1 or 2, characterized in that the first and the second local movement estimation unit ( 105 . 106 ) estimate a local motion by performing a two-parameter motion estimation. Vorrichtung nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Steuereinheit (107) dafür ausgelegt ist, eine Gebietsauswahl der Lokalgebiet-Auswahleinheit (104) entsprechend den Charakteristiken eines Objektes zu steuern, wie beispielsweise der Größe, der Bedeutung oder der Einfachheit des Objektes, der Geschwindigkeit einer Bewegungsschätzung oder der Wirksamkeit einer Bewegungsschätzung.Device according to one of claims 1 to 3, characterized in that the control unit ( 107 ) is adapted to select a region selection of the local area selection unit ( 104 ) according to the characteristics of an object, such as the size, meaning or simplicity of the object, the speed of a motion estimation, or the effectiveness of a motion estimation. Vorrichtung nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Steuereinheit (107) dafür ausgelegt ist, eine Bewegungsschätzung der Globalbewegungsschätzeinheit (103) gemäß der Gebietsauswahlsteuerung der Lokalgebiet-Auswahleinheit (104) zu steuern.Device according to one of claims 1 to 4, characterized in that the control unit ( 107 ) is designed to provide a motion estimation of the global motion estimation unit ( 103 ) according to the area selection control of the local area selection unit ( 104 ) to control. Verfahren zur Bewegungsschätzung von Bildobjekten, bei dem eine Globalbewegungsschätzeinheit (103) eine Ob jektbewegung in einem größeren Gebiet unter Berücksichtigung eines von einer Bildsignal-Eingangseinheit (101) und einer Objekt-Maskensignal-Ausgangseinheit (102) eingegebenen Objektsignals abschätzt, eine Lokalgebiet-Auswahleinheit (104) eines von mehreren kleinen Gebieten, in die das größere Gebiet unterteilt wird, unter Berücksichtigung eines von der Objekt-Maskensignal-Ausgangseinheit (102) empfangenen Objektsignals auswählt, eine erste Lokalbewegungsschätzeinheit (105) eine Objektbewegung unter Berücksichtigung eines von der Bildsignal-Eingangseinheit (101) und der Globalbewegungsschätzeinheit (103) auf der Grundlage des von der Lokalgebiet-Auswahleinheit (104) ausgewählten kleineren Gebietes eingegebenen Objektsignals abschätzt, dadurch gekennzeichnet, dass eine zweite Lokalbewegungschätzeinheit (106) eine Objektbewegung in dem ausgewählten kleineren Gebiet unter Berücksichtigung einer von der Bildsignal-Eingangseinheit (101) auf der Grundlage des von der Lokalgebiet-Auswahleinheit (104) ausgewählten kleineren Gebietes eingegebenen Objektsignals abschätzt, wobei die Bewegungsschätzung der zweiten Lokalbewegungsschätzeinheit (106) unabhängig von der Bewegungsschätzung der Globalbewegungsschätzeinheit (103) erfolgt, und eine Steuereinheit (107) die Lokalgebiet-Auswahleinheit (104) und die erste und die zweite Lokalbewegungsschätzeinheit (105 bzw. 106) steuert und eine von der ersten oder zweiten Lokalbewegungsschätzeinheit (105 bzw. 106) durchgeführte Bewegungsschätzung zwecks Über tragung der in der entsprechenden Bewegungsschätzung enthaltenen Information auswählt.Method for motion estimation of image objects, in which a global motion estimation unit ( 103 ) an object movement in a larger area taking into account one of an image signal input unit ( 101 ) and an object mask signal output unit ( 102 ) estimated object, a local area selection unit ( 104 ) one of a plurality of small areas into which the larger area is divided, taking into account one of the object mask signal output unit ( 102 ) receives a first local motion estimation unit ( 105 ) object movement taking into account one of the image signal input unit ( 101 ) and the global movement estimation unit ( 103 ) based on the local area selection unit ( 104 estimated object signal inputted to a selected smaller area, characterized in that a second local motion estimation unit ( 106 ) object movement in the selected smaller area taking into account one of the image signal input unit ( 101 ) based on the local area selection unit ( 104 ) is estimated, and the motion estimation of the second local motion estimation unit ( 106 ) independent of the motion estimation of the global movement estimation unit ( 103 ), and a control unit ( 107 ) the local area selection unit ( 104 ) and the first and second local motion estimation units ( 105 respectively. 106 ) and one of the first or second local motion estimation units ( 105 respectively. 106 ) is carried out for the purpose of transmitting the information contained in the corresponding motion estimation. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass entweder eine Globalbewegungsschätzung oder eine hierarchische Bewegungsschätzung oder eine unabhängige Lokalbewewegungsschätzung unter Berücksichtigung eines Objektes eines Eingangsbildsignales durchgeführt wird.Method according to Claim 6, characterized that either a global motion estimate or a hierarchical one motion estimation or an independent one Lokalbewewegungsschätzung considering an object of an input image signal is performed. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass jede Art von Bewegungsschätzung auf der Basis der Charakteristiken eines Objekts ausgewählt wird, wie beispielsweise der Größe des Objektes, der Bedeutung des Objektes, der Einfachheit des Objektes, der Geschwindigkeit der Bewegungsschätzung, oder der Wirksamkeit der Bewegungsschätzung.Method according to claim 7, characterized in that that up any kind of motion estimation the basis of the characteristics of an object is selected such as the size of the object, the meaning of the object, the simplicity of the object, the speed the motion estimation, or the effectiveness of the motion estimation. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass die Globalbewegungsschätzung durchgeführt wird, wenn die Bedeutung des Objektes gering ist.Method according to claim 8, characterized in that that the global motion estimation is carried out if the meaning of the object is low. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass die hierarchische Bewegungsschätzung durchgeführt wird, wenn die Bedeutung des Objektes auf einem mittleren Niveau liegt.Method according to claim 8, characterized in that that the hierarchical motion estimation is performed when the meaning of the object is at an intermediate level. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass die unabhängige Lokalbewegungsschätzung durchgeführt wird, wenn die Bedeutung des Objektes hoch ist.Method according to claim 8, characterized in that that the independent Local motion estimation carried out when the meaning of the object is high.
DE1996144767 1995-10-26 1996-10-28 Apparatus and method for motion estimation of image objects Expired - Lifetime DE19644767B4 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR19950037920 1995-10-26
KR95-37920 1995-10-26

Publications (2)

Publication Number Publication Date
DE19644767A1 DE19644767A1 (en) 1997-04-30
DE19644767B4 true DE19644767B4 (en) 2007-04-05

Family

ID=19431816

Family Applications (1)

Application Number Title Priority Date Filing Date
DE1996144767 Expired - Lifetime DE19644767B4 (en) 1995-10-26 1996-10-28 Apparatus and method for motion estimation of image objects

Country Status (5)

Country Link
JP (1) JPH09168152A (en)
KR (1) KR970025167A (en)
CN (1) CN1160968C (en)
DE (1) DE19644767B4 (en)
FR (1) FR2740584B1 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100562109C (en) * 2004-01-16 2009-11-18 Nxp股份有限公司 Video information is carried out the method for compression/de-compression
KR100610892B1 (en) * 2005-01-18 2006-08-09 엘지전자 주식회사 Image Processing Device and Method for Plasma Display Panel
JP2007142521A (en) * 2005-11-15 2007-06-07 Sharp Corp Apparatus and method for calculating motion vector
WO2017087751A1 (en) * 2015-11-20 2017-05-26 Mediatek Inc. Method and apparatus for global motion compensation in video coding system

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4937666A (en) * 1989-12-04 1990-06-26 Bell Communications Research, Inc. Circuit implementation of block matching algorithm with fractional precision

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5259040A (en) * 1991-10-04 1993-11-02 David Sarnoff Research Center, Inc. Method for determining sensor motion and scene structure and image processing system therefor

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4937666A (en) * 1989-12-04 1990-06-26 Bell Communications Research, Inc. Circuit implementation of block matching algorithm with fractional precision

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Jong Won Kim, Sang Uk Lee: "On the Hierarchical Variable Block Size Motion Estimation Technique for Motion Sequence Coding". Proceedings of SPIE, Volume 2094, Visual Communications and Image Pro- cessing '93, October 1993, pp.372-383 *

Also Published As

Publication number Publication date
CN1156944A (en) 1997-08-13
KR970025167A (en) 1997-05-30
JPH09168152A (en) 1997-06-24
DE19644767A1 (en) 1997-04-30
FR2740584A1 (en) 1997-04-30
CN1160968C (en) 2004-08-04
FR2740584B1 (en) 2000-09-01

Similar Documents

Publication Publication Date Title
EP0368151B1 (en) Method of determining search positions for movement estimation
DE3036770C1 (en) Method for estimating the displacement and / or speed of objects in video scenes
EP0517324B1 (en) Apparatus for controlling the quantifier of a hybrid coder
EP0259562A1 (en) Method for interframe prediction coding with movement compensation
EP1585059A2 (en) Method and apparatus for evaluation of motion vectors allocated to image regions
DE102005046772A1 (en) Iterative method for interpolation of image information values
DE4437385A1 (en) Image correction method and apparatus
DE4444304C2 (en) Method of creating a composite video image
DE112017004424T5 (en) Command value generation device
DE19644767B4 (en) Apparatus and method for motion estimation of image objects
EP0477616B1 (en) Method for estimation of motion in a captured image
DE202019102260U1 (en) Device for creating a neural network
WO2019206776A1 (en) Method and device for determining a network configuration of a neural network
DE3634024A1 (en) METHOD FOR CONVERTING CONTOUR PATTERNS
EP1101196A1 (en) Method and device for estimating motion in a digitized image with pixels
EP1110407B1 (en) Method and array for coding and decoding a digitized image using an overall motion vector
EP1729258A2 (en) Method and device for determining movement vectors
DE4104067C2 (en) Process for improving the quality of motion vectors for digital image transmission
DE4319926C2 (en) Process for controlling a continuous process with an optimization and a control phase
DE10221389A1 (en) Method for determining a pixel value of an image having a pixel, weighting matrix and computing device
DE3903838C2 (en)
DE19509373C1 (en) Object based coding of image sequences
DE102019006642A1 (en) Numerical control
EP1898352B1 (en) Method and device for increasing the resolution of a data sequence
EP0346751B1 (en) Device for the dpcm coding of television signals

Legal Events

Date Code Title Description
8110 Request for examination paragraph 44
8364 No opposition during term of opposition
R082 Change of representative

Representative=s name: ANDRAE WESTENDORP PATENTANWAELTE PARTNERSCHAFT, DE

R071 Expiry of right