DE102008054503A1 - Method for motion estimation at image edges - Google Patents
Method for motion estimation at image edges Download PDFInfo
- Publication number
- DE102008054503A1 DE102008054503A1 DE102008054503A DE102008054503A DE102008054503A1 DE 102008054503 A1 DE102008054503 A1 DE 102008054503A1 DE 102008054503 A DE102008054503 A DE 102008054503A DE 102008054503 A DE102008054503 A DE 102008054503A DE 102008054503 A1 DE102008054503 A1 DE 102008054503A1
- Authority
- DE
- Germany
- Prior art keywords
- image
- edge
- image block
- vector
- vector component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 230000033001 locomotion Effects 0.000 title claims abstract description 51
- 239000013598 vector Substances 0.000 claims abstract description 235
- 238000012360 testing method Methods 0.000 claims abstract description 90
- 230000002123 temporal effect Effects 0.000 claims description 2
- 230000001419 dependent effect Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 2
- BUHVIAUBTBOHAG-FOYDDCNASA-N (2r,3r,4s,5r)-2-[6-[[2-(3,5-dimethoxyphenyl)-2-(2-methylphenyl)ethyl]amino]purin-9-yl]-5-(hydroxymethyl)oxolane-3,4-diol Chemical compound COC1=CC(OC)=CC(C(CNC=2C=3N=CN(C=3N=CN=2)[C@H]2[C@@H]([C@H](O)[C@@H](CO)O2)O)C=2C(=CC=CC=2)C)=C1 BUHVIAUBTBOHAG-FOYDDCNASA-N 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Abstract
Beschrieben wird ein Verfahren zum Testen eines Bewegungsvektors zu einem ersten Bildblock (B1(i)) eines ersten Bildes (F(i)) einer Bildfolge, der in einem ersten Randbereich (R1) des ersten Bildes (F(i)) angeordnet ist, wobei der erste Randbereich (R1) sich an einen ersten Rand des Bildes anschließt und wobei der Bewegungsvektor (v1) eine erste senkrecht zu dem ersten Rand verlaufende Vektorkomponente (v1) und eine zweite Vektorkomponente (v1) aufweist, wobei das Verfahren aufweist: Ermitteln eines zweiten Bildblocks (B2(i)) in dem ersten Bild (F(i)), der gegenüber dem ersten Bildblock (B1(i)) in der senkrecht zu dem ersten Rand (R1) verlaufenden Richtung um die erste Vektorkomponente (v1x) in einer Richtung weg von dem ersten Bildrand verschoben ist, wenn die erste Vektorkomponente eine vorgegebene Richtung besitzt; Ermitteln eines dritten Bildblocks (B3(i)) in einem dem ersten Bild (F(i)) zeitlich vorausgehenden (F(i-1)) oder zeitlich nachfolgenden (F(i+1)) Bild, der gegenüber dem zweiten Bildblock um den ersten Bewegungsvektor (v1) verschoben ist; Berechnen eines Abstandsmaßes zwischen dem Inhalt des zweiten und des dritten Bildblocks (B2(i), B3(i)).A method is described for testing a motion vector to a first image block (B1 (i)) of a first image (F (i)) of an image sequence arranged in a first edge region (R1) of the first image (F (i)). wherein the first edge region (R1) adjoins a first edge of the image and wherein the motion vector (v1) comprises a first vector component (v1) perpendicular to the first edge and a second vector component (v1), the method comprising: determining a second image block (B2 (i)) in the first image (F (i)) opposite to the first image block (B1 (i)) in the direction perpendicular to the first edge (R1) about the first vector component (v1x) in FIG a direction away from the first image edge is shifted when the first vector component has a predetermined direction; Determining a third image block (B3 (i)) in a first (F (i)) temporally preceding (F (i-1)) or temporally subsequent (F (i + 1)) image which is opposite to the second image block the first motion vector (v1) is shifted; Calculating a distance measure between the contents of the second and third picture blocks (B2 (i), B3 (i)).
Description
Die vorliegende Erfindung betrifft ein Verfahren zur Bewegungsschätzung an Bildrändern.The The present invention relates to a motion estimation method at picture edges.
Eine Bewegungsschätzung umfasst in der Bildverarbeitung die Ermittlung von Bewegungsinformationen zu einzelnen Bildblöcken zeitlich aufeinanderfolgender Bilder einer Bildfolge. Die Bewegungsinformation zu einem Bildblock eines ersten Bildes gibt an, in welcher Richtung sich der Bildinhalt des Bildblocks zwischen dem ersten Bild und einem zeitlich vorangehenden oder zeitlich nachfolgenden zweiten Bild verschiebt. Diese Bewegungsinformation wird üblicherweise in Form von sogenannten Bewegungsvektoren wiedergegeben. Die durch die Bewegungsschätzung erhaltene Bewegungsinformation kann zu verschiedenen Zwecken genutzt werden, wie z. B. zur Zwischenbildinterpolation, zur Zwischenzeileninterpolation, zur Komprimierung von Bilddaten, usw.A Motion estimation includes image processing Determination of movement information for individual image blocks temporally successive images of a sequence of images. The movement information to an image block of a first image indicates in which direction the image content of the image block between the first image and a time preceding or temporally subsequent second Image shifts. This movement information is usually reproduced in the form of so-called motion vectors. By The motion estimation obtained motion information can be used for various purposes, such. For inter-frame interpolation, for inter-line interpolation, for the compression of image data, etc.
Es gibt Bewegungsschätzverfahren, wie z. B. rekursive Bewegungsschätzverfahren, bei denen den einzelnen Bildblöcken, deren Bewegungsinformation ermittelt werden soll, eine Anzahl Testvektoren oder Kandidatenvektoren zugeordnet werden. Für jeden der Testvektoren, die einem ersten Bildblock zugeordnet sind wird ein Block-Matching-Verfahren durchgeführt, um zu jedem dieser Testvektoren ein Abstandsmaß zu ermitteln. Das Abstandsmaß für einen Testvektor ist ein Maß für die Übereinstimmung bzw. für den Unterschied zwischen dem Bildinhalt des ersten Bildblocks in dem ersten Bild und einem zweiten Bildblock in dem zweiten Bild. Die Position des zweiten Bildblocks ist dabei um den Testvektor gegenüber der Position des ersten Bildblocks verschoben. Als Bewegungsvektor für den ersten Bildblock wird bei einem solchen Verfahren der Testvektor ausgewählt, für den das ”beste” Abstandsmaß ermittelt wurde. Als Testvektoren für den ersten Bildblock werden bei rekursiven Schätzverfahren beispielsweise die Bewegungsvektoren solcher Bildblöcke ausgewählt, die räumlich und/oder zeitlich benachbart zu dem ersten Bildblock angeordnet sind.It gives motion estimation methods, such. B. recursive motion estimation techniques, where the individual image blocks whose motion information is to be determined, a number of test vectors or candidate vectors be assigned. For each of the test vectors, the one associated with the first image block is a block matching process to give a measure of distance to each of these test vectors determine. The distance measure for a test vector is a measure of the agreement or for the difference between the picture content of the first Image blocks in the first image and a second image block in the second picture. The position of the second image block is around the test vector shifted from the position of the first image block. As a motion vector for the first image block is at a such method the test vector is selected for which determines the "best" distance measure has been. As test vectors for the first image block in recursive estimation, for example, the motion vectors such image blocks selected spatially and / or temporally adjacent to the first image block are.
Liegt der erste Bildblock in der Nähe eines Bildrandes, so kann es abhängig von der Orientierung und der Länge des Testvektors Szenarien geben, bei denen der zweite Bildblock außerhalb des Bildes liegt bzw. bei denen der Testvektor über den Bildrand hinauszeigt. Die Ermittlung eines Abstandsmaßes zu dem Testvektor ist in diesem Fall nicht möglich.Lies the first image block near a picture border, so can it depends on the orientation and the length of the test vector give scenarios where the second image block outside of the image or in which the test vector is over pointing out the edge of the picture. The determination of a distance measure to the test vector is not possible in this case.
Die
Bei dem bekannten Verfahren besteht die Gefahr, dass Bildblöcke, die im Randbereich des zweiten Bildes liegen, überproportional bei der Bewegungsschätzung berücksichtigt werden.at the known method involves the danger that picture blocks, which are located in the edge region of the second image, disproportionately be considered in the motion estimation.
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein verbessertes Verfahren für eine Bewegungsschätzung bzw. zum Testen von Bewegungsvektoren für Bildblöcke im Randbereich eines Bildes zur Verfügung zu stellen.Of the The present invention is based on the object, an improved Method for a motion estimation or for Testing motion vectors for image blocks in the To provide border area of an image.
Diese Aufgabe wird durch ein Verfahren nach Anspruch 1 gelöst. Ausgestaltungen und Weiterbildungen sind Gegenstand von Unteransprüchen.These The object is achieved by a method according to claim 1. Embodiments and developments are the subject of dependent claims.
Die Erfindung betrifft ein Verfahren zum Testen eines Bewegungsvektors zu einem ersten Bildblock eines ersten Bildes einer Bildfolge, der in einem ersten Randbereich des Bildes angeordnet ist, wobei der erste Randbereich sich an einen ersten Rand des Bildes anschließt und wobei der Bewegungsvektor eine erste senkrecht zu dem ersten Rand verlaufende Vektorkomponente und eine zweite Vektorkomponente aufweist. Bei dem Verfahren ist vorgesehen: Auswerten der ersten Vektorkomponente des Bewegungsvektors und Ermitteln eines zweiten Bildblocks in dem ersten Bild, der gegenüber dem ersten Bildblock um die erste Vektorkomponente in einer Richtung weg von dem ersten Bildrand verschoben ist, wenn die erste Vektorkomponente eine erste Richtung besitzt; Ermitteln eines dritten Bildblocks in einem dem ersten Bild zeitlich vorausgehenden oder zeitlich nachfolgenden Bild, der gegenüber dem zweiten Bildblock um den ersten Bewegungsvektor verschoben ist; Berechnen eines Abstandsmaßes zwischen dem Inhalt des zweiten und des dritten Bildblocks.The The invention relates to a method for testing a motion vector to a first image block of a first image of a sequence of images, the is arranged in a first edge region of the image, wherein the first edge region adjoins a first edge of the image and wherein the motion vector is a first perpendicular to the first Edge extending vector component and a second vector component having. In the method is provided: evaluation of the first Vector component of the motion vector and determining a second Picture block in the first picture, opposite to the first one Image block around the first vector component in a direction away from the first image edge is shifted when the first vector component has a first direction; Determine a third image block in a temporally preceding or later in the first image Image opposite the second image block around the first Movement vector is moved; Calculating a distance measure between the contents of the second and third image blocks.
Die Ermittlung des zweiten Bildblocks, der in dem ersten Bild liegt und der gegenüber dem ersten Bildblock verschoben ist, und das Durchführen eines Bildvergleichs zwischen dem zweiten Bildblock und dem dritten Bildblock, der in dem zweiten Bild liegt und der gegenüber dem zweiten Bildblock um den Testvektor versetzt angeordnet ist, erfolgt lediglich abhängig von der Richtung der ersten Vektorkomponente, nicht jedoch abhängig von der Länge dieser ersten Vektorkomponente.The Determining the second image block that lies in the first image and which is shifted from the first image block, and performing an image comparison between the second Image block and the third image block, which lies in the second image and which is offset from the second image block by the test vector is arranged, takes place only depending on the direction the first vector component, but not dependent on the length of this first vector component.
Das zweite Bild kann zeitlich vor oder zeitlich nach dem ersten Bild liegen. Liegt das zweite Bild zeitlich vor dem ersten Bild, so verläuft die erste Bildrichtung von dem ersten Bildrand weg; und liegt das zweite Bild zeitlich nach dem ersten Bild, so verläuft die erste Bildrichtung zu dem ersten Bildrand hin.The second picture may be timed before or after the first picture lie. If the second picture is temporally before the first picture, then runs the first image direction away from the first image edge; and lies the second Picture temporally after the first picture, so runs the first Image direction towards the first image edge.
Das Bild kann außer dem ersten Randbereich einen zweiten Randbereich besitzen, der sich an einen senkrecht zu dem ers ten Rand verlaufenden zweiten Rand anschließt. Für Bildblöcke, die in diesem zweiten Randbereich liegen, wird die zweite Vektorkomponente des Testvektors ausgewertet.The Image can have a second border area in addition to the first border area own, which extend to a perpendicular to the ers th edge second edge connects. For image blocks, which lie in this second edge region becomes the second vector component evaluated the test vector.
Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend anhand von Figuren näher erläutert. Die Figuren dienen zur Erläuterung des Grundprinzips der Erfindung, so dass in den Figuren lediglich die zum Verständnis dieses Grundprinzips notwendigen Aspekte dargestellt sind. Die Figuren sind notwendigerweise maßstabsgerecht. In den Figuren bezeichnen, sofern nicht anders angegeben, gleiche Bezugszeichen gleiche Aspekte mit gleicher Bedeutung.embodiments The present invention will be described below with reference to FIGS explained in more detail. The figures are for explanation the basic principle of the invention, so that in the figures only the aspects necessary for understanding this basic principle are shown. The figures are necessarily to scale. In the figures, unless stated otherwise, denote the same Reference numerals same aspects with the same meaning.
Die Positionen der einzelnen Bildblöcke innerhalb des Bildes F(i) sind durch erste und zweite Koordinaten, die nachfolgend auch als horizontale und vertikale Koordinaten bzw. x- und y-Koordinaten bezeichnet werden, bestimmt. Zu Zwecken der Erläuterung sei angenommen, dass die x-Koordinaten in den einzelnen Bildern von links nach rechts und dass die y-Koordinaten von oben nach unten zunehmen, der Ursprung dieses Koordinatensystems liegt also in der linken oberen Ecke der einzelnen Bilder.The Positions of the individual image blocks within the image F (i) are defined by first and second coordinates, which also follow referred to as horizontal and vertical coordinates and x and y coordinates be determined. For the sake of explanation, it is assumed that the x-coordinates in each picture are from left to right and that the y-coordinates increase from top to bottom, the origin This coordinate system is therefore in the upper left corner of the individual pictures.
B1'(i)
bezeichnet in
Die
Position des zweiten Bildblocks B2'(i – 1) befindet sich
dabei am Anfangspunkt bzw. Fußpunkt des auf beide Bilder
projizierten Bewegungsvektors v1, und der erste Bildblock B1'(i)
befindet sich am Endpunkt bzw. der Spitze des auf beide Bilder projizierten
Bewegungsvektor v1. Wie in
Um
einen Testvektor v1 zu einem Bildblock des Bildes F(i) zu testen,
kann der Bildinhalt dieses Bildblocks auch mit einem Bildblock des
zeitlich nachfolgenden Bilds F(i + 1) verglichen werden. B3'(i) bezeichnet
in
Bezugnehmend
auf die
Der erste Randbereich RB1 verläuft parallel zu dem ersten Rand R1. Unter einer Breite des Randbereiches RB1 wird nachfolgend die Abmessung des Randbereiches RB1 in einer Richtung senkrecht zu dem ersten Rand R1 – in dem dargestellten Beispiel also in horizontaler Richtung des Bildes F(i) – bezeichnet. Die Breite des Randbereiches RB1 ist fest vorgegeben. Diese Breite des Randbereiches RB1 wird beispielsweise abhängig von der maximal zu erwartenden Länge der zu testenden Testvektoren gewählt. Diese Breite beträgt beispielsweise zwischen 5 und 15 Bildblöcken bzw. zwischen 5·8 und 15·8 Pixeln, wenn die einzelnen Bildblöcke eine Größe von 8×8 Pixeln besitzen.Of the first edge region RB1 runs parallel to the first edge R1. Below a width of the edge area RB1 is hereinafter the Dimension of the edge area RB1 in a direction perpendicular to the first edge R1 - in the example shown in FIG horizontal direction of the image F (i) -. The Width of the edge area RB1 is fixed. This width of the For example, edge area RB1 depends on the maximum expected length of the test vectors to be tested selected. This width is for example between 5 and 15 image blocks or between 5 x 8 and 15 x 8 Pixels when the individual image blocks are one size of 8 × 8 pixels.
B1(i)
bezeichnet in
Das
Testen des ersten Testvektors v1 umfasst die Ermittlung eines Abstandsmaßes
zu diesem ersten Testvektor v1, wobei die Ermittlung eines Abstandsmaßes
einen Vergleich der Bildinhalte von Bildblöcken in dem
ersten Bild F(i) und dem zweiten Bild F(i – 1) umfasst.
Einzelne Verfahrensschritte zur Ermittlung dieser zu vergleichenden
Bildblöcke sind in einem Ablaufdiagramm in
Bei
diesem Verfahren ist in einem ersten Verfahrensschritt
Bezogen auf die bisher verwendete Nomenklatur zeigt die horizontale Vektorkomponente v1x des ersten Testvektors in dem dargestellten Beispiel dann von dem linken vertikalen Rand R1 weg, wenn diese erste Vektorkomponente v1x ein positives Vorzeichen besitzt. Besitzt eine Vektorkomponente eines Testvektors, die senkrecht zu einem gegebenen Rand verläuft, die vorgegebene Richtung, so wird dies nachfolgend als ”Randbereichsverletzung” bezüglich des gegebenen Randes bezeichnet.Based on the nomenclature used hitherto, the horizontal vector component v1 x of the first test vector in the illustrated example then points away from the left vertical edge R1 if this first vector component v1 x has a positive sign. If a vector component of a test vector that is perpendicular to a given edge has the predetermined direction, this will be referred to hereinafter as the "edge region violation" with respect to the given edge.
Ob eine Randbereichsverletzung für einen in einem Randbereich RB1 angeordneten Bildblock B1(i) und einen Testvektor v1 bezüglich eines Randes R1 vorliegt oder nicht, ist dabei von mehreren Faktoren abhängig, nämlich der Richtung des senkrecht zu dem Rand R1 verlaufenden Vektorkomponente v1x des Testvektors v1 und der Schätzrichtung, d. h. der zeitlichen Lage des zweiten Bildes F(i – 1) bezogen auf das erste Bild F(i). Eine Schätzung in Rückwärtsrichtung liegt hierbei vor, wenn das zweite Bild F(i – 1) zeitlich vor dem ersten Bild liegt und eine Schätzung in einer zu der Rückwärtsrichtung entgegengesetzten zweiten Richtung liegt dann vor, wenn das zweite Bild F(i + 1) zeitlich nach dem ersten Bild liegt. Verschiedene Szenarien hierzu werden nachfolgend noch erläutert werden.Whether a boundary violation for an image block B1 (i) arranged in an edge area RB1 and a test vector v1 with respect to an edge R1 or not is dependent on a number of factors, namely the direction of the vector component v1x of the test vector v1 and v3 perpendicular to the edge R1 the estimation direction, ie the temporal position of the second image F (i-1) with respect to the first image F (i). An estimate in the reverse direction is here, if the second Image F (i-1) is ahead of the first image, and an estimate in a second direction opposite to the reverse direction is when the second image F (i + 1) is later in time than the first image. Various scenarios for this will be explained below.
Besitzt
diese senkrecht zu dem ersten Rand R1 verlaufende Vektorkomponente
v1x die vorgegebene Richtung, liegt also
eine Randbereichsverletzung bezüglich des ersten Randes
R1 vor, so wird in einem nächsten Verfahrensschritt
In
einem nächsten Verfahrensschritt
Die horizontale Koordinate x3 des dritten Bildblocks B3(i – 1) entspricht der horizontalen Koordinate des ersten Bildblocks B1(i).The horizontal coordinate x3 of the third image block B3 (i-1) corresponds to the horizontal coordinate of the first image block B1 (i).
In
diesem Zusammenhang sei noch angemerkt, dass der Testvektor v1 in
dem dargestellten Beispiel eine pixelgenaue Auflösung besitzt,
also eine Auflösung, die höher ist als die Auflösung
des Blockrasters. Dementsprechend muss weder der zweite Bildblock
B2(i) noch der dritte Bildblock B3(i – 1) auf dem Blockraster
liegen, das zum besseren Verständnis in
In
einem nächsten Verfahrensschritt
Die Ermittlung des Abstandsmaßes kann auf beliebige, grundsätzlich bekannte Weise erfolgen. Bei einem Beispiel ist vorgesehen, die Differenzen der Pixelwerte solcher Pixel zu bilden, die sich innerhalb der beiden Blöcke B2(i), B3(i – 1) an gleichen Positionen befinden, die Absolutwerte dieser erhaltenen Differenzen zu bilden und die so erhaltenen Absolutwerte aufzuaddieren. Der so erhaltene Wert wird auch als Summe der Absolutwerte des Pixelwertdifferenzen bezeichnet. Anstelle der Absolutwerte können beliebige andere Metriken auf die Differenzen der Pixelwerte angewendet werden, wie zum Beispiel gradzahlige Potenzen.The Determining the distance measure can be arbitrary, in principle known manner. An example is provided which To make differences in the pixel values of such pixels that are within of the two blocks B2 (i), B3 (i-1) at the same positions to form the absolute values of these differences obtained and to add up the absolute values thus obtained. The thus obtained Value is also called the sum of the absolute values of the pixel value differences designated. Instead of the absolute values, any other metrics are applied to the differences of pixel values, such as even powers.
Bei einer solchen Ermittlung des Abstandsmaßes ist das erhaltene Abstandsmaß um so kleiner, je stärker die Inhalte der beiden Bildblöcke übereinstimmen. Als Pixelwerte für den Vergleich der Bildinhalte der beiden Bildblöcke können beliebige der den einzelnen Pixeln zugeordneten Pixelwerte verwendet werden, also beispielsweise Helligkeitswerte (Luminanzwerte) oder auch Farbwerte (Chrominanzwerte).at such a determination of the distance measure is the obtained Distance measure the smaller, the stronger the content match the two image blocks. As pixel values for comparing the image contents of the two image blocks can be any of the individual pixels assigned Pixel values are used, so for example brightness values (Luminance values) or color values (chrominance values).
Ist
die Orientierung der senkrecht zu dem Rand R1 verlaufenden Vektorkomponente
des Testvektors derart, dass sie entgegengesetzt zu der vorgegebenen
Orientierung ist, dass die zu dem Rand R1 senkrecht verlaufende
Vektorkomponente v1x also in Richtung des
Randes zeigt, so kann eine herkömmliche Rückwärtsschätzung
vorgenommen werden, wie dies für einen weite ren im ersten
Randbereich RB1 angeordneten Bildblock B4(i) veranschaulicht ist.
v2 bezeichnet in
v2x, v2y bezeichnen dabei die vertikale und horizontale Vektorkomponente des Testvektors v2.v2 x , v2 y denote the vertical and horizontal vector component of the test vector v2.
Das
zuvor erläuterte Verfahren zum Testen eines Testvektors
zu einem Bildblock, wie beispielsweise dem ersten Bildblock B1(i)
gemäß
Wie bereits erwähnt, kann das erläuterte Verfahren auf Bildblöcke in beliebigen Randbereichen des Bildes F(i) angewendet werden, also auf Randbereiche entlang aller vier Ränder des Bildes. Das Verfahren ist darüber hinaus auch auf Randbereiche innerhalb des Bildes anwendbar, beispielsweise auf Randbereiche entlang von Rändern zwischen unterschiedlichen Bildbereichen des Bildes, in denen voneinander unabhängige Bildinformationen aus unterschiedlichen Bildquellen dargestellt werden. Die Darstellung unabhängiger Bildinformationen in unterschiedlichen Bildbereichen ist grundsätzlich bekannt. Beispiele hierfür sind: eine Bild-in-Bild-Einblendung, bei der ein Bild in einem Fenster in einem anderen Bild dargestellt wird; ein sogenanntes On-Screen-Display (OSD), also die Darstellung von Menüinformationen in einem Menüfenster, das in ein Bild eingeblendet wird; oder eine ”Splitscreen”-Darstellung, bei der der Bildschirm in mehrere Fenster unterteilt wird, in denen jeweils voneinander unabhängige Bildinformationen dargestellt werden.As already mentioned, the explained method on image blocks in any edge regions of the image F (i) be applied, so on edge areas along all four edges of the picture. The procedure is also applicable to peripheral areas applicable to the image, for example, on edge areas along Edges between different image areas of the image, in which independent image information from different image sources are displayed. The representation independent image information in different image areas is known in principle. Examples for this are: a picture-in-picture overlay that displays an image in a window is shown in another picture; a so-called on-screen display (OSD), ie the presentation of menu information in one Menu window that appears in a picture; or a split-screen view, in which the screen is divided into several windows in which each represented independent image information become.
Unabhängig
davon, in welchem Randbereich der erste Bildblock B1(i) liegt, wird
stets die Orientierung der senkrecht zu dem Rand verlaufenden Vektorkomponente
des Testvektors ausgewertet, und ein in dem ersten Bild F(i) angeordneter
zweiter Bildblock B2(i) wird dann ermittelt, wenn die Orientierung
dieser senkrecht verlaufenden Vektorkomponente eine vorgegebene
Orientierung ist, d. h. – bezogen auf das bisher erläuterte
Beispiel – wenn diese Vektorkomponente von dem Rand wegzeigt.
In der in
Die entlang der äußeren Ränder des Bildes verlaufenden Randbereiche überlappen sich in den Ecken des Bildes. Für Bildpunkte, die gleichzeitig in zwei unterschiedlichen sich überlappenden Randbereichen des Bildes angeordnet sind, werden die Orientierungen der senkrecht zu den Rändern verlaufenden Vektorkomponenten unabhängig voneinander ausgewertet und das hierdurch erhaltene Ergebnis wird für die Ermittlung der Position des zweiten Bildblocks B2(i) berücksichtigt. Dabei gibt es vier unterschiedliche Fälle, die nachfolgend erläutert sind. In dieser Erläuterung bezeichnet ”erste Vektorkomponente” eine senkrecht zu dem ersten Rand verlaufende Vektorkomponente des Testvektors, und ”zweite Vektorkomponente” bezeichnet eine senkrecht zu dem zweiten Rand verlaufende Vektorkomponente des Testvektors:
- a. Der zweite Bildblock stimmt mit dem ersten Bildblock überein, wenn keine der ersten und zweiten Vektorkomponenten von dem jeweiligen Rand wegzeigt;
- b. Die Position des zweiten Bildblocks ist um die erste Vektorkomponente gegenüber der Position des ersten Bildblocks versetzt, wenn nur die erste Vektorkomponente von dem ersten Rand wegzeigt;
- c. Die Position des zweiten Bildblocks ist gegenüber der Position des ersten Bildblocks um die zweite Vektorkomponente versetzt, wenn nur die zweite Vektorkomponente von dem zweiten Rand wegzeigt;
- d. Die Position des zweiten Bildblocks ist um die erste und die zweite Vektorkomponente gegenüber dem ersten Bildblock versetzt, wenn sowohl die erste Vektorkomponente von dem ersten Rand wegzeigt, als auch die zweite Vektorkomponente von dem zweiten Rand wegzeigt.
- a. The second image block matches the first image block if none of the first and second vector components point away from the respective edge;
- b. The position of the second image block is offset from the position of the first image block by the first vector component if only the first vector component points away from the first edge;
- c. The position of the second image block is offset from the position of the first image block by the second vector component when only the second vector component is pointing away from the second edge;
- d. The position of the second image block is offset from the first image block by the first and second vector components when both the first vector component is pointing away from the first edge and the second vector component is pointing away from the second edge.
v1
bezeichnet in
Die
senkrecht zu dem ersten Rand R1 verlaufende erste Vektorkomponente
des in
Dargestellt
ist in
Der
dritte Bildblock B3(i – 1) in dem zweiten Bild F(i – 1)
ist entsprechend der zuvor gemachten Erläuterungen um den
Wert des Testvektors v1 gegenüber der Position des zweiten
Bildblocks B2(i) verschoben. In dem in
Bei beiden zuvor erläuterten Verfahren wird für einen ersten Bildblock B1(i) innerhalb eines Randbereiches ein zweiter Bildblock B2(i) innerhalb desselben Bildes ermittelt, wobei die Position dieses zweiten Bildblocks B2(i) abhängig ist von der Orientierung einer senkrecht zu dem Rand verlaufenden Vektorkomponente des Testvektors und abhängig ist vom Betrag dieser Vektorkomponente.at Both of the above-described method is for a first image block B1 (i) within a border area a second one Image block B2 (i) determined within the same image, wherein the Position of this second image block B2 (i) depends on the orientation of a perpendicular to the edge vector component of the test vector and is dependent on the magnitude of this vector component.
Das zuvor erläuterte Verfahren kann als modifiziertes Rückwärtsschätzverfahren bezeichnet werden, da bei diesem Verfahren zum Ermitteln von Bewegungsinformation zu einem Bildblock – in dem Beispiel dem ersten Bildblock B1(i) – des ersten Bildes F(i) Bildinformationen aus einem Bildblock des zeitlich vorangehenden zweiten Bildes F(i – 1) verwendet werden.The previously discussed method may be used as a modified backward estimation method in this method of determining motion information to an image block - in the example the first image block B1 (i) - the first image F (i) image information from a Image block of temporally preceding second image F (i-1) be used.
Die
zuvor erläuterten Verfahrensschritte lassen sich in entsprechender
Weise auch auf ein Vorwärtsschätzverfahren anwenden,
um dadurch ein modifiziertes Vorwärtsschätzverfahren
zu erhalten, wie nachfolgend anhand der
B1(i)
bezeichnet in
Unter Verwendung des zweiten und dritten Bildblocks B2(i), B3(i + 1) wird anschließend ein Abstandsmaß für den Testvektor v1 ermittelt. Zur Ermittlung des Abstandsmaßes eignen sich beliebige herkömmliche und bereits zuvor erläuterte Verfahren.Under Use of the second and third image block B2 (i), B3 (i + 1) is then a distance measure for the Test vector v1 determined. To determine the distance measure Any conventional and previously discussed ones are suitable Method.
Zeigt die senkrecht zu dem Rand R1 verlaufende Vektorkomponente des zu testenden Vektors von dem Rand R1 weg, wie dies für den im ersten Randbereich RB1 dargestellten weiteren Bildblock B4(i) dargestellt ist, so wird das Abstandsmaß für den Testvektor, in dem dargestellten Beispiel den Vektor v2, unter Verwendung des Bildinhalts dieses Bildblocks B4(i) und eines weiteren Bildblocks B5(i + 1) in dem zweiten Bild F(i + 1) berechnet. Der Bildblock B5(i) in dem zweiten Bild F(i + 1) ist dabei um den Testvektor v2 gegenüber der Position des Bildblocks B4(i) versetzt, wobei der Bildblock B4(i) in dem ersten Bild F(i) am Anfangspunkt und der Bildblock B5(i + 1) am Endpunkt des zu testenden Vektors v2 liegt.Shows the perpendicular to the edge R1 extending vector component of away from the edge R1, as for the in the first border region RB1 further image block B4 (i) is shown, the distance measure for the test vector, in the example shown, the vector v2, using the Image content of this image block B4 (i) and another image block B5 (i + 1) in the second image F (i + 1). The picture block B5 (i) in the second image F (i + 1) is opposite to the test vector v2 the position of the image block B4 (i) offset, wherein the image block B4 (i) in the first image F (i) at the starting point and the image block B5 (i + 1) lies at the end point of the vector v2 to be tested.
Bei
dem in
Für
erste Bildblöcke, die gleichzeitig in zwei unterschiedlichen
Randbereichen liegen, werden entsprechend der Erläuterungen
zu den
Liegt bei dem bisher erläuterten Verfahren eine Randbereichsverletzung bezüglich eines ersten Bildblocks B1(i) und eines zu diesem Bildblock B1(i) zu testenden Vektors v1 für eine gewünschte Schätzrichtung vor, so wird in erläuterter Weise in dem ersten Bild F(i), in dem der erste Bildblock B1(i) angeordnet ist, ein zweiter Bildblock B2(i) ermittelt, der gegenüber der Position des ersten Bildblocks B1(i) verschoben ist. Ein Bildvergleich wird anschließend unter Verwendung dieses zweiten Bildblocks B2(i) aus dem ersten Bild F(i) und eines dritten Bildblocks B3(i – 1) aus dem zweiten Bild F1(i – 1) durchgeführt, wobei die Position des dritten Bildblocks B3(i – 1) um den Testvektor v1 gegenüber der Position des zweiten Bildblocks verschoben ist. Das durch den Bildvergleich erhaltene Testergebnis bezieht sich dann strenggenommen allerdings nicht mehr auf den ersten B1(i) sondern auf den zweiten Bildblock B2(i).Lies in the method explained so far, an edge area violation with respect to a first image block B1 (i) and one to it Image block B1 (i) vector v1 to be tested for a desired one Estimation ago, as explained in the first image F (i), in which the first image block B1 (i) is arranged is, a second image block B2 (i) determined opposite the position of the first image block B1 (i) is shifted. An image comparison is subsequently using this second image block B2 (i) from the first image F (i) and a third image block B3 (i-1) from the second image F1 (i-1), where the position of the third image block B3 (i-1) around the test vector v1 shifted from the position of the second image block is. The test result obtained by the image comparison relates but then strictly speaking, not on the first B1 (i) but on the second image block B2 (i).
Stehen
zum Testen eines Bewegungsvektors v1 für einen ersten Bildblock
B2(i) des ersten Bildes allerdings nicht nur ein zeitlich vorangehendes F(i – 1)
oder ein zeitlich nachfolgendes F(i + 1) Bild zur Verfügung,
sondern stehen beide dieser Bilder zur Verfügung, so gibt
es eine weitere Möglichkeit auf eine Randbereichsverletzung
zu reagieren, die nachfolgend erläutert wird:
Wenn
für einen Testvektor zu einer Schätzrichtung eine
Randbereichsverletzung vorliegt, so ist vorgesehen, eine Schätzung
in entgegengesetzter Schätzrichtung durchzuführen.
Dies wird nachfolgend unter Bezugnahme auf die Beispiele in den
If there is an edge region violation for a test vector to an estimation direction, then it is intended to carry out an estimation in the opposite estimation direction. This will be described below with reference to the examples in FIGS
Es wird also eine Vorwärtsschätzung, d. h. eine Schätzung in eine entgegengesetzte Richtung durchgeführt.It Thus, a forward estimate, i. H. an estimate done in an opposite direction.
Bezugnehmend
auf die bisherige Erläuterung wird bei dem Beispiel gemäß
Es wird also eine Rückwärtsschätzung, d. h. eine Schätzung in eine entgegengesetzte Richtung durchgeführt. Allgemein lässt sich sagen, dass für eine Bewegungsschätzung bei diesem Verfahren ein zweiter Bildblock B5(i) ausgewählt wird, der gegenüber dem ersten Bildblock B1(i) um den ersten Bewegungsvektor v1 verschoben ist und der abhängig davon, ob die erste Vektorkomponente v1x eine vorgegebene Richtung aufweist in einem dem ersten Bild F(i) zeitlich vorausgehenden Bild F(i – 1) oder einem dem ersten Bild F(i) zeitlich nachfolgenden Bild F(i + 1) angeordnet ist.It Thus, a backward estimate, i. H. an estimate carried out in an opposite direction. Generally it can be said that for a motion estimation In this method, a second image block B5 (i) is selected which is opposite the first image block B1 (i) by the first Motion vector v1 is shifted and depending on whether the first vector component v1x has a predetermined direction in an image F (i-1) preceding in time in the first image F (i) or an image F (i + 1) is arranged.
Liegt
der Block gleichzeitig in zwei Randbereichen, also in einer der
Ecken des Bildes, so kann der Fall auftreten, dass für
eine der Komponenten des Vektors eine Randbereichsverletzung und
für eine der Komponenten des Vektors eine Randbereichsverletzung
bei einer Vorwärtsschätzung auftritt. In diesem
Fall wird beispielsweise auf das anhand der
ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDE IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list The documents listed by the applicant have been automated generated and is solely for better information recorded by the reader. The list is not part of the German Patent or utility model application. The DPMA takes over no liability for any errors or omissions.
Zitierte PatentliteraturCited patent literature
- - WO 2007/119198 [0005] - WO 2007/119198 [0005]
Claims (9)
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102008054503A DE102008054503A1 (en) | 2008-12-10 | 2008-12-10 | Method for motion estimation at image edges |
| PCT/EP2009/066751 WO2010066801A1 (en) | 2008-12-10 | 2009-12-09 | Method for estimating movement at edges of images |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102008054503A DE102008054503A1 (en) | 2008-12-10 | 2008-12-10 | Method for motion estimation at image edges |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| DE102008054503A1 true DE102008054503A1 (en) | 2010-06-17 |
Family
ID=41557671
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DE102008054503A Ceased DE102008054503A1 (en) | 2008-12-10 | 2008-12-10 | Method for motion estimation at image edges |
Country Status (2)
| Country | Link |
|---|---|
| DE (1) | DE102008054503A1 (en) |
| WO (1) | WO2010066801A1 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050232357A1 (en) * | 2004-03-30 | 2005-10-20 | Ralf Hubrich | Motion vector estimation at image borders |
| WO2007119198A1 (en) | 2006-04-14 | 2007-10-25 | Nxp B.V. | Motion estimation at image borders |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6339656B1 (en) * | 1997-12-25 | 2002-01-15 | Matsushita Electric Industrial Co., Ltd. | Moving picture encoding decoding processing apparatus |
| US7440500B2 (en) * | 2003-07-15 | 2008-10-21 | Lsi Logic Corporation | Supporting motion vectors outside picture boundaries in motion estimation process |
-
2008
- 2008-12-10 DE DE102008054503A patent/DE102008054503A1/en not_active Ceased
-
2009
- 2009-12-09 WO PCT/EP2009/066751 patent/WO2010066801A1/en active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050232357A1 (en) * | 2004-03-30 | 2005-10-20 | Ralf Hubrich | Motion vector estimation at image borders |
| WO2007119198A1 (en) | 2006-04-14 | 2007-10-25 | Nxp B.V. | Motion estimation at image borders |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2010066801A1 (en) | 2010-06-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1770635B1 (en) | Iterative image interpolation method | |
| DE102010046259A1 (en) | Image frequency conversion using motion estimation and compensation | |
| DE102009046114A1 (en) | Method and apparatus for generating a calibrated projection | |
| DE60028584T2 (en) | SYSTEM AND METHOD FOR IMAGE INTERPOLATION | |
| DE1512352C3 (en) | Color television camera | |
| DE102007027642A1 (en) | Method for processing a sequence of images with successive video images to improve the spatial resolution | |
| EP3634003B1 (en) | Method and device for time synchronization of the optical transmission of data in the free space | |
| EP1605405B1 (en) | Procedure for the determination of movement vectors | |
| DE3813461C2 (en) | Multi-tube color television camera | |
| DE10084783B3 (en) | System and method for generating video frames | |
| EP2105883A1 (en) | Method for testing a movement vector | |
| DE102009026983A1 (en) | Image processing method with a motion estimation and image processing arrangement | |
| DE2261228C2 (en) | Method and circuit arrangement for suppressing the comb effect when recording video signals corresponding to the interlaced method on cinema film | |
| DE102005063072B4 (en) | Method and apparatus for interline interpolation | |
| DE102008054503A1 (en) | Method for motion estimation at image edges | |
| DE102010053296A1 (en) | Methods and systems for close-range motion compensation deinterlacing | |
| DE102008036279B4 (en) | Method for determining a motion vector for an image block of an intermediate image | |
| EP1976288B1 (en) | Iterative method for interpolating image information values | |
| EP1397002B1 (en) | A gradient based method for the interpolation of picture elements | |
| DE102019104397A1 (en) | Image synthesis device and control method | |
| EP3155803B1 (en) | Method for the transformation of a moving image sequence and moving image sequence transformation device | |
| DE19505758A1 (en) | Method and circuit arrangement for flicker reduction for a device for video signal processing | |
| DE102009026981A1 (en) | Determination of a vector field for an intermediate image | |
| DE102004049163B3 (en) | Method for determining a complete depth information of a camera image | |
| DE102008014790A1 (en) | Motion vector testing method for image processing, involves determining primary and secondary image blocks in primary and secondary image sections, respectively, using motion vector, and comparing contents of image blocks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| OP8 | Request for examination as to paragraph 44 patent law | ||
| R016 | Response to examination communication | ||
| R002 | Refusal decision in examination/registration proceedings | ||
| R084 | Declaration of willingness to licence |
Effective date: 20111122 |
|
| R003 | Refusal decision now final |
Effective date: 20111213 |
|
| R082 | Change of representative |
Representative=s name: EPPING HERMANN FISCHER, PATENTANWALTSGESELLSCH, DE |
|
| R081 | Change of applicant/patentee |
Owner name: ENTROPIC COMMUNICATIONS, INC., SAN DIEGO, US Free format text: FORMER OWNER: TRIDENT MICROSYSTEMS (FAR EAST) LTD., GRAND CAYMAN, KY Effective date: 20121022 Owner name: ENTROPIC COMMUNICATIONS, INC., US Free format text: FORMER OWNER: TRIDENT MICROSYSTEMS (FAR EAST) LTD., GRAND CAYMAN, KY Effective date: 20121022 |
|
| R082 | Change of representative |
Representative=s name: EPPING HERMANN FISCHER, PATENTANWALTSGESELLSCH, DE Effective date: 20121022 |