DE19757343A1

DE19757343A1 - Verfahren zur Bewegungskompensation von Bewegtbildern unter Benutzung eines zweidimensionalen Drahtrahmenmodells mit dreieckigen Flächenstücken

Info

Publication number: DE19757343A1
Application number: DE1997157343
Authority: DE
Inventors: Hak-Soo Kim; Kye-Ho Park
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 1997-03-31
Filing date: 1997-12-22
Publication date: 1998-10-01
Also published as: KR100265720B1; GB9726105D0; JP3095141B2; GB2323992A; CN1195256A; JPH10341445A; CN1107417C; KR19980075570A; US6154578A

Description

Hintergrund der Erfindung 1. Feld der Erfindung

Die vorliegende Erfindung bezieht sich auf ein Verfahren zur Bewegungskompensation von Bewegtbildern, um ein neues Bild unter Benutzung von Bildpunkten zu rekonstruieren, die durch die Abschätzung des Bewegungsvektors unter Verwendung eines zwei dimensionalen Drahtrahmenmodells mit dreieckigen Flächenstücken transformiert werden.

2. Stand der Technik

Eine Bewegungsabschätzung eines Bewegtbildes, die ein Prozeß vor der Bewegungskompensation des Bewegtbildes ist, wird ausge führt, indem die folgenden Schritte vorgenommen werden. Der gegenwärtige Rahmen eines eingegebenen Bildes wird in viele kleine Bezugsblöcke aufgeteilt. Jeder Bezugsblock wird mit verschiedenen Suchblöcken eines vorangegangenen Rahmens ver glichen. Es wird ein Unterschiedsgrad berechnet, mit dem die Blöcke des vorangegangenen Rahmens sich von den Bezugsblöcken unterscheiden. Die Blöcke, deren Unterschiedsgrad am kleinsten ist (im folgenden als ein übereinstimmender Block bezeichnet), wird für jeden Bezugsblock gefunden. Die Differenz der Koor dinaten zwischen jedem Bezugsblock und dem jeweiligen über einstimmenden Block wird als Bewegungsvektor eingeschätzt. Dazu werden der gegenwärtige Rahmen nur durch die Differenz zwischen den Bildpunkten des übereinstimmenden Blocks und denen des jeweiligen Bezugsblocks mit dem obigen Bewegungsvektor codiert. Das wie oben codierte Bild wird zum Originalbild rekonstruiert durch Kombination jedes codierten Bildpunktwertes und des jewei ligen Bildpunktwertes des übereinstimmenden Blocks.

Fig. 1 erläutert ein konventionelles Verfahren für die Bewegungskompensation.

In Fig. 1 bezeichnen die Bezugszeichen 10 und 12 den gegen wärtigen bzw. den vorangegangenen Rahmen. Wie in Fig. 1 gezeigt, wird in einem Verfahren zur Bewegungskompensation, das in einem konventionellen Codierer der Verwendungsstandard war, der Bewe gungsvektor des jeweiligen übereinstimmenden Blocks des voran gegangenen Rahmens für jeden Bezugsblock abgeschätzt, und dann wird das Bild des gegenwärtigen Rahmens codiert, wobei die über einstimmenden Blöcke des vorangegangenen Rahmens verwendet werden, die mit den jeweiligen geschätzten Vektoren korrespon dieren.

In dem konventionellen Verfahren zur Bewegungskompensation überlappen sich die übereinstimmenden Blöcke häufig, da die Bewegungsvektoren der übereinstimmenden Blöcke aus den Bezugs blöcken im gegenwärtigen Rahmen 10 und den Blöcken im voran gegangenen Rahmen 12 mit ähnlichen Bildpunktwerten berechnet werden und die übereinstimmenden Blöcke des vorangegangenen Rahmens 12 sich bewegen, um den gegenwärtigen Rahmen 10 zu bilden. Deshalb ist die Bildqualität des Bildes eines neuen Rahmens verschlechtert, da das Bild am Rand eines jeden Blocks abgeschnitten wird.

Zusammenfassung der Erfindung

Es ist ein Ziel der vorliegenden Erfindung, ein Verfahren zur Bewegungskompensation eines Bewegtbildes für die Rekonstruktion eines Bildes vorzusehen, das eine bilineare Interpolation nach Abschätzung eines Bewegungsvektors unter Benutzung eines zwei dimensionalen Drahtrahmenmodells mit dreieckigen Flächenstücken verwendet.

Das Verfahren zur Bewegungskompensation von Bewegtbildern nach Abschätzung der Bewegung des Bewegtbildes nach der vorlie genden Erfindung, das ein zweidimensionales Drahtrahmenmodell mit dreieckigen Flächenstücken verwendet, enthält die Schritte eines Verfahrens zur Kompensation einer Bewegung eines Bewegt bildes nach Abschätzung der Bewegung, welches die Schritte enthält der Bildung dreieckiger Flächenstücke während der Bewegungsabschätzung und Transformation des Drahtrahmenmodells mit dreieckigen Flächenstücken unter Verwendung von Bewegungs vektoren, die mit den jeweiligen Eckpunkten der dreieckigen Flächenstücke korrespondieren, Ersetzen eines Bildpunktwertes, der mit einer vorbestimmten Position eines Bezugsblock des gegenwärtigen Rahmens korrespondiert, durch einen Bildpunktwert, der mit einer vorbestimmten Position eines übereinstimmenden Blocks eines vorangegangenen Rahmens in dem transformierten Drahtrahmenmodell korrespondiert, und Rekonstruktion eines neuen Bildes unter Verwendung des ersetzten Bildpunktwertes.

In der vorliegenden Erfindung wird der Bildpunktwert unter Verwendung einer bilinearen Interpolation in dem Fall bestimmt, daß die Position des zu ersetzenden Bildpunktes im Schritt des Ersetzens des Bildpunktwertes nicht ein ganzzahliger Wert ist.

Kurze Beschreibung der Zeichnungen

Das obige Ziel und die Vorteile der vorliegenden Erfindung werden offenkundiger werden durch die detaillierte Beschreibung ihrer bevorzugten Ausführungsform mit Bezug auf die begleitenden Zeichnungen, in denen

Fig. 1 ein konventionelles Verfahren für die Bewegungskompen sation erläutert;

Fig. 2 ein Verfahren für die Bewegungskompensation eines Bewegtbildes nach der vorliegenden Erfindung erläutert;

Fig. 3A und 3B ein Verfahren zur Transformation eines Draht rahmenmodells nach der vorliegenden Erfindung unter Benutzung eines Bewegungsvektors erläutern, welcher während der Bewegungs abschätzung berechnet wurde;

Fig. 4 eine bilineare Interpolation erläutert, welche auf die vorliegende Erfindung angewendet wird; und

Fig. 5A bis 5D ein Beispiel für die Anwendung des Verfahrens für die Bewegungskompensation nach der vorliegenden Erfindung zeigen.

Genaue Beschreibung der bevorzugten Ausführungsform(en)

Im Folgenden wird die vorliegende Erfindung detailliert mit Bezug auf die angefügten Zeichnungen beschrieben.

Fig. 2 erläutert ein Verfahren für die Kompensation der Bewe gung eines Bewegtbildes nach der vorliegenden Erfindung.

Das Drahtrahmenmodell wird unter Benutzung der Bewegungsvek toren transformiert, die während der Bewegungsabschätzung berechnet wurden (Schritt 200) . Wenn nämlich die Eckpunkte der Dreiecke des gegenwärtigen Rahmens A, B und C sind, und die Position eines beliebig gewählten Bildpunktes in dem Dreieck X ist, wie in Fig. 3B gezeigt, sind die Eckpunkte des Dreiecks des vorangegangenen Rahmens, die durch den Bewegungsvektor trans formiert wurden, A', B' bzw. C', und die Position in dem voran gegangenen Rahmen, die mit dem beliebig gewählten Bildpunkt kor respondiert, ist X', wie in Fig. 3A gezeigt. Die Positionsvek toren hinsichtlich jedes der Eckpunkte und des beliebig gewähl ten Bildpunktes werden in der folgenden Formel 1 definiert.

[Formel 1]

A' = (x_a

', y_a

'), B' = (x_b

', y_b

'), C' = (x_c

', y_c

'), X' = (x', y')
A = (x_a

, y_a

), B = (x_b

, y_b

), C = (x_c

, y_c

), X = (x, y).

Die Positionsvektoren der beliebig gewählten Bildpunktposi-
tion (X) in dem gegenwärtigen Rahmen und die korrespondierende Bildpunktposition (X') in dem vorangegangenen Rahmen werden in der folgenden Formel 2 dargestellt. Die Differenz zwischen dem Bildpunktwert in der Position (X) des gegenwärtigen Rahmens und dem Bildpunktwert in der Position (X') des vorangegangenen Rahmens wird in der folgenden Formel 3 dargestellt.

[Formel 2]

[Formel 3]

wobei die Prozedur, in der die Formel 3 aus der Formel 2 abgeleitet wird, wie folgt beschrieben wird.

wobei

u = x-x', v = y--y'
u_a = x_a-x_a', v_a = y_a-y_a'
u_b = x_b-x_b', v_b = y_b--y_b'
u_c = x_c-x_c', v_c = y_c-y_c'
p = ((x-x_a)v_y1-(y-y_a)v_x1)/(v_x0v_y1-v_x1v_y0)
q = ((y-y_a)v_x0-(x-x_a)v_y0)/(v_x0v_y1-v_x1v_y0)
v_x0 = x_b-x_a, v_y0 = y_b-y_a, v_x1 = x_c-x_a, v_y1 = y_c-y_a
0 ≦ p ≦ 1, 0 ≦ q ≦ 1, 0 ≦ p+q ≦ 1.

Da die wie oben ermittelten Bewegungsvektoren für jeden Eck punkt des Dreiecks existieren, sind die Bewegungsvektoren hin sichtlich der jeweiligen Eckpunkte (u_a, v_a), (u_b, v_b) und (u_c, v_c) Auch sind die Bewegungsvektoren hinsichtlich des beliebig gewählten Bildpunktes, der innerhalb des Dreiecks existiert, X' = (x',y') und X = (x,y).

Der mit der Position (X) des gegenwärtigen Rahmens korrespon dierende Bildpunktwert, der durch den mit der Formel 2 berech neten Bewegungsvektor ermittelt wurde, wird ersetzt durch den Bildpunktwert der Position (X') des vorangegangenen Rahmens (Schritt 204). Falls die ermittelte Position X' kein ganz zahliger Wert ist, wird hier der Bildpunktwert der Position X' unter Benutzung einer bilinearen Interpolation bestimmt.

Fig. 4 erläutert eine bilineare Interpolation, die auf die vorliegende Erfindung angewendet wird. Falls hier die Position des zu ersetzenden Bildpunktes f(x',y') im gegenwärtigen Rahmen kein ganzzahliger Wert ist, wird der Bildpunktwert der Position (x',y') durch Bildpunktwerte ganzzahliger Stellen um (x',y') herum unter Benutzung der folgenden bilinearen Interpolation bestimmt. Der Koordinatenwert des Punktes A ist nämlich f(x+1,y)×(1-yr)+f(x+1,y+1)xyr und der Koordinatenwert des Punktes B ist f(x,y)×(1-yr)+f(x,y+1)xyr. Da die Koordinatenwerte von A und B ermittelt wurden, wird der Bildpunktwert von f(x',y') durch die folgende Formel 4 dargestellt.

[Formel 4]

f(x',y') = B×(1-xr)+A×xr
= (1-xr)×{(1-yr)×f(x,y) + yr×f(x,y+1)}+ xr×{(1-yr)×f(x+1,y) + yr×f(x+1,y+1)}.

Ein neues Bild wird unter Benutzung eines ersetzten Bildpunkt wertes konstruiert, wie durch Formel 4 gezeigt (Schritt 206).

Die Bildpunktwerte des Bildes, dessen Bewegung kompensiert wurde werden durch Anwendung der Formel 4 auf alle Bildpunkte in allen dreieckigen Flächenstücken ermittelt, wie oben ausge führt.

Fig. 5A bis 5D zeigen ein Beispiel der Anwendung eines Verfahrens für Bewegungskompensation nach der vorliegenden Erfindung. Fig. 5A zeigt das Bild des vorangegangenen Rahmens. Fig. 5B zeigt das Bild des gegenwärtigen Rahmens. Fig. 5C zeigt ein zweidimensionales Drahtrahmenmodell mit dreieckigen Flächen stücken, das nach der Bewegungsabschätzung transformiert wurde. Fig. 50 zeigt das bewegungskompensierte Bild. Es wird zu Bild 5D bemerkt, daß es keine Diskontinuität des Bildes zwischen Blöcken gibt, wie es gewöhnlich in dem konventionellen Kompensations verfahren geschieht.

Nach dem Verfahren für Bewegungskompensation eines Bewegt bildes nach der vorliegenden Erfindung ist es möglich, ein Bild mit guter Qualität zu erhalten, da es keine Diskontinuität des Bildes zwischen Blöcken gibt.

Claims

1. Verfahren zur Kompensation einer Bewegung eines Bewegtbildes nach Abschätzung der Bewegung, das die Schritte enthält:
Bilden eines dreieckigen Flächenstücks während der Abschät zung der Bewegung und Transformieren des Drahtrahmenmodells mit dreieckigen Flächenstücken unter Benutzung von Bewegungsvekto ren, die mit den jeweiligen Eckpunkten des dreieckigen Flächen stücks korrespondieren;
Ersetzen eines Bildpunktwertes, der mit einer vorbestimmten Position eines Bezugsblocks des gegenwärtigen Rahmens korrespon diert, durch einen Bildpunktwert, der mit einer vorbestimmten Position eines übereinstimmenden Blocks eines vorangegangenen Rahmens in dem transformierten Drahtrahmenmodell korrespondiert; und
Rekonstruieren eines neuen Bildes unter Benutzung des ersetzten Bildpunktwertes.

2. Verfahren zur Kompensation einer Bewegung eines Bewegtbildes nach Anspruch 1, wobei der Bildpunktwert in dem Fall unter Benutzung einer bilinearen Interpolation bestimmt wird, daß die Position des zu ersetzenden Bildpunktes in dem Schritt des Ersetzens des Bildpunktwertes kein ganzzahliger Wert ist.