-
Die
vorliegende Erfindung bezieht sich auf ein Verfahren für Bilddaten
sowie eine dazugehörige
Vorrichtung und insbesondere auf ein Verfahren und eine Vorrichtung
zum Bearbeiten von Vollbewegungs-Bilddaten.
-
Die
bereits weit verbreitete Videokommunikation kann im allgemeinen
in zwei Kategorien eingeteilt werden, nämlich die analoge und die digitale
Bildkommunikation. Analoge Bildkommunikation wurde beispielsweise
für Videokonferenzen
verwendet. Sie ist jedoch im allgemeinen durch ihre geringe Auflösung der übertragenen
und empfangenen Bilddaten begrenzt. Demgegenüber hat sich im Vergleich zur
analogen Bildkommunikation die digitale Bildkommunikation von Vollbewegungs-Bilddaten
im allgemeinen hinsichtlich der Wiedergabetreue wesentlich verbessert,
da die digitalen Informationen üblicherweise
in großen
Mengen bei höheren
Datenraten als die analogen Bilddaten übertragen und empfangen werden
können.
-
Wie
dem Fachmann allgemein bekannt ist, wird zur Darstellung digitaler
Bilddaten ein Bildbereich oder Rahmen typischerweise aus einem Feld
von Bildpunkten aufgebaut (beispielsweise 352 Reihen × 244 Zeilen), wobei
eine digitale Zahl die Farbe, Helligkeit und Chrominanz für jeden
Bildpunkt (Pixel) darstellt. Die Bildpunkt-Farbinformation besteht überlicherweise
aus drei digitalen Werten bestehend aus einem digitalen Wert für rot, einem
für grün und einem
für blau.
Man benötigt
daher eine große
Anzahl von Informationen um einen Bildpunkt zu beschreiben, was
dazu führt,
daß die
digitale Darstellung von ganzen Bildrahmen eine außerordentlich
große
Menge digitaler Daten benötigt.
Bei spielsweise benötigt
man eine Speicherkapazität
von ca. 3 Millionen Bytes um ein Farbvideo von 1000 × 1000 Bildpunkten
zu verarbeiten. Dies bedeutet daß ca. 90 Millionen Bytes digitaler
Informationen jede Sekunde verarbeitet werden müssen, falls man ein dynamisches
Vollbewegungsbild mit 30 Rahmen pro Sekunde erzeugen möchte. Insbesondere
müssen
bei einem Vollbewegungs-Video nicht nur große Datenblöcke zum Beschreiben eines jeweiligen
Einzelbildes verwendet werden, sondern es muß zur Erzeugung eines kontinuierlichen
Bewegungsbildes ein jeweils neues Bild oder Rahmen dem Betrachter
ca. dreißig
mal pro Sekunde geliefert werden. Die Bewegung derart großer Mengen
von Video-Bilddaten über
digitale Netzwerke oder Telefonleitungen ist mit den derzeit verfügbaren Brandbreiten
einfach nicht durchführbar.
-
Um
diesem Problem gerecht zu werden, wurde die digitale Datenkompression
eingehend erforscht, die eine Technik zur Reduzierung der für das Senden
einer vorgegebenen Nachricht benötigten
Anzahl von Bytes darstellt, wobei die Nachricht empfangen und mit
einer ausreichend hohen Wiedergabetreue reproduziert wird. Bei der
Datenkompression werden überlicherweise
entweder ein einziges Abkürzungssignal
zum Angeben eines sich wiederholenden Datenstrings von Bytes verwendet
oder es werden Datenbytes einer übertragenen
Nachricht weggelassen. Die zuletzt beschriebene Form der Datenkompression
wird üblicherweise
als "lossy"-Kompression bezeichnet
und basiert auf der Fähigkeit
des menschlichen Gehirns weggelassene Daten zu ersetzen. Bei Standbild-Videoübertragung
wird als Datenkompression der JPEG-Standard verwendet der ein Verfahren
zur Kompression von Standbildern definiert. Bei bewegten Videos
bleiben ein Großteil der
Bilddaten von Rahmen zu Rahmen konstant. Die Videodaten können daher
dadurch komprimiert werden, daß als
erstes ein Referenzrahmen beschrieben wird und die anschließenden Rahmen
lediglich hinsichtlich der Unterschiede vom Referenzrahmen beschrieben
werden.
-
Die
Kompression digitaler Daten mittels der Durchführung einer Bewegungsbewertung
kann man auch durch Vergleichen von Videoblöcken innerhalb eines früheren Bildrahmens
mit Videoblöcken
innerhalb eines augenblicklich vorliegenden Rahmens erreichen (beide
werden durch Bildpunktbewegungen in der vertikalen und/oder horizontalen
Richtung erzeugt), wobei anschließend der Videoblock mit dem
kleinsten Differenzsignal herausgefunden wird. Dem Fachmann ist
hierbei klar, daß das
Differenzsignal durch Bestimmung einer Summe von absoluten Differenzwerten
zwischen den Blöcken
erhalten werden kann. Da es schwierig ist, jeden Block in einem
großen
Bild mit Blöcken
von einem früheren
Rahmen zu vergleichen, wird üblicherweise
ein Suchbereich mit einer vorbestimmten Größe entsprechend dem jeweiligen
Block für
den früheren
bzw. vorausgehenden Rahmen eingestellt. Der Bewegungsvektor wird
daraufhin durch Suchen im vorbestimmten Suchbereich eines augenblicklich
vorliegenden Rahmens bestimmt. Je kleiner die Größe des Blocks ist, desto genauer
ist die Suche für
die Bewegung. Jedoch erhöht überlicherweise
die Verwendung von kleineren Blöcken die
Größe bzw.
Anzahl der Bewegungsvektoren, da mit Anwachsen der Größe des Suchbereiches
die im Suchbereich gefundene Bewegung umso größer sein kann, weshalb sich
ein größerer Bewegungsvektor
ergibt.
-
Allgemein
sind eine Vielzahl von Verfahren zur Bewegungsbewertung bekannt.
Beispielsweise gibt es das Anpassungsverfahren, ein Gradientenverfahren
und ein Blockabgleichverfahren. In 1 ist
insbesondere ein herkömmliches
4 × 4
Blockabgleichverfahren dargestellt. Gemäß 1 besitzt ein Bildschirm 244 Zeilen und
pro Zeile 352 Bildpunkte, was dem internationalen Standard für dynamische
Bildkommunikation über
Telefonleitungen entspricht. Jeder Bildpunkt besitzt eine entsprechende
Helligkeit, wobei die Helligkeit durch einen digitalen Wert im Bereich
von 0 bis 255 ausgedrückt
werden kann. Eine Bewegung auf dem Bildschirm kann durch Auswertung
einer Änderung
der Helligkeit eines jeweiligen Bildpunktes abgeschätzt bzw.
bewertet werden. Vorzugsweise wird bei der Bewegungssuche ein Block
von Bildpunkten identifiziert und die Bewegung durch die Suche entsprechend
einer Änderung
der Helligkeit des Blocks bestimmt. Dies geschieht unter der Annahme,
daß die
Bewegung eines typischen Bildpunktes eines Blocks der Bewegung eines
Blocks entspricht und dieser Block nur eine Bewegung aufweist. Zur
Verdeutlichung zeigt die 1 einen
Block von 4 × 4
oder 16 Bildpunkten (Block A).
-
Da
die Bewegung des Blocks 2-dimensional ist, ist es dem Fachmann klar,
daß ein
zweidimensionaler Bewegungsvektor gemäß der Gleichung 1 ausgedrückt werden
kann. V(ij) = {Vx(ij), Vy(ij)} (1)
-
Zusätzlich zu
den vorherstehend genannten Verfahren zur Bewegungswertung gibt
es ein Vollsuchverfahren, ein M-Schritt-Suchverfahren,
ein hierarchisches Suchverfahren und ein vorausbestimmendes Suchverfahren.
Das in 2 dargestellte
Vollsuchverfahren ist das am meisten verwendete Verfahren zur Bewertung
bzw. Abschätzung
von Bewegung. Die 3 zeigt
ebenso die Charakteristika einer graphischen Darstellung bei einer
herkömmlichen
Summe von absoluten Differenzwerten (SAD) beim Vollsuchverfahren,
wie es dem Fachmann bereits bekannt ist. Insbesondere, wenn eine
Position eines Gegenstands zum jetzigen Zeitpunkt der Position A
entspricht und in einem gerade vorausgehenden Zeitpunkt der Position
B entspricht, wird ein Block mit dem letzten SAD gemäß der folgenden
Gleichung bestimmt und das Helligkeitsignal des Blocks zur Bewertung
der Bewegung des Blocks A1 des Gegenstand verwendet, so daß die Position
des Objekts auf der Grundlage der Position des Blocks A1 bewertet
bzw. abgeschätzt
werden kann.
-
-
Wenn
beispielsweise die Suchgröße zum Suchen
mit dem Bewegungsvektor die Größe von ± 1 Bildpunkt
aufweist, so erhält
man neun SADs, wobei eine Position mit dem letzten Wert der neun
SADs als geschätzter
Wert der Position zu der sich der Gegenstand bewegt hat verwendet
wird. Diese neun SADs sind: {V(x, y): (–1, 1), (0, 1), (1, 1), (–1, 0),
(0, 0), (1, 0), (–1, –1), (0, –1), (1, –1)}.
-
Da
jedoch die Bewegung nicht genau abgeschätz bzw. bewertet werden kann,
wenn sich die Bewegung innerhalb des Suchbereichs von ± 1 Bildpunkt
befindet, wird der Suchbereich üblicherweise
auf die Größe von ± 16 Bildpunkten
vergrößert, wodurch
jedoch die Anzahl der SADs wesentlich erhöht wird, die zur Überprüfung eines
jeweiligen möglichen
Bewegungsvektors im Suchbereich notwendig sind. Während das
Vollsucherverfahren bei der dynamischen Bildkompression sehr wirkungsvoll
sein kann, kann demzufolge der für
das Erhalten der Bewertung bzw. Abschätzung notwendige Rechenaufwand
außerordentlich
hoch sein, weshalb weitere Verfahren zur Beseitigung dieses Nachteils
im Vollsuchverfahren entwickelt wurden. Wie vorherstehend beschrieben
sind derartige Verfahren das M-Schritt-Suchverfahren, das hierarchische
Suchverfahren und das vorausbestimmende Suchverfahren. Nachfolgend
wird anhand der 4A bis 4C ein herkömmliches M-Schritt-Suchverfahren
dargestellt. Beim M-Schritt-Suchverfahren
erfolgt die Bewertung der Bewegung durch Suchen mit einer Genauigkeit
von 2(M–1) Bildpunkten,
wobei die Randbereiche der abgesuchten Bewegung erneut mit einer
Genauigkeit von 2(M–2) Bildpunkten abgesucht
wird und diese Operationen wiederholt werden. Wenn das M-Schritt-Verfahren beispielsweise
ein 3-Schritt-Verfahren ist wird die Bewegung zunächst durch
Ausbilden eines Blocks der Größe von 8
Bildpunkten gemäß 4A bewertet. Als nächstes wird
die Bewegung durch Ausbilden des Blocks in der Größe von 4
Bildpunkten gemäß 4B bewertet. Daraufhin wird die
Bewegung durch Ausbilden des Blocks in der Größe von 2 Bildpunkten gemäß 4C bewertet. Demzufolge
kann die Bewegung durch Teilung eines Bewertungsschritts in eine
Serie von Schritten und nachfolgendes Bewerten der Bewegung mit
größerer Genauigkeit
bewertet werden, wodurch man eine abschließende Bewertung bzw. Abschätzung erhält.
-
Unglücklicherweise
weist das M-Schritt-Verfahren einen Nachteil insofern auf, als bei
einer fehlerhaften Bewertung der Bewegung in einem Schritt die Bewegungssuche
zu einem lokalen Minimum ("lm") führen kann,
wie es in 5 dargestellt
ist.
-
Für den Fall
eines hierarchischen Suchverfahrens kann die Bewegung mit einer
gröberen
Bildauflösung
von 88 × 61
Bildpunkten gesucht werden, was eine Verringerung des Vollauflösungsbildes
mit 352 × 244 Bildpunkten
darstellt, wobei anschließend
die Bewegung erneut mit einer feineren Bildauflösung von 176 × 122 Bildpunkten
erneut untersucht wird, wodurch die Randbereiche der untersuchten
Bewegung auf ein größeres Ausmaß erweitert
werden. Wenn daher die Bewegung in einem Größenbereich von 4 Bildpunkten
in seinem feinsten Bild gesucht wird, bedeutet dies eine Suche der
Bewegung im Größenbereich
von 16 Bildpunkten für das
vollauflösende
Bild. Durch suchen im Größenbereich
von 2 Bildpunkten in der nächstfeineren
Bildauflösung
kann daraufhin die Bewegung bewertet werden, was einer Suche der
Bewegung im Größenbereich
von 4 Bildpunkten in der vollen Bildauflösung entspricht. Für den Fachmann
ist klar, daß diese
Schritte den für
die Bewertung der Bewegung im Bild mit voller Auflösung notwendigen
Rechenaufwand verringern. Unglücklicherweise
besitzt jedoch auch das hierarchische Suchverfahren einen Nachteil
dahingehend, das bei einer fehlerhaften Bewertung der Bewegung bei
einer gröberen
Bildauflösung
die Suche der Bewegung zu einem lokalen Minimum ("lm") führen kann.
-
Im
vorausbestimmenden Suchverfahren wird die Bewegung in einem zu untersuchenden
Referenzblock anhand der Bewegung von umliegenden Blöcken vorausbestimmt
und die Randbereiche um einen vorausbestimmten Wert untersucht.
Das vorausschauende Suchverfahren besitzt jedoch einen Nachteil
dahingehend, daß der
vorausbestimmte Wert nicht genau ist und die Bewegungssuche wiederum
zu einem lokalen Minimum ("lm") führen kann.
-
In
dem vorherstehend beschrieben Verfahren wird ein Bewegungvektorfeld
als Vorhersagemodell verwendet, wobei darüber hinaus ein 2-D räumliches
Modell und ein 3-D räumliches
Modell verwendet werden, die auf einer gröberen Bildauflösung beruhen.
Im 3-D räumlichen
Modell wird die Bewegung im augenblicklichen Referenzblock wirkungsvoll
dadurch vorhergesagt, daß Informationen über das
Bewegungsvektorfeld in der gröberen
Bildauflösung
und Informationen über
das Bewegungsvektorfeld in den angrenzenden Blöcken wirkungsvoll kombiniert
werden. Das 3-D räumliche
Modell besitzt darüber
hinaus mehrere elementare Modelle zur wirkungsvollen Behandlung
von ungleichmäßigen Bewegung.
Ausführlich
beschrieben ist das 3-D räumliche
Modell in der Dissertation "3-D
Kalman Filter for Video and Motion Estimation" von Jae-Min Kim, Rensselear Polytechnic
Institute (1994). Jedoch besitzt auch das 3-D räumliche Modell insofern einen
Nachteil, als die Einstellung der Modellparameter sehr kompliziert
ist und aufgrund der schwierigen Implementierung der Bewegungsbewertung,
die vom komplizierten Algoryhtmus sowie vom großen Rechenaufwand herrührt, der bei
der Verwendung eines Kalman Filters zur Bewegungsbewertung notwendig
ist.
-
Ungeachtet
der vorherstehend beschriebenen Verfahren zur Bewegungsbewertung
in Bilddaten besteht daher weiterhin ein Bedarf für ein Verfahren
und eine Vorrichtung zur wirkungsvollen Verarbeitung von Vollbewegungs-Bilddaten
in einem komprimierten Format und mit verringertem Fehler.
-
Informationen
allgemeiner Art, die sich auf weitere Vorrichtungen zur Durchführung einer
Bewegungsbewertung beziehen können
in folgenden Druckschriften gefunden werden:
US 5,365,281 mit dem Titel Motion Signal
Detecting Circuit;
US 5,392,073 mit
dem Titel Motion Estimating Device For Variable Length Encoded Data;
US 5,467,086 mit dem Titel
Apparatus and Method of Coding/Decoding Video Data;
US 5,489,949 mit dem Titel Method
and Apparatus for Motion Estimation;
US
5,497,153 mit dem Titel System for Variable-Length-Coding
and Variable-Length-Decoding
Digital Data for Compressing Transmission Data;
US 5,493,344 mit dem Titel Motion
Vector Estimation Method and Apparatus Having Half-Pixel Accuracy;
US 5,508,745 mit dem Titel
Apparatus for Controlling A Quantization Level to be Modified by
a Motion Vector; und
US 5,510,857 mit
dem Titel Motion Estimation Coprocessor.
-
Es
ist Aufgabe der Erfindung, ein Verfahren und eine Vorrichtung zum
Verarbeiten von Vollbewegungs-Daten in einem komprimierten Format
und mit reduzierter Fehleranfälligkeit
bereitzustellen.
-
Die
Aufgabe wird gelöst
durch ein Verfahren zur Bewertung einer Bewegung in Bilddaten nach
Anspruch 1 oder 10 sowie durch eine Vorrichtung zum Komprimieren
von Bewegungsvideodaten mittels Bewegungsbewertung nach Anspruch
19. Weiterbildungen der Erfindung sind in den Unteransprüchen gekennzeichnet.
-
Das
erfindungsgemäße Verfahren
und die erfindungsgemäße Vorrichtung
ermöglichen
eine effektive Kommunikation von Videodaten in Echtzeit mit hoher
Wiedergabetreue. Durch die Verwendung dieses Verfahrens werden Vollbewegungs-Bilddaten
dreidimensional mittels mehrfacher Modelle und zur Einstellung eines Suchbereichs
basierend auf vorausbestimmten Fehlern der Modelle derart verarbeitet,
daß eine
genauere Bewertung bzw. Abschätzung
der Bewegung erfolgen kann. Gemäß einem
bevorzugten Ausführungsbeispiel
der Erfindung wird insbesondere ein Schritt durchgeführt, bei
dem anhand eines empfangen Videosignals mit darin enthaltenen Informationen
zur Beschreibung eines Bilddatenrahmens einer vorbestimmten Auflösung (beispielsweise
352 × 344
Bildpunkte) ein erster Bilddatenrahmen erzeugt. Der erste Bilddatenrahmen
besitzt jedoch in Bezug zum Bilddatenrahmen der vorbestimmten Auflösung eine
gröbere
Auflösung
(beispielsweise 176 × 122
Bildpunkte). Darüber
hinaus wird auch ein zweiter Bilddatenrahmen mit einer bezüglich dem
ersten Bilddatenrahmen gröberen
Auflösung
(beispielsweise 88 × 61
Bildpunkte) erzeugt, so daß eine
noch wirkungsvollere Routine zur Bewe gungserfassung unter Verwendung
einer dreidimensionalen Verarbeitung erreicht werden kann.
-
Sobald
die Bilder mit verringerter Auflösung
erzeugt wurden erfolgt eine Bewertung der Bewegung im zweiten Bilddatenrahmen,
die ferner bei der Bewertung der Bewegung im ersten Bilddatenrahmen
mit höherer Auflösung verwendet
wird. Die Bewertung der Bewegung im ersten Bilddatenrahmen wird
daraufhin zur Bewertung einer Bewegung eines Bilddatenrahmens mit
einer vorbestimmten Auflösung
verwendet. Insbesondere kann eine Bewertung der Bewegung im zweiten
Bilddatenrahmen beispielsweise durch Lesen einer Vielzahl von Bewegungsvektoren
(beispielsweise neun für
eine untersuchte Größe von ± 1 Bildpunkt)
in einem Bildblocks einer vorhergehenden Version des zweiten Bilddatenrahmens
und durch Lesen von Bilddaten in einem Referenzblock einer augenblicklichen
Version des zweiten Bilddatenrahmens erfolgen. Ein optimaler Bewegungsvektor
kann auch durch die Vorausbestimmung einer Vielzahl von Bewegungsvektoren
bestimmt werden, die auf einer entsprechenden Vielzahl von Bewegungsmodellen
basieren, wobei das beste Modell und der Vektor ausgewählt wird,
bei dem die geringste Summe eines absoluten Differenzfehlers auftritt.
Sobald ein optimaler Bewegungsvektor vorausbestimmt wurde werden
die Vielzahl von vorab eingelesenen Bewegungsvektoren in Bezug auf
den optimalen Bewegungsvektor eingestellt und anschließend festgelegt,
bei welchem Vektor der kleinste relative Bewegungsfehler auftritt,
so daß dieser
Vektor als Bewertung für
die Bewegung von der vorhergehenden Version des zweiten Bilddatenrahmens
zur augenblicklichen Version des zweiten Bilddatenrahmens verwendet
werden kann. Diese Schritte werden daraufhin erneut für den ersten
Bilddatenrahmen mit höherer
Auflösung
durchgeführt,
wobei die aus dem zweiten Bilddatenrahmen erhaltene Bewertung verwendet
wird, und daraufhin erneut durchgeführt wird, so daß eine sehr
genaue Bewertung der Bewegung im Bilddatenrahmen einer vorbestimmten
Auflösung
erhalten werden kann. Die vorliegende Erfindung be zieht sich auch
auf eine Vorrichtung zum Durchführen
der vorherstehend beschriebenen Operationen.
-
Die
Erfindung wird nachstehend anhand von Ausführungsbeispielen unter Bezugnahme
auf die Zeichnung näher
beschrieben.
-
1 zeigt
eine bildliche Darstellung eines herkömmlichen 4 × 4 Block-Anpassungsverfahrens
zur Bewegungsbewertung.
-
2 zeigt
eine bildliche Darstellung eines herkömmlichen Voll-Suchverfahrens
zur Bewegungsbewertung.
-
3 zeigt
eine grafische Darstellung einer Summe von absoluten Differenzwerten
für ein
Voll-Suchverfahren zur Bewegungsbewertung.
-
4 zeigt eine bildliche Darstellung eines
herkömmlichen
Drei-Schritt-Suchverfahrens zur Bewegungsbewertung.
-
5 zeigt
eine grafische Darstellung einer Summe von absoluten Differenzwerten,
die lokale Minima ("lm") aufweist, für ein M-Schritt-Suchverfahren
zur Bewegungsbewertung.
-
6 zeigt
ein Blockschaltbild, das eine erfindungsgemäße Vorrichtung zum Durchführen der
Bewegungsbewertung darstellt.
-
7 zeigt
ein Flußdiagramm,
das die Arbeitsweise zum Bewerten einer Bewegung in Bilddaten gemäß einem
erfindungsgemäßen Ausführungsbeispiel
darstellt.
-
8 ist
ein Flußdiagramm,
das die Arbeitsweise zur Bewertung einer Bewegung in einem Bilddatenrahmen
für eine
volle oder relativ grobe Auflösung
darstellt.
-
9 zeigt
ein Flußdiagramm,
das die Arbeitsweise zum Vorausbestimmen eines optimalen Bewegungsvektors
auf der Grundlage einer Vielzahl von Modellen darstellt.
-
10 zeigt
eine bildliche Darstellung, die den vollen, ersten, zweiten und
dritten verwendeten Auflösungsrahmen
zur Bestimmung einer Bewegungsbewertung gemäß der Erfindung darstellt.
-
Die
Erfindung wird nachfolgend unter Bezugnahme auf die 6 bis 10 beschrieben.
Insbesondere zeigt 6 einen bevorzugten Hardwareaufbau
für eine
erfindungsgemäße Vorrichtung
zur Bewertung bzw. Abschätzung
einer Bewegung in Bilddaten. Die Vorrichtung besitzt eine Ein/Ausgangseinheit 10,
die Bilddaten beinhaltende externe Videosignale empfängt und
ein anhand der nachfolgend beschriebenen Operationen bestimmtes
Bewegungsbewertungssignal überträgt. Ferner
ist ein Suchspeicher 20 vorgesehen, der das empfangene
externe Videosignal und die während
der Zwischenstufen der bevorzugten Operationen zum Durchführen der
erfindungsgemäßen Bewegungsbewertung
erhaltenen Ergebnisse abspeichert. Ferner ist ein Mikrocomputer
bzw. Mikrokontroller vorgesehen, der neben anderen Dingen die Bilddatenrahmen
unterschiedlicher Auflösung
hinsichtlich eines Bilddatenrahmens mit einer vorbestimmten vollen
Auflösung
sowie ein die Bewertung der Bewegung in den empfangenen Bilddaten
repräsentierendes
Signal erzeugt. Eine Blockanpassungsschaltung (50) die
vom Mikrokontroller 30 angesteuert wird, dient zur Durchführung einer
Blockanpassung von vorzugsweise im Suchspeicher 20 abgespeicherten
Daten. Ferner ist eine Interpolationsschaltung 40 vorgesehen,
die einen Wert der im Suchspeicher 20 gespeicherten Daten
im Ansprechen auf ein Signal vom Mikrokontroller 30 interpoliert
und ein interpoliertes Signal erzeugt.
-
Mit
Bezug auf die Operationen S100 bis S900 gemäß 7 liest
der Mikrokontroller 30 die von der Ein/Ausgangseinheit 10 empfangenen
Videosignale in Schritt S100. Dieses Signal beinhaltet die Informationen zum
Aufbau eines Bilddatenrahmens mit einer vorbestimmten vollen Auflösung (beispielsweise
352 × 244
Bildpunkte). Gemäß Schritt
S200 führt
der Mikrokontroller 30 eine Operation durch, bei der ein
erster Bilddatenrahmen aus dem Bilddatenrahmen mit der vorbestimmten
Auflösung
erzeugt wird, so daß der
erste Bilddatenrahmen eine gröbere
Auflösung
(beispielsweise 176 × 122
Bildpunkte) aufweist, wie am besten in 10 dargestellt
ist. Diesem Schritt folgt ein Schritt, bei dem die dem ersten Bilddatenrahmen
entsprechenden Informationen im Suchspeicher 20 abgespeichert
werden. In Schritt S300 wird ein zweiter Bilddatenrahmen derart
erzeugt, daß der
zweite Bilddatenrahmen eine gröbere
Auflösung
(beispielsweise 88 × 61
Bildpunkte) als der erste Bilddatenrahmen aufweist, wobei dieser
Rahmen anschließend
im Suchspeicher 20 abgespeichert wird. Daraufhin wird in
Schritt S400 ein dritter Bilddatenrahmen derart erzeugt, daß der dritte
Bilddaten rahmen eine im Vergleich zum zweiten Bilddatenrahmen nochmals
gröbere
Auflösung
(beispielsweise 44 × 30,5
Bildpunkte) aufweist und dieser Rahmen anschließend ebenso im Suchspeicher 20 abgespeichert
wird.
-
Immer
noch Bezug nehmend auf 7 führt daraufhin in der Operation
S500 der Mikrokontroller 30 nach Ablauf einer vorbestimmten
Zeit anhand des dritten Bilddatenrahmens eine Bewegungsbewertung
durch, wobei man eine erste Abschätzung erhält. Diese erste Abschätzung wird
daraufhin im Suchspeicher 20 abgespeichert. Als nächstes führt der
Mikrokontroller 30 auf der Grundlage der in der Operation
S500 durchgeführten
Bewegungsbewertung eine Bewegungsbewertung des zweiten Bilddatenrahmens
durch, wobei man gemäß der Operation
S600 eine zweite Abschätzung
erhält
die daraufhin im Suchspeicher 20 abgespeichert wird. In
der nachfolgenden Operation S700 führt der Mikrokontroller 30 auf
der Grundlage der in Schritt S600 durchgeführten Bewegungsbewertung eine
Bewegungsbewertung des ersten Bilddatenrahmens durch, wobei man
eine dritte Abschätzung
erhält,
die im Speicher abgespeichert wird. Schließlich wird in der Operation
S800 eine Bewegungsbewertung der Bilddatenrahmen mit einer vorbestimmten
vollen Auflösung
vom Mikrokontroller 30 auf der Grundlage der in Schritt
S700 durchgeführten
Bewegungsbewertung durchgeführt
und diese Abschätzung
abgespeichert. Daraufhin verursacht der Mikrokontroller 30 die
Erzeugung eines Videosignals, welches die Bewegungsbewertung entsprechend
dem Vollauflösungs-Bilddatenrahmen
enthält,
wobei es in Schritt S900 über
die Eingangs/Ausgangseinheit 10 übertragen wird.
-
Unter
Bezugnahme auf 8 wird nachfolgend die Operation
S500 zur Bewegungsbewertung im dritten Datenrahmen und zum Erhalten
einer Abschätzung
der Bewegung näher
beschrieben, wobei jedoch die in dieser bevorzugten Operation durchgeführten Schritte
ebenso auf die Operationen S600 bis S800 angewendet werden können. In
der Operation S500 liest der Mikrokontroller 30 die Bewegungsvektoren
(VS) der Blöcke genau vorausgehender Bilddatenrahmen
(S510), und liest die Bilddaten in einem Referenzblock eines augenblicklichen
Bilddatenrahmens (S520). Ferner wird während der Operation S500 ein
optimaler Bewegungsvektor aus einem Bewegungsmodell vorausbestimmt
(S530) und anschließend
die Bilddaten in einem Suchbereich innerhalb des augenblicklichen
Bilddatenrahmens und um den vorausbestimmten Bewegungsvektor herum
ausgelesen (S540). Diesem Leseschritt (S540) folgt der Schritt S550,
bei dem die in Schritt S510 erhaltenen Bewegungsvektoren um den
oder relativ zu dem in Schritt S530 erhaltenen vorausbestimmten
Bewegungsvektor eingestellt oder geändert werden.
-
Gemäß den Schritten
S560 bis S599 wird eine Summe von absoluten Differenzwerten (SAD)
zwischen dem Referenzblock und dem Block der Bilddaten an einem
eingestellten Bewegungsvektor für
jeden in Schritt S550 erhaltenen eingestellten Bewegungsvektor bestimmt,
wobei der kleinste festgestellte SAD und der beim kleinsten festgestellten
SAD auftretende eingestellte Bewegungsvektor abgespeichert wird,
um ihn während der
nachfolgenden Operationen zu verwenden.
-
Mit
Bezug auf 9 wird nachfolgend die Operation
S530 zum Vorausbestimmen eines optimalen Bewegungsvektors gemäß der vorliegenden
Erfindung beschrieben. Bei Verwendung der Operation S530 kann der
Suchbereich auf der Grundlage von Vorausbestimmungsfehlern vorzugsweise
eingestellt werden, wobei die Fehler durch analysieren verschiedener
Bewegungsmodelle abgeleitet werden und die Fehler dadurch verringert
werden, daß eine
rückgekoppelte
Steuerung bzw. Regelung zum Bestimmen des besten Modells verwendet
wird, bei dem unter Verwendung der Schritte von 8 die
genaueste Bewegungsbewertung gemacht wird. Insbesondere wird in
Schritt S531 ein Bewegungsvektor mittels eines ersten Bewegungsmodells
vorausbestimmt und anschließend
in Schritt 532 eine Summe der absoluten Differenzwerte zwischen
einem Referenzblock und einem vorausbestimmten Block festgelegt,
wenn der Referenzblock eines augenblicklichen Rahmens aus einem
vorausgehenden Videorahmen unter Verwendung des vorausbestimmten
Bewegungsvektors auf der Grundlage des ersten Bewegungsmodells vorausbestimmt
wird. Anstelle jedoch lediglich ein Modell zu verwenden, werden
zur Verringerung der Wahrscheinlichkeit des Auftretens eines lokalen
Minimums ("lm") in der Differenzwertegraphik
gemäß 5 eine
Vielzahl von unterschiedlichen Modellen verwendet, was bei Verwendung
der herkömmlichen
Verfahren problematisch sein kann. Beispielsweise zeigen die Schritte S533
bis S535 das Modell, welches den Bewegungsvektor entsprechend dem
kleinsten SAD auswählt,
wenn der Schritt S532 durchgeführt
wurde, ein optimaler Bewegungsvektor erzeugt wird, der in Schritt
S530 verwendet wird.
-
Wie
nachfolgend anhand von Tabelle 1 dargestellt zeigt die vorliegende
Erfindung im Vergleich zum Voll-Suchverfahren und hierarchischen
Suchverfahren gemäß dem Stand
der Technik wesentliche Vorteile, wobei die beiden Verfahren auf
der Mittelwertbildung eines statistischen Gesamtfehlers (MSE) einer
zeitlichen Interpolation innerhalb von dreißig Rahmen beruhen, wenn eine
Blumengartensequenz und eine mobile Sequenz verwendet werden.
-
-
Darüber hinaus
ist in Tabelle 2 ein Mittelwert des statistischen Gesamtfehlers
(MSE) einer bewegungskompensierten Vorausbestimmung in dreißig Rahmen
dargestellt, bei der die vorherstehend genannten Suchverfahren verwendet
wurden. Auf der Grundlage des statistischen Gesamtfehlers der bewegungskompensierten
Vorausbestimmung ist das Voll-Suchverfahren am wirkungsvollsten,
wobei jedoch das erfindungsgemäße Verfahren
dem Voll-Suchverfahren nahezu gleichwertig ist.
-
-
Nachfolgend
wird anhand von Tabelle 3 die zum Berechnen der endgültigen Bewegungsbewertung benötigte Zeit
für die
jeweiligen Verfahren dargestellt. Unter Berücksichtigung des Zeitfaktors
erweist sich das hierarchische Suchverfahren als das wirkungsvollste,
wobei jedoch das erfindungsgemäße Verfahren
beinahe gleich wirkungsvoll ist.
-
-
-
Wie
vorherstehend beschrieben, wurde der Mikrokontroller 30 in
Verbindung mit den weiteren strukturellen Elementen gemäß 6 vorzugsweise
dafür entworfen,
die in den 7 bis 9 vorherstehend
beschriebenen Operationen durchzuführen. Erfindungsgemäß besitzt
eine Vorrichtung zum Komprimieren von Bewegungsvideodaten mittels
Bewegungsbewertung: eine Vorrichtung zum Empfangen eines Videosignals, das
Informationen zum Aufbau eines Bilddatenrahmens mit einer vorbestimmten
Auflösung
enthält;
eine Vorrichtung, die mit der Empfangsvorrichtung verbunden ist,
zum Erzeugen von Informationen zum Aufbau eines ersten Bilddatenrahmens
mit gröberer
Auflösung
als der Bilddatenrahmen mit der vorbestimmten Auflösung und
zum Erzeugen von Informationen zum Aufbauen eines zweiten Bilddatenrahmens
mit gröberer
Auflösung als
der erste Bilddatenrahmen; eine Vorrichtung, die mit der Informationserzeugungsvorrichtung
verbunden ist, zum Bewerten der Bewegung im zweiten Bilddatenrahmen
zum Erhalten einer ersten Abschätzung
und zum Bewerten einer Bewegung im ersten Bilddatenrahmen auf der
Grundlage der ersten Abschätzung
zum Erhalten einer zweiten Abschätzung;
und eine Vorrichtung, die im Ansprechen auf die Bewertungsvorrichtung
ein Videosignal überträgt, welches
eine im Bilddatenrahmen mit der vorbestimmten Auflösung enthaltene
Bewegungsbewertung auf der Grundlage der zweiten Abschätzung überträgt.
-
Ferner
besitzt die erfindungsgemäße Vorrichtung
zur Bewegungsbewertung: eine Vorrichtung zum Lesen einer Vielzahl
von Bewegungsvektoren und zum Lesen der Bilddaten in einem Referenzblock
im zweiten Bilddatenrahmen; eine Vorrichtung zum Vorausbestimmen
eines optimalen Bewegungsvektors auf der Grundlage eines Bewegungsmodells;
eine Vorrichtung, die im Ansprechen auf die Lesevorrichtung und
die Vorausbestimmungsvorrichtung die Bilddaten in einem ersten Suchbereich
des zweiten Bilddatenrahmens in der Nähe des vorausbestimmten optimalen
Bewegungsvektors ausliest; eine Vorrichtung zum Einstellen eines
der Vielzahl von Bewegungsvektoren in Bezug auf einen vorausbestimmten
optimalen Bewegungsvektor, wodurch man einen ersten Bewegungsvektor
erhält;
und eine Vorrichtung aufweist, die im Ansprechen auf die Einstellvorrichtung
eine erste Summe von absoluten Differenzwerten zwischen dem Referenzblock
und einem Block von Bilddaten am ersten Bewegungsvektor bestimmt.
-
Schließlich besitzt
die Vorrichtung zum Vorausbestimmen eines optimalen Bewegungsvektors:
eine Vorrichtung zum Vorausbestimmen eines Bewegungsvektors unter
Verwendung eines ersten Modells; eine Vorrichtung zum Bestimmen
einer Summe von absoluten Differenzwerten zwischen einem Referenzblock
und einem vorausbestimmten Block im zweiten Bilddatenrahmen, wenn
der Referenzblock aus einem vorangehenden Bilddatenrahmen unter
Verwendung des vorausbestimmten Bewegungsvektors auf der Grundlage
des ersten Modells vorausbestimmt wird; eine Vorrichtung zum Vorausbestimmen
eines Bewegungsvektors unter Verwendung eines zweiten Modells; eine
Vorrichtung zum Bestimmen einer Summe von absoluten Differenzwerten
zwischen einem Referenzblock und einem vorausbestimmten Block im
zweiten Bilddatenrahmen, wenn der Referenzblock aus einem vorangehenden
Bilddatenrahmen unter Verwendung des vorausbestimmten Bewegungsvektors
auf der Grundlage des zweiten Modells vorausbestimmt wird; und eine
Vorrichtung aufweist, die im Ansprechen auf die Vorausbestimmungs-
und die Bestimmungsvorrichtung den vorausbestimmten Bewegungsvektor
auf der Grundlage des ersten Modells als einen optimalen Bewegungsvektor
bestimmt, wenn die Summe der absoluten Differenzwerte, die unter
Verwendung des vorausbestimmten Bewegungsvektors auf der Grundlage
des ersten Modells bestimmt wurde, kleiner ist als die Summe der
absoluten Differenzwerte, die unter Verwendung des vorausbestimmten
Bewegungsvektors auf der Grundlage des zweiten Modells bestimmt
wurde.
-
In
der Beschreibung und den Zeichnungen wurden typische bevorzugte
Ausführungsbeispiele
der Erfindung offenbart, wobei trotz Verwendung bestimmter Ausdrücke diese
in einem allgemeinen Sinn zu verstehen sind und den Schutzbereich
der vorliegenden Erfindung nicht beschränken.
-
Ein
Verfahren zur Bewertung von Bewegungen in Bilddaten besitzt die
Schritte: Erzeugen eines ersten Rahmens von Bilddaten aus einem
empfangenen Videosignal, das Informationen eines Bilddatenrahmens
mit einer höheren
vorausbestimmten Auflösung
(beispielsweise 352 × 244
Bildpunkte) enthält
und Erzeugen eines zweiten Bilddatenrahmens mit gröberer Auflösung (beispielsweise
88 × 61
Bildpunkte) in Bezug auf den ersten Bilddatenrahmen. Eine Bewertung
der Bewegung im zweiten Bilddatenrahmen wird daraufhin durchgeführt und
zur Bestimmung einer Bewegungsbewertung im ersten Bilddatenrahmen
mit der höheren
Auflösung
verwendet. Die Bewertung der Bewegung im ersten Bilddatenrahmen
wird daraufhin zum Erhalten einer Bewegungsbewertung im empfangenen
Bilddatenrahmen mit der vorausbestimmten vollen Auflösung verwendet. Die
Bewertung der Bewegung im zweiten Bilddatenrahmen kann durch Lesen
einer Vielzahl von Bewegungsvektoren aus einem Bildblock in einer
vorangehenden Version des zweiten Bilddatenrahmens und dem Lesen von
Bilddaten in einem Referenzblock in einer augenblicklichen Version
des zweiten Bilddatenrahmens bestimmt werden. Zum Erhalten dieser
Bewertung wird ein optimaler Bewegungsvektor durch Vorausbestimmung
einer Vielzahl von Bewegungsvektoren auf der Grundlage einer entsprechenden
Vielzahl von Bewegungsmodellen bestimmt, wobei das beste Modell
ausgewählt
wird und der Vektor mit dem kleinsten Differenzsignal weiterverwendet
wird. Sobald ein optimaler Bewegungsvektor vorausbestimmt wurde,
werden die Vielzahl der vorab gelesenen Bewegungsvektoren in Bezug
auf den optimalen Bewegungsvektor eingestellt bzw. geändert. Daraufhin
erfolgt eine Bestimmung, welcher der Vielzahl von Vektoren den kleinsten
relativen Bewegungsfehler aufweist, so daß dieser Vektor als eine Bewertung
für die
Bewegung aus der vorangehenden Version des zweiten Bilddatenrahmens
gegenüber
der augenblicklichen Version des zweiten Bilddatenrahmens verwendet
werden kann. Diese Schritte werden daraufhin erneut für den ersten
Bilddatenrahmen mit höherer Auflösung durchgeführt, wobei
die aus dem zweiten Bilddatenrahmen erhaltene Bewertung verwendet
wird. Anschließend
wird sie erneut durchgeführt,
so daß man
eine hochgenaue Bewertung der Bewegung im Bilddatenrahmen mit vorbestimmter
Auflösung
erhält.
