DE19506372A1 - Bi-Direktionales Bewegungsschätzverfahren und ein dafür vorgesehenes Gerät - Google Patents
Bi-Direktionales Bewegungsschätzverfahren und ein dafür vorgesehenes GerätInfo
- Publication number
- DE19506372A1 DE19506372A1 DE1995106372 DE19506372A DE19506372A1 DE 19506372 A1 DE19506372 A1 DE 19506372A1 DE 1995106372 DE1995106372 DE 1995106372 DE 19506372 A DE19506372 A DE 19506372A DE 19506372 A1 DE19506372 A1 DE 19506372A1
- Authority
- DE
- Germany
- Prior art keywords
- motion
- frame
- information
- movement
- shape information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01F—MAGNETS; INDUCTANCES; TRANSFORMERS; SELECTION OF MATERIALS FOR THEIR MAGNETIC PROPERTIES
- H01F38/00—Adaptations of transformers or inductances for specific applications or functions
- H01F38/42—Flyback transformers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Power Engineering (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Processing Or Creating Images (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
Die Erfindung betrifft ein Bewegungsschätzverfahren gemäß dem
Oberbegriff des Patentanspruchs 1.
In der heutigen Informationsgesellschaft besteht eine immer
stärker werdende Tendenz dazu, größere Mengen an Information
zu empfangen und zu verarbeiten. Um die bestehenden
Übertragungsbänder effizienter auszunützen, ist folglich eine
Datenkompression wesentlich. Hinsichtlich digitaler
Videosignale, welche sehr große Speicherkapazitäten erfordern,
ermöglicht insbesondere die Kompression das effiziente
Speichern, Erfassen und Übertragen großer Mengen an
Information. Daher wurden viele Videodaten
kompressionstechnologien entwickelt.
Die Videodatenkompressionstechnologie (Kodierungsmethoden
kann als Verlust behaftet oder verlustfrei klassifiziert
werden entsprechend dem bei ihrer Verwendung auftretenden Grad
an Informationsverlust. Diese Technologie kann ferner in ein
Intra-Rahmenkodierverfahren, bei welchem die vorhandene
räumliche Überlappung in einem Standbild entfernt wird, und in
ein Intra-Rahmenkodierverfahren, bei welchem die vorhandene
Zeitüberlappung in einem Bewegtbild entfernt wird, unterteilt
werden.
Andererseits kann eine andere Art der Klassifizierung für Vi
deodatenkompression durchgeführt werden; d. h. abhängig davon,
ob die Technik ein Kodierverfahren der "ersten Generation"
oder der "zweiten Generation" ist. Beim Kodieren gemäß der
ersten Generation ist der Informationsverlust klein und die
internationalen Standards sind auf dem Wege, etabliert zu
werden. Kodierverfahren der ersten Generation umfassen das
räumliche Kodieren (beispielsweise Pulscode-Modulation,
Differenz-Pulscode-Modulation oder Delta-Modulation),
Transformationskodierung (beispielsweise Karhunen-Loeve,
Fourier, Harr, Hadamard, Sinus oder Cosinus), hybride
Kodierung, welche die räumlichen und Transforma
tionskodierungstechniken kombiniert, und bewegungskompen
siertes Kodieren, welches für bewegte Bilder verwendet wird.
Beim Kodieren gemäß der zweiten Generation werden spezifische
Bildcharakteristika in Verbindung mit dem menschlichen Sehsy
stem selbst verwendet. Solche Kodierverfahren der zweiten
Generation umfassen Pyramiden-Kodieren, anisotropisches,
nichtstationäres prädiktives Kodieren, auf Kontur-Textur bzw.
Umrißstruktur orientierte Techniken, und gerichtete, auf
Zerlegung basierende Kodierung.
Unter den oben genannten Verfahren wird das bewegungskompen
sierte Kodierverfahren für hochauflösende Fernsehübertragungs
systeme (HDTV) und für standardisierte Schemata der
Bewegtbild-Expertengruppen (MPEG: Moving Picture Experts
Group) verwendet. Bewegungsschätzverfahren, welche beim
bewegungskompensierten Kodieren verwendet werden, umfassen ein
Bildelement bzw. Abtast-rekursiven Algorithmus und einen
Blockgleichheitsprüfalgorithmus, und obwohl der Abtastwert
rekursive Algorithmus genauer ist, ist der
Blockgleichheitsprüfalgorithmus weit verbreitet für
Bewegtbildsysteme angesichts von Echtzeitverarbeitung und
vereinfachter Schaltkreisimplementation. Bei Verwendung des
Blockgleichheitsprüfalgorithmus wird ein Bild in Blöcke aufge
teilt, welche eine konstante Größe aufweisen, beispielsweise
16×16 oder 8×8, und dann wird ein Bewegungsvektor für jeden
Block unter Verwendung eines minimalen absoluten Fehlers er
mittelt. Der Blockgleichheitsprüfalgorithmus (beschrieben in
den US-Patenten 51 51 784, 50 60 064 und 48 64 394) wird für
die MPEG-1- und MPEG-2-Standards verwendet.
Zusätzlich wurde ein Verfahren vorgeschlagen, bei welchem eine
räumliche Koordinate in eine Frequenzkoordinate umgewandelt
wird unter Verwendung eines schnellen Fourier-Transformations
koeffizienten (FFT: fast Fourier transform), und dann wird die
Bewegung unter Verwendung der Spitzenverteilung der Frequenz
daten geschätzt (siehe "Motion Detection Using 3-D FFT Spec
trum", von Arica Kojima, Norihoko Sakurai und Junichi
Kishikami in ′93 ICASSAP, April 1993). In ähnlicher Weise
wurde ebenfalls ein Bewegungsschätzverfahren, welches
Transformationstechnik für kleine Wellen (WT: wavelet
transform) verwendet, vorgeschlagen (siehe "Motion Estimation
with Wavelet Transform and the Application to Motion
compensated Interpolation", von C.K. Cheong, K. Aizawa, T.
Saito und M. Hatori in ′93 ICASSAP, April 1993).
Der Vorteil all dieser Verfahren liegt darin, daß sie Bewegung
mit relativer Präzision für die meisten Videosequenzen
schätzen können. Bei dem Blockgleichheitsprüfverfahren ist es
jedoch nicht möglich, Bewegungsvektoren zu suchen, falls
Objekte mit entgegengesetzter Bewegung in einem gegebenen
Block enthalten sind. Ferner führen das FFT- und WT-Verfahren
zu einem Verlust an Verarbeitungszeit und zu einer übermäßig
komplexen Transformation der räumlichen Koordinaten. Da die
strukturelle Variation eines sich durch ein Bild bewegenden
Objektes nicht berücksichtigt wird, kann auch eine auf das
Objekt basierende Bewegung nicht genau geschätzt werden.
Aufgrund der Nachteile der oben genannten Verfahren können
diese nicht für die digitale Videokompression der
Bewegtbilder-Kommunikationssysteme der nächsten Generation
verwendet werden, wie Videotelefone, Videokonferenzen und
andere Arten an Audio-Video-Kommunikation, welche ein
dienstintegriertes Digitalnetz (ISDN) verwenden.
Um die oben genannten Probleme zu lösen, ist es daher eine
Aufgabe der Erfindung, ein Bewegungsschätzverfahren zum Kom
pensieren eines konstanten Bereiches lediglich durch
Bewegungsvektoren zu schaffen, indem man sich bewegende
Objekte in einem gegebenen Bereich in einem beliebigen Typ
filtert und eine bi-direktionale Bewegungsvorhersage in der
Einheit des gefilterten Objekts durchführt in einem
Bewegtbild-Codec-System mit niedriger Bit-Rate.
Diese Aufgabe wird erfindungsgemäß durch die Merkmale im kenn
zeichnenden Teil des Patentanspruchs 1 gelöst.
Weitere Merkmale ergeben sich aus den Unteransprüchen.
Die Erfindung schafft ein bi-direktionales Bewegungsschätzver
fahren und ein dafür vorgesehenes Gerät in einem Bewegtbild
video-Codec-System mit einer niedrigen Bit-Rate und, genauer
gesagt, ein Bewegungsschätzverfahren und ein dafür
vorgesehenes Gerät zum Ausgleichen eines konstanten Bereichs
unter Verwendung von lediglich Bewegungsvektoren, indem man
eine bi-direktionale Bewegungsschätzung in Einheiten
gefilterter Objekte
durchführt.
Die Erfindung schafft ferner ein Gerät, welches für die Imple
mentierung des Bewegungsschätzverfahrens am geeignetsten ist.
Zur Erfüllung der Aufgabe weist das Bewegungsschätzverfahren
in einem Bewegtbild-Codec-System mit niedriger Bit-Rate gemäß
der Erfindung die folgenden Schritte auf:
- (a) Schätzen der Bewegung eines Objekts, welches dieselbe Bewegung für den Bereich aufweist, bei dem Bewegung an einem vorbestimmten Block in einem Rahmen erzeugt wird, und Filtern von Bewegungsinformation, welche Auskunft darüber gibt, in welche Richtung das gesuchte Objekt in dem derzeitigen Rahmen sich bewegt hat, und Information über die Form des Objekts;
- (b) Filtern der Bewegungsinformation, welche angibt, in welche Richtung das Objekt in dem nächsten Rahmen zu bewegen ist, und der Indexinformation des Objektes, indem man die Forminformation des Objektes verwendet, welches in dem laufenden Rahmen in Schritt (a) gesucht wird; und
- (c) selektive Übertragung der Information und des Forminformationsausgangssignals in dem Schritt (a) oder des Bewegungs- und Indexinformationsausgangssignals in dem Schritt (b) in Übereinstimmung mit den Bewegungsschätzbetriebsarten der zuvor festgelegten Rahmen.
Ein bi-direktionales Bewegungsschätzgerät mit niedriger Bit-
Rate gemäß der Erfindung weist auf:
eine Rückwärtsbewegungsschätzvorrichtung zur Schätzung der Bewegung eines Objekts, welches dieselbe Bewegung für den Be reich aufweist, bei dem Bewegung bei einem vorbestimmten Block in einem Rahmen erzeugt wird, und Filtern von
Bewegungsinformation, welche darstellt, in welche Richtung sich das gesuchte Objekt in dem derzeitigen Rahmen bewegt hat, und der Forminformation des Objekts; eine
Vorwärtsbewegungsschätzvorrichtung zur Filterung der Bewegungsinformation, welche die Richtung angibt, in welche das Objekt in dem nächsten Rahmen zu bewegen ist, und
Indexinformation des Objekts unter Verwendung der Forminfor mation des Objekts, welches in dem derzeitigen Rahmen mittels der Rückwärtsbewegungsschätzvorrichtung gesucht wird; und
eine Betriebsart- und Datenauswählvorrichtung zum selektiven Übertragen der Information und des vom Forminformationsaus gangssignals aus der Rückwärtsbewegungsschätzvorrichtung oder der Bewegung und des Indexinformationsausgangssignals aus der Vorwärtsbewegungsschätzvorrichtung in Übereinstimmung mit den Bewegungsschätzbetriebsarten der zuvor festgelegten Rahmen.
eine Rückwärtsbewegungsschätzvorrichtung zur Schätzung der Bewegung eines Objekts, welches dieselbe Bewegung für den Be reich aufweist, bei dem Bewegung bei einem vorbestimmten Block in einem Rahmen erzeugt wird, und Filtern von
Bewegungsinformation, welche darstellt, in welche Richtung sich das gesuchte Objekt in dem derzeitigen Rahmen bewegt hat, und der Forminformation des Objekts; eine
Vorwärtsbewegungsschätzvorrichtung zur Filterung der Bewegungsinformation, welche die Richtung angibt, in welche das Objekt in dem nächsten Rahmen zu bewegen ist, und
Indexinformation des Objekts unter Verwendung der Forminfor mation des Objekts, welches in dem derzeitigen Rahmen mittels der Rückwärtsbewegungsschätzvorrichtung gesucht wird; und
eine Betriebsart- und Datenauswählvorrichtung zum selektiven Übertragen der Information und des vom Forminformationsaus gangssignals aus der Rückwärtsbewegungsschätzvorrichtung oder der Bewegung und des Indexinformationsausgangssignals aus der Vorwärtsbewegungsschätzvorrichtung in Übereinstimmung mit den Bewegungsschätzbetriebsarten der zuvor festgelegten Rahmen.
Nachfolgend wird eine bevorzugte Ausführungsform der Erfindung
anhand der Zeichnungen zur Erläuterung weiterer Merkmale be
schrieben.
Es zeigen:
Fig. 1 ein Blockdiagramm eines bi-direktionalen Bewegungs
schätzgerätes gemäß einer Ausführungsform der Erfindung;
Fig. 2 die Rahmenanordnung zur Erläuterung der Beziehung zwi
schen Vorwärtsbewegungsvorhersage und
Rückwärtsbewegungsvorhersage, welche bei der Erfindung
angewandt werden;
Fig. 3 die Richtung beim Schätzen der Bewegung eines Objekts
in dem derzeitigen Rahmen (N), dem vorangegangenen Rahmen (N-
1) und dem nächsten Rahmen (N+1); und
Fig. 4A und 4B den Suchprozeß des Bewegungsabstandes von der
Randkomponente des zuvor bei der Vorwärtsbewegungsvorhersage
gesuchten Objektes zu dem nächsten Rahmen.
Entsprechend Fig. 1 enthält ein bi-direktionales Bewegungs
schätzgerät gemäß einer bevorzugten Ausführungsform der Erfin
dung einen Rahmenspeicher 20 zum Speichern von
Eingangsvideosequenzen 10 für jeden Rahmen, eine
Vorwärtsbewegungsschätzvorrichtung 40 und eine Rückwärts
bewegungsschätzvorrichtung 30 zur unabhängigen Schätzung der
Vorwärts- und Rückwärtsbewegungen in bezug auf die in dem
Rahmenspeicher 20 gespeicherten Videosequenzen 10, eine
Betriebsart- und Datenauswählvorrichtung 50 zur Bestimmung, ob
der derzeitige Rahmen eine Vorwärtsschätzbetriebsart oder eine
Rückwärtsschätzbetriebsart auswählt, durch den Empfang des
Bewegungsschätzergebnisses der Vorwärtsschätzvorrichtung 40
und der Rückwärtsschätzvorrichtung 30, und zum selektiven
Abgeben der entsprechenden Daten gemäß der Bewe
gungschätzbetriebsart des derzeitigen Rahmens. Weiterhin ist
ein Übertragungspuffer 60 zur Übertragung der Datenausgangs
signale aus der Betriebsart- und Datenauswählvorrichtung 50
mit einer konstanten Rate vorgesehen. Die Vorwärts
bewegungsschätzvorrichtung 40 enthält eine Bewe
gungsschätzvorrichtung 41, einen zweiten Bewegungsvektorfilter
42 und eine Forminformationsindexiervorrichtung 43. Die Rück
wärtsbewegungsschätzvorrichtung 30 enthält eine
Subtrahiereinrichtung 31, ein Bewegungskomponentenfilter 32,
ein Filter 33 für ein identisches Bewegungsobjekt, ein erstes
Bewegungsvektorfilter 34, ein Forminformationsfilter 35, einen
Bewegungskompensator bzw. eine Bewegungsausgleichvorrichtung
36 und einen Wiedergabe- bzw. Reproduktionsspeicher 37.
Fig. 2 zeigt die Rahmenanordnung, welche die Beziehung
zwischen der Vorwärtsbewegungsvorhersage und der
Rückwärtsbewegungsvorhersage darstellt, wie sie bei der
Erfindung angewandt wird. Gemäß der Erfindung wird von den
aufeinanderfolgenden Videosequenzen lediglich der erste Rahmen
an eine Empfängerstufe als ein interner Rahmen I übertragen
und daraufhin die Bewegung der nachfolgenden Rahmen mit
ungerader Zahl in der Rückwärtsschätzbetriebsart (PR) und die
Bewegung der nachfolgenden Rahmen mit gerader Zahl durch die
Vorwärtsschätzbetriebsart (PV) geschätzt.
Fig. 3 zeigt ein Beispiel einer Vorwärtsbewegungs- und Rück
wärtsbewegungsschätzung, welche für ein ausgewähltes Objekt,
d. h. ein individuelles Objekt, welches eine gegebene Bewegung
aufweist, durchgeführt wird. Auf der Grundlage eines in dem N-
ten Rahmen (derzeitiger Rahmen) gefilterten Objekts wird
zuerst die Bewegungsdistanz des Objektes von dem (N-1)-ten
Rahmen (vorangegangener Rahmen) geschätzt, was
Rückwärtsbewegungsschätzung genannt wird. Hinsichtlich des
(N+1)-ten Rahmens (nächster Rahmen) wird ermittelt, wie weit
das Objekt des N-ten Rahmens sich bewegt hat, was
Vorwärtsbewegungsschätzung genannt wird.
Fig. 4A und 4B zeigen den Suchprozeß bzw. die Ermittlung des
Bewegungsvektors durch Schätzung der auf dem Objekt
basierenden Bewegung unter Verwendung der Randbestandteile
bzw. -komponenten (Forminformation) des Objektes, welches in
dem derzeitigen Rahmen oder in einem sehr kleinen Block
gesucht wird. Unter Verwendung der Randkomponenten bzw. der
Randbestandteile des Objekts, welche aus dem N-ten Rahmen
ausgewählt werden, wird der Bereich mit dem kleinsten
absoluten Fehlerwert ausgewählt durch Suchen eines
vorbestimmten Bereiches des N+1-ten Rahmens in Pixel-Einheiten
oder sehr kleinen Blöcken, wobei die Bewegungsdistanz als der
Bewegungsvektor des Objekts selektiert wird, wie durch einen
großen Pfeil angezeigt ist.
Im folgenden wird die Arbeitsweise der Erfindung unter Bezug
nahme auf die Fig. 1 bis 4B beschrieben.
Auf der Grundlage der Videosequenzanordnung wechseln sich die
Rückwärtsvorhersage und die Vorwärtsvorhersage zur Durch
führung einer Bewegungsschätzung ab, was unter Bezugnahme auf
Fig. 1 beschrieben wird.
Der Kern der Erfindung liegt darin, die Forminformation des
gesuchten Objektes zur Schätzung der Rückwärts- und Vorwärts
bewegung zu verwenden und lediglich die Daten, welche durch
eine gegebene Betriebsartauswählvorrichtung unter den Rück
wärts- und Vorwärtsbewegungsschätzergebnissen selektiert wer
den, zu übertragen.
Der Rückwärtsbewegungsvorhersageprozeß wird als erstes be
schrieben.
Digitalisierte Videosequenzen 10 werden aufeinanderfolgend in
Rahmeneinheiten in einen Rahmenspeicher 20 eingegeben und ge
speichert. Eine Subtrahiereinrichtung 31 berechnet eine Diffe
renzkomponente zwischen den in dem Rahmenspeicher 20 gespei
cherten Daten des derzeitigen Rahmens und den Ausgangsdaten
aus dem Reproduktionsspeicher 37, welcher die als Bezug für
die Übertragungsstufe reproduzierten Bilder örtlich speichert,
unter Verwendung der Forminformation und der Bewegungsinforma
tion des vorher übertragenen Rahmens. Das Bewegungskomponenten
filter 32 filtert eine Inter-Rahmenbewegungskomponente aus dem
Differenzkomponentenausgangssignal der Subtrahiereinrichtung
31 und speichert lediglich die Bildabschnitte, bei denen im
wesentlichen Bewegung erzeugt wird. Ein identisches Bewegungs
objektfilter 33 sortiert die Komponenten, welche eine Bewegung
in derselben Richtung aufweisen, unter denjenigen Abschnitten,
bei denen Bewegung im wesentlichen erzeugt wird, indexiert
dieselben Objekte gemäß der Einheitengröße und speichert die
jeweils indexierten Objekte nacheinanderfolgend. Das erste
Bewegungsvektorfilter 34 schätzt die Richtung ab, in welche
sich das derzeitige Objekt (N-ter Rahmen) bezüglich einem vor
her reproduzierten Bild, welches in dem Reproduktionsspeicher
37 gespeichert ist, bewegt hat, auf der Grundlage derjenigen
Objekte, welche dieselbe Bewegung aufweisen und welche jeweils
in einem identischen Bewegungsobjektfilter 33 gespeichert
sind. Zu diesem Zeitpunkt wird derjenige Abschnitt, welcher
den kleinsten mittleren absoluten Fehler (MAF) für den
reproduzierten Pixel-Wert aufweist und der Wert der
entsprechenden Pixel, welche das Objekt bilden, als
Bewegungsvektor ausgewählt. Folglich wird der Bewegungsvektor,
welcher beim Suchen eines vorbestimmten Bereiches in dem
ersten Bewegungsvektorfilter 34 gespeichert ist, und die
Randkomponenten (Forminformation) des Objekts in einem Form
informationsfilter 35 gespeichert. Die so erhaltene Form- und
Bewegungsinformation wird der Betriebsart- und Daten
auswählvorrichtung 50 zugeführt.
Im folgenden wird der Vorwärtsbewegungsvorhersageprozeß be
schrieben.
Videodaten des derzeitigen Rahmens, welche in dem Rahmenspei
cher 20 gespeichert sind, Videodaten des vorangegangenen Rah
mens, welche in dem Reproduktionsspeicher 37 gespeichert sind,
Forminformation der jeweiligen indexierten Objekte, welche in
dem Forminformationsfilter 35 gespeichert sind und zur Vorher
sage der Rückwärtsbewegung verwendet werden, sowie Daten für
den Abschnitt, bei dem die Bewegung im wesentlichen erzeugt
wurde und welche in dem Bewegungskomponentenfilter 32 gespei
chert sind, werden der Bewegungsschätzvorrichtung 41
zugeführt. Die Bewegungsschätzvorrichtung 41 schätzt die
Bewegung des Objekts unter Verwendung der Forminformation des
Objekts, welche aus dem vorangegangenen Rahmen und der
Bereichsinformation der Bewegungskomponenten des derzeitigen
Rahmens erhalten werden. Das zweite Bewegungsvektorfilter 42
sucht dann den Bewegungsvektor, welcher anzeigt, wohin sich
das reproduzierte Bild, welches die entsprechende
Forminformation aufweist, bewegt hat, unter Verwendung nur der
aus dem vorangegangenen Rahmen erhaltenen Forminformation, wie
sie in Fig. 4 gezeigt ist. Zu diesem Zeitpunkt wird der MAF-
Wert als Basis für die Bewegungsschätzung verwendet.
Der so erhaltene Bewegungsvektor wird in einem zweiten Bewe
gungsvektorfilter 42 gespeichert. Der Index der Forminforma
tion, welcher bei der Bewegungsschätzung verwendet wird, wird
aus dem Forminformationsfilter 35 empfangen, und dann werden
lediglich diese Indexinformation und Bewegungsinformation an
die Betriebsart- und Datenauswählvorrichtung 50 über eine
Forminformationsindiziervorrichtung 43 übertragen.
Die Betriebsart- und Datenauswählvorrichtung 50 bestimmt, ob
Rückwärtsvorhersagedaten oder Vorwärtsvorhersagedaten ausge
wählt werden in Übereinstimmung zu der Bewegungsvorhersagebe
triebsart des derzeitigen Rahmens und in Abhängigkeit von der
Rahmenanordnung, wie sie in Fig. 2 gezeigt ist, so daß die
Empfängerseite den derzeitigen Rahmen lediglich unter Verwen
dung der Forminformationsindizes aus dem vorangegangenen
Rahmen reproduzieren bzw. wiedergeben kann.
Im Falle von unterschiedlichen Bewegungskomponenten des
derzeitigen Rahmens und des vorangegangenen Rahmens kann ein
Ausgleich bzw. eine Kompensierung für den Bereich, für welchen
die Bewegungsinformation nicht gefiltert ist, durchgeführt
werden, indem eine getrennte Zwischenrahmenbetriebsart zur
Übertragung der Bereichsinformation geschaffen wird.
Zusammenfassend werden die Rückwärtsbewegungsvorhersage, die
Forminformation und Bewegungsinformation (Bewegungsvektor)
eines Objektes mit derselben Bewegung übertragen. Mit der Vor
wärtsbewegungsvorhersage wird die Bewegung geschätzt unter
Verwendung der Forminformation des vorher übertragenen Objek
tes, und lediglich die Bewegungsinformation wird dann übertra
gen, wodurch Daten durch die Forminformation erhalten werden,
was zu einer beträchtlichen Reduzierung der bei der
Kompression verwendeten Informationsmenge führt.
Die Erfindung kann allgemein für Videokommunikationssysteme
wie öffentliche Wähltelefonnetze, lokale Netzwerke (LAN) oder
drahtlose Netzwerke angewendet werden. Insbesondere, da die
Erfindung für eine sich bewegende Videoübertragung in einem
mobilen Kommunikationssystem angewendet werden kann, erstreckt
sich dessen Anwendungsgebiet über einen weiten Bereich ein
schließlich der internationalen Standardtechnologie der näch
sten Generation.
Wie oben beschrieben, kann das bi-direktionale
Bewegungsschätzverfahren und ein dafür vorgesehenes Gerät
gemäß der Erfindung in einer Bewegung mit niedriger Bit-Rate
den genauen Bewegungsvektor im Vergleich zu dem bestehenden
Blockgleichheitsprüfalgorithmus finden und die Inter-
Rahmenbewegung mit weniger Information darstellen. Daher
werden merklich weniger Daten (für Kompression) verwendet, und
die Qualität des rekonstruierten Bildes wird verbessert.
Da die Bewegungsinformation gefiltert wird und in Einheiten
des bewegten Objekts kompensiert bzw. ausgeglichen wird, ist
ferner der "Blockiereffekt" (blocking effect) des Bildes
lediglich leicht sichtbar. Insbesondere kann im Falle eines
großen Objekts mit wenig Bewegung, beispielsweise digitale
Videotelefonbilder, Kompressionszeit eingespart werden.
Ein bi-direktionales Bewegungsschätzverfahren und ein dafür
vorgesehenes Gerät in einem Bewegtbildvideo-Codec-System mit
niedriger Bit-Rate, zum Filtern eines Bewegungsvektors, indem
man eine bi-direktionale Bewegungsschätzung in Einheiten an
Objekten durchführt, welche dieselbe Bewegung in einem
konstanten Bereich aufweisen, und zum Kompensieren bzw.
Ausgleichen der Bewegung und zur Verwendung des
Bewegungsvektors, welche infolge einer Vorwärts- oder
Rückwärtsbewegungsvorhersage gemäß einer
Bewegungsvorhersagebetriebsart eines vorher festgelegten
Rahmens erzeugt wird, das den genauen Bewegungsvektor im Ver
gleich zu dem existierenden Blockgleichheitsprüfalgorithmus
bestimmen und die Inter-Rahmenbewegung mit einer geringeren
Informationsmenge darstellen kann. Daher werden merklich weni
ger Daten (für die Kompression) verwendet, und die Qualität
des wiederzusammengesetzten Bildes wird verbessert.
Claims (4)
1. Bewegungsschätzverfahren in einem Bewegtbild-Codec-System
mit niedriger Bit-Rate, dadurch gekennzeichnet,
daß es folgende Schritte aufweist:
- (a) Schätzen der Bewegung eines Objekts, welches diesel be Bewegung für denjenigen Bereich aufweist, in dem die Bewegung bei einem vorbestimmten Block in einem Rahmen erzeugt wird, und Filtern der Bewegungsin formation, welche die Richtung, in welche sich das gesuchte Objekt in dem derzeitigen Rahmen bewegt hat, angibt, und der Forminformation des Objekts;
- (b) Filtern der Bewegungsinformation, welche die Rich tung angibt, in welche das Objekt in dem nächsten Rahmen zu bewegen ist, und der Indexinformation des Objekts unter Verwendung der Forminformation des Objekts, welches in dem derzeitigen Rahmen durch den Schritt (a) gesucht wird; und
- (c) selektive Übertragung der Information und des Form informationsausgangssignals in Schritt (a) oder des Bewegungs- und Indexinformationsausgangssignals in Schritt (b) in Übereinstimmung mit Bewegungsschätzbetriebsarten der vorher festgelegten Rahmen.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet,
daß in Schritt (c) unter nacheinanderfolgenden Videose
quenzen lediglich der erste Rahmen an eine Empfängerstufe
als ein interner Rahmen übertragen wird und daraufhin die
Rahmen mit ungerader Zahl die Bewegung in einer
Rückwärtsvorhersagebetriebsart schätzen und die Rahmen
mit gerader Zahl die Bewegung in einer
Vorwärtsvorhersagebetriebsart schätzen.
3. Bi-direktionales Bewegungsschätzgerät in einem
Bewegtbild-Codec-System mit niedriger Bit-Rate,
gekennzeichnet durch:
eine Rückwärtsbewegungsschätzvorrichtung (30) zur Schät zung der Bewegung eines Objektes, welches dieselbe Bewe gung für denjenigen Bereich aufweist, bei dem die Bewegung an einem vorbestimmten Block in einem Rahmen erzeugt wird, und zum Filtern der Bewegungsinformation, welche die Richtung darstellt, in die sich das in dem derzeitigen Rahmen gesuchte Objekt bewegt hat, und der Forminformation des Objektes;
eine Vorwärtsbewegungsschätzvorrichtung (40) zur Filterung der Bewegungsinformation, welche die Richtung darstellt, in die das Objekt in dem nächsten Rahmen zu bewegen ist, und der Indexinformation des Objektes unter Verwendung der Forminformation des in dem derzeitigen Rahmen mittels der Rückwärtsbewegungsschätzvorrichtung gesuchten Objektes; und
eine Betriebsart- und Datenauswählvorrichtung (50) zum selektiven Übertragen der Information und des Informa tionsausgangssignals aus der Rückwärtsbewegungsschätzvor richtung oder des Bewegungs- und Indexinformationsaus gangssignals aus der Vorwärtsbewegungsschätzvorrichtung gemäß der Bewegungsschätzbetriebsarten der vorangehend festgelegten Rahmen.
eine Rückwärtsbewegungsschätzvorrichtung (30) zur Schät zung der Bewegung eines Objektes, welches dieselbe Bewe gung für denjenigen Bereich aufweist, bei dem die Bewegung an einem vorbestimmten Block in einem Rahmen erzeugt wird, und zum Filtern der Bewegungsinformation, welche die Richtung darstellt, in die sich das in dem derzeitigen Rahmen gesuchte Objekt bewegt hat, und der Forminformation des Objektes;
eine Vorwärtsbewegungsschätzvorrichtung (40) zur Filterung der Bewegungsinformation, welche die Richtung darstellt, in die das Objekt in dem nächsten Rahmen zu bewegen ist, und der Indexinformation des Objektes unter Verwendung der Forminformation des in dem derzeitigen Rahmen mittels der Rückwärtsbewegungsschätzvorrichtung gesuchten Objektes; und
eine Betriebsart- und Datenauswählvorrichtung (50) zum selektiven Übertragen der Information und des Informa tionsausgangssignals aus der Rückwärtsbewegungsschätzvor richtung oder des Bewegungs- und Indexinformationsaus gangssignals aus der Vorwärtsbewegungsschätzvorrichtung gemäß der Bewegungsschätzbetriebsarten der vorangehend festgelegten Rahmen.
4. Gerät nach Anspruch 3, dadurch gekennzeichnet,
daß in der Betriebsart- und Datenauswählvorrichtung (50)
unter aufeinanderfolgenden Videosequenzen lediglich der
erste Rahmen an eine Empfängerstufe als interner Rahmen
übertragen wird und daraufhin die Rahmen mit ungerader
Zahl die Bewegung in einer Rückwärtsvorhersagebetriebsart
und die Rahmen mit gerader Zahl die Bewegung in einer
Vorwärtsvorhersagebetriebsart schätzen.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR94-21560 | 1994-08-30 | ||
KR1019940021560A KR100287211B1 (ko) | 1994-08-30 | 1994-08-30 | 양방향 움직임 추정방법 및 장치 |
Publications (2)
Publication Number | Publication Date |
---|---|
DE19506372A1 true DE19506372A1 (de) | 1996-03-07 |
DE19506372B4 DE19506372B4 (de) | 2004-12-30 |
Family
ID=19391476
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE1995106372 Expired - Fee Related DE19506372B4 (de) | 1994-08-30 | 1995-02-23 | Bi-Direktionales Bewegungsschätzverfahren und ein dafür vorgesehenes Gerät |
Country Status (5)
Country | Link |
---|---|
US (1) | US5642166A (de) |
JP (1) | JP3736869B2 (de) |
KR (1) | KR100287211B1 (de) |
DE (1) | DE19506372B4 (de) |
FR (1) | FR2724083B1 (de) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1065883A2 (de) * | 1997-04-09 | 2001-01-03 | Matsushita Electric Industrial Co., Ltd. | Prediktives Bilddekodierungsverfahren |
Families Citing this family (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6052414A (en) * | 1994-03-30 | 2000-04-18 | Samsung Electronics, Co. Ltd. | Moving picture coding method and apparatus for low bit rate systems using dynamic motion estimation |
US5825929A (en) * | 1995-10-05 | 1998-10-20 | Microsoft Corporation | Transformation block optimization method |
DE69633129T2 (de) * | 1995-10-25 | 2005-08-04 | Sarnoff Corp. | Waveletbaum-bildcoder mit überlappenden bildblöcken |
US5778100A (en) * | 1996-03-08 | 1998-07-07 | Lucent Technologies Inc. | Method and apparatus for reducing the bit rate in a video object planes sequence coder |
US6037988A (en) * | 1996-03-22 | 2000-03-14 | Microsoft Corp | Method for generating sprites for object-based coding sytems using masks and rounding average |
EP0840510B1 (de) | 1996-05-17 | 2003-01-29 | Matsushita Electric Industrial Co., Ltd. | Bilddecodierer |
KR100209413B1 (ko) * | 1996-05-23 | 1999-07-15 | 전주범 | 블럭-기반 비디오 신호 부호화 시스템에 이용하기 위한그리드 결정방법 |
US6075875A (en) * | 1996-09-30 | 2000-06-13 | Microsoft Corporation | Segmentation of image features using hierarchical analysis of multi-valued image data and weighted averaging of segmentation results |
DE19746611A1 (de) * | 1997-10-22 | 1999-04-29 | Bosch Gmbh Robert | Verfahren zur Verbesserung der Konturcodierung von Bildsequenzen sowie Anwendung |
US6400831B2 (en) | 1998-04-02 | 2002-06-04 | Microsoft Corporation | Semantic video object segmentation and tracking |
US6249548B1 (en) | 1998-07-10 | 2001-06-19 | U.S. Phillips Corporation | Motion vector processing |
JP3688489B2 (ja) * | 1998-12-25 | 2005-08-31 | 株式会社東芝 | 画像認識方法および画像認識装置 |
US6499060B1 (en) * | 1999-03-12 | 2002-12-24 | Microsoft Corporation | Media coding for loss recovery with remotely predicted data units |
WO2000070558A1 (fr) * | 1999-05-18 | 2000-11-23 | Sanyo Electric Co., Ltd. | Procede et dispositif de traitement d'image dynamique et support |
SG89282A1 (en) | 1999-05-28 | 2002-06-18 | Kent Ridge Digital Labs | Motion information extraction system |
GB2352076B (en) * | 1999-07-15 | 2003-12-17 | Mitsubishi Electric Inf Tech | Method and apparatus for representing and searching for an object in an image |
US6738424B1 (en) | 1999-12-27 | 2004-05-18 | Objectvideo, Inc. | Scene model generation from video for use in video processing |
KR100708091B1 (ko) * | 2000-06-13 | 2007-04-16 | 삼성전자주식회사 | 양방향 움직임 벡터를 이용한 프레임 레이트 변환 장치 및그 방법 |
US7088776B2 (en) | 2002-07-15 | 2006-08-08 | Apple Computer, Inc. | Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding |
US8254461B2 (en) * | 2002-07-24 | 2012-08-28 | Apple Inc. | Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations |
US6728315B2 (en) | 2002-07-24 | 2004-04-27 | Apple Computer, Inc. | Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations |
JP4462823B2 (ja) * | 2002-11-20 | 2010-05-12 | ソニー株式会社 | 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム |
AU2003261923C1 (en) | 2002-11-20 | 2009-07-16 | Godo Kaisha Ip Bridge 1 | Moving image predicting method, moving image encoding method and device, and moving image decoding method and device |
US7292635B2 (en) * | 2003-07-18 | 2007-11-06 | Samsung Electronics Co., Ltd. | Interframe wavelet video coding method |
US8085844B2 (en) * | 2003-09-07 | 2011-12-27 | Microsoft Corporation | Signaling reference frame distances |
US7577198B2 (en) * | 2003-09-07 | 2009-08-18 | Microsoft Corporation | Number of reference fields for an interlaced forward-predicted field |
US7653255B2 (en) | 2004-06-02 | 2010-01-26 | Adobe Systems Incorporated | Image region of interest encoding |
US7639886B1 (en) | 2004-10-04 | 2009-12-29 | Adobe Systems Incorporated | Determining scalar quantizers for a signal based on a target distortion |
US8634413B2 (en) | 2004-12-30 | 2014-01-21 | Microsoft Corporation | Use of frame caching to improve packet loss recovery |
US8553758B2 (en) * | 2007-03-02 | 2013-10-08 | Sony Corporation | Motion parameter engine for true motion |
US8363728B2 (en) * | 2008-04-18 | 2013-01-29 | Sony Corporation | Block based codec friendly edge detection and transform selection |
US8139883B2 (en) * | 2008-07-29 | 2012-03-20 | Sony Corporation | System and method for image and video encoding artifacts reduction and quality improvement |
US20100067818A1 (en) * | 2008-09-15 | 2010-03-18 | Sony Corporation, A Japanese Corporation | System and method for high quality image and video upscaling |
US20120014451A1 (en) * | 2009-01-15 | 2012-01-19 | Wei Siong Lee | Image Encoding Methods, Image Decoding Methods, Image Encoding Apparatuses, and Image Decoding Apparatuses |
US8488007B2 (en) * | 2010-01-19 | 2013-07-16 | Sony Corporation | Method to estimate segmented motion |
US8285079B2 (en) * | 2010-03-19 | 2012-10-09 | Sony Corporation | Method for highly accurate estimation of motion using phase correlation |
WO2012099544A1 (en) * | 2011-01-21 | 2012-07-26 | Agency For Science, Technology And Research | A method, an apparatus and a computer program product for estimating motion between frames of a video sequence |
CN104219532B (zh) | 2013-06-05 | 2017-10-17 | 华为技术有限公司 | 确定小物体区域的方法、视频帧之间插补帧的方法和装置 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE3851786T2 (de) * | 1987-06-09 | 1995-03-09 | Sony Corp | Auswahl eines Bewegungsvektors in Fernsehbildern. |
US5136659A (en) * | 1987-06-30 | 1992-08-04 | Kokusai Denshin Denwa Kabushiki Kaisha | Intelligent coding system for picture signal |
FR2630842B1 (fr) * | 1988-04-29 | 1994-04-08 | Labo Electronique Physique Appli | Dispositif pour interpoler des images par estimation et compensation de mouvement et systeme convertisseur de standards de television constitue a partir d'un tel dispositif |
FR2651399B1 (fr) * | 1989-08-29 | 1996-05-15 | Thomson Consumer Electronics | Procede et dispositif d'estimation et de codage hierarchise du mouvement de sequences d'images. |
JP2953712B2 (ja) * | 1989-09-27 | 1999-09-27 | 株式会社東芝 | 移動物体検知装置 |
US5151784A (en) * | 1991-04-30 | 1992-09-29 | At&T Bell Laboratories | Multiple frame motion estimation |
US5198901A (en) * | 1991-09-23 | 1993-03-30 | Matsushita Electric Corporation Of America | Derivation and use of motion vectors in a differential pulse code modulation system |
CA2079434A1 (en) * | 1991-09-30 | 1993-03-31 | Derek Andrew | Motion vector estimation, motion picture encoding and storage |
KR940011881B1 (ko) * | 1991-12-23 | 1994-12-27 | 주식회사 금성사 | 움직임 검출 및 추정장치 |
KR950014862B1 (ko) * | 1992-02-08 | 1995-12-16 | 삼성전자주식회사 | 움직임추정방법 및 그 장치 |
KR0160618B1 (ko) * | 1992-10-27 | 1999-01-15 | 윤종용 | 실시간 움직임 추정장치 및 그 방법 |
DE69416717T2 (de) * | 1993-05-21 | 1999-10-07 | Nippon Telegraph & Telephone | Bewegtbildkoder und -dekoder |
EP1130922B1 (de) * | 1993-07-12 | 2008-09-24 | Sony Corporation | Verabeitung von digitalen Videodaten |
-
1994
- 1994-08-30 KR KR1019940021560A patent/KR100287211B1/ko not_active IP Right Cessation
- 1994-12-29 US US08/366,096 patent/US5642166A/en not_active Expired - Lifetime
-
1995
- 1995-02-06 JP JP01818095A patent/JP3736869B2/ja not_active Expired - Fee Related
- 1995-02-22 FR FR9502034A patent/FR2724083B1/fr not_active Expired - Fee Related
- 1995-02-23 DE DE1995106372 patent/DE19506372B4/de not_active Expired - Fee Related
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1065883A2 (de) * | 1997-04-09 | 2001-01-03 | Matsushita Electric Industrial Co., Ltd. | Prediktives Bilddekodierungsverfahren |
EP1065883A3 (de) * | 1997-04-09 | 2001-01-10 | Matsushita Electric Industrial Co., Ltd. | Prediktives Bilddekodierungsverfahren |
EP1079634A1 (de) * | 1997-04-09 | 2001-02-28 | Matsushita Electric Industrial Co., Ltd. | Prediktives Bilddekodierungsverfahren |
US6370276B2 (en) | 1997-04-09 | 2002-04-09 | Matsushita Electric Industrial Co., Ltd. | Image predictive decoding method, image predictive decoding apparatus, image predictive coding method, image predictive coding apparatus, and data storage media |
US6633678B2 (en) | 1997-04-09 | 2003-10-14 | Matsushita Electric Industrial Co., Ltd. | Image predictive decoding method, image predictive decoding apparatus, image predictive coding method, image predictive coding apparatus, and data storage media |
Also Published As
Publication number | Publication date |
---|---|
FR2724083A1 (fr) | 1996-03-01 |
JP3736869B2 (ja) | 2006-01-18 |
KR100287211B1 (ko) | 2001-04-16 |
FR2724083B1 (fr) | 1998-03-06 |
US5642166A (en) | 1997-06-24 |
JPH0879768A (ja) | 1996-03-22 |
KR960009757A (ko) | 1996-03-22 |
DE19506372B4 (de) | 2004-12-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE19506372B4 (de) | Bi-Direktionales Bewegungsschätzverfahren und ein dafür vorgesehenes Gerät | |
DE69817460T2 (de) | Bildsequenzdekodierungsverfahren | |
DE69530336T2 (de) | Bewegungskompensation für digitale Videosignale mit Zeilensprung | |
DE19503571B4 (de) | Bildkompressionsverfahren und -vorrichtung unter Verwendung eines bedingten Viergruppenbaumunterteilungssystems | |
DE69826155T2 (de) | Verfahren und Vorrichtung zur digitalen Videosignalfilterung und -kodierung | |
EP0293644B1 (de) | Verfahren zur Ermittlung von Bewegungsvektorfeldern aus digitalen Bildsequenzen | |
DE3871998T2 (de) | Fernsehsystem, in dem digitalisierte transformationskodierte bildsignale von einer kodierstation zu einer dekodierstation uebertragen werden. | |
DE3908890C2 (de) | ||
DE69629715T2 (de) | Datenkomprimierung | |
DE19743202B4 (de) | Verfahren zum Codieren eines Bewegungsvektors | |
WO2012110491A1 (de) | Kodierverfahren und bildkodiervorrichtung zur kompression einer bildsequenz | |
DE69635836T2 (de) | Verfahren und Vorrichtung zur Kodierung eines Bildes mit einer Kontur in einem Videosignal | |
DE112005000033T5 (de) | Adaptiv gewichtetes Bewegungsabschätzungsverfahren und Bildwechselfrequenz-Wandlereinrichtung, die das Verfahren einsetzt | |
DE69309732T2 (de) | Verfahren und Vorrichtung ein Bild zu komprimieren und zu dekomprimieren | |
DE19738552A1 (de) | Verfahren und Vorrichtung zum Abschätzen der Konturenbewegung eines binären Bildes unter Verwendung eines Vergleichsalgorithmus für gewichtete Blöcke | |
DE60221711T2 (de) | Einheit und verfahren zur schätzung eines aktuellen bewegungsvektors | |
EP0773690A2 (de) | Verfahren zur Codierung eines Videodatenstroms | |
DE60315125T2 (de) | Auf Bewegungskompensation basierendes Verfahren und Vorrichtung zur Rauschabschätzung | |
DE19816898B4 (de) | Vorrichtung und Verfahren zum adaptiven Codieren eines Bildsignals | |
DE69126525T2 (de) | Digitale bildverarbeitung mit filterung der blockkanten | |
DE3486398T2 (de) | Vektor-Quantisiergerät. | |
DE69912208T2 (de) | Verfahren und Vorrichtung zur Videocodierung mit hoher Effizienz | |
EP0414017B1 (de) | Verfahren zur objektorientierten Bewegungskompensation von Bildinformation für die verbesserte Wiedergabe codierter Bewegtbildsequenzen | |
DE10022520A1 (de) | Verfahren zur örtlichen skalierbaren Bewegtbildcodierung | |
DE19749655B4 (de) | Verfahren und Vorrichtung zum Kodieren eines Bewegungsvektors |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
8110 | Request for examination paragraph 44 | ||
8364 | No opposition during term of opposition | ||
8339 | Ceased/non-payment of the annual fee |