DE19712785C1 - Verfahren und Anordnung zur rechnergestützten Bewegungsschätzung eines Elements eines zu codierenden Bildes - Google Patents
Verfahren und Anordnung zur rechnergestützten Bewegungsschätzung eines Elements eines zu codierenden BildesInfo
- Publication number
- DE19712785C1 DE19712785C1 DE19712785A DE19712785A DE19712785C1 DE 19712785 C1 DE19712785 C1 DE 19712785C1 DE 19712785 A DE19712785 A DE 19712785A DE 19712785 A DE19712785 A DE 19712785A DE 19712785 C1 DE19712785 C1 DE 19712785C1
- Authority
- DE
- Germany
- Prior art keywords
- rbe
- image
- reference picture
- obe
- error measure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
Description
Für eine effiziente Kompression von Bewegtbildsequenzen wird
eine zuverlässige Bewegungsschätzung bei der Bildcodierung
benötigt. Es sind verschiedenste Arten der Bildcodierung
bekannt. Dabei wird üblicherweise in zwei Arten der
Bildcodierung unterschieden, der sog. blockbasierten
Bildcodierung und der sog. objektbasierten Bildcodierung.
Verfahren zur blockbasierten Bildcodierung sind
beispielsweise aus den Dokumenten [1], [2], [3] bekannt.
Verfahren zur objektbasierten Bildcodierung sind
beispielsweise aus dem Dokument [4] bekannt.
Aus [5] ist ein Verfahren zur Bildcodierung bekannt, bei dem
Bewegungsvektoren für ein Bild ermittelt werden und aus den
Bewegungsvektoren ein hinsichtlich der tatsächlichen Bewegung
eines Bildblocks optimaler Bewegungsvektor aus den
Bewegungsvektoren ausgewählt wird.
Aus [6] ist ein weiteres blockbasiertes
Bildcodierungsverfahren bekannt, bei dem eine statistische
Verteilung des Differenzbildsignals ermittelt wird. Abhängig
von der statistischen Verteilung wird entschieden, ob ein
jeweils zu codierender Bildblock codiert wird oder nicht.
Sowohl bei der blockbasierten als auch bei der
objektbasierten Bildcodierung wird bei üblichen Verfahren
eine Bewegungsschätzung durchgeführt. Bei einer
Bewegungsschätzung wird für ein Element eines zu codierenden
Bildes versucht, ob ein zuvor codiertes Bild einen Bereich
enthält, der mit dem zu codierenden Bereich so gut
übereinstimmt, daß es mit ausreichender Bildqualität genügt,
lediglich einen Verweis auf den schon codierten Bereich zu
codieren anstelle der Codierung des gesamten zu codierenden
Elements. Da üblicherweise eine Verschiebung des jeweiligen
Elements zwischen zeitlich aufeinanderfolgenden Bildern
stattfindet, erfolgt der Verweis in Form eines sog.
Bewegungsvektors, mit dem die Verschiebung des Bereichs aus
dem vorangegangenen Bild zu dem Element in dem zu codierenden
Bild beschrieben wird.
Für die Bewegungsvektorschätzung gibt es eine Vielzahl unter
schiedlicher Suchstrategien. Für blockbasierte Bildkompressi
onsverfahren wird üblicherweise das sog. "Blockmatching-Verfahren"
verwendet. Es beruht darauf, daß der zu codierende
Bildblock mit gleich großen Blöcken eines zeitlich vorange
gangenen Bildes verglichen wird. Das zeitlich vorangegangene
Bild wird im weiteren als Referenzbild bezeichnet. Einer der
Referenzbildblöcke befindet sich auf der gleichen Position
wie der zu codierende Bildblock, die anderen Referenzblöcke
sind gegenüber diesem örtlich verschoben. Bei großem Suchbe
reich in horizontaler und vertikaler Richtung ergeben sich
sehr viele Suchpositionen, so daß bei vollständiger Suche
("Full Search") auch entsprechend viele Blockvergleiche
("Matchings") durchgeführt werden müssen. Als Kriterium für
die Übereinstimmungsgüte zwischen zu codierendem Bildblock
und Referenzblock wird im allgemeinen die Summe der absoluten
Differenzen der Codierungsinformation, die jeweils in einzel
nen Bildpunkten zugeordnet wird, verwendet.
Als Codierungsinformation wird in diesem Zusammenhang bei
spielsweise eine dem jeweiligen Bildpunkt zugeordnete Lu
minanzinformation oder auch Chrominanzinformation verstanden.
Ferner ist als Suchstrategie das sog. Verfahren der Spiralsu
che bekannt. Bei der Spiralsuche werden wiederum alle Suchpo
sitionen abgearbeitet, jedoch spiralförmig, d. h. beginnend
von der sog. Nullverschiebung, d. h. von der gleichen Position
wie der zu codierende Block. Die Suchpositionen werden auf
einer spiralförmigen Kurve um die Nullverschiebung gewählt,
wobei sich die Suchpositionen immer weiter von der Nullver
schiebung entfernt befinden.
Bei dem Verfahren zur Bewegungsschätzung wird am Ende des
Verfahrens der Bewegungsvektor derjenigen Suchposition zuge
ordnet, bei der die Summe der absoluten Differenzen der Co
dierungsinformation des zu codierenden Bildblocks und dem ent
sprechenden Bildblock in dem Referenzbild minimal ist.
Der Erfindung liegt das Problem zugrunde, ein Verfahren zur
Bewegungsschätzung anzugeben, mit dem die Bewegungscharakte
ristik von Elementen digitalisierter Bilder in einer Be
wegtbildsequenz besser im Rahmen der Bildcodierung berück
sichtigt wird, als dies mit bekannten Verfahren möglich ist.
Das Problem wird durch das Verfahren gemäß Patentanspruch 1
gelöst.
Bei dem Verfahren wird für Komponenten von Bewegungsvektoren
oder für Bewegungsvektoren von zuvor schon bearbeiteten Bild
elementen, d. h. für Bildelemente, für die schon eine Bewe
gungsschätzung durchgeführt wurde, eine Häufigkeitsverteilung
ermittelt. Abhängig von der Häufigkeitsverteilung wird minde
stens eine Suchposition bestimmt. An der Suchposition wird
ein Referenzbildelement bestimmt. Für das Originalbildelement
wird ein Fehlermaß ermittelt, wobei mit dem Fehlermaß die
Ähnlichkeit zwischen dem Originalbildelement und dem Refe
renzbildelement beschrieben wird. Der Ort des Referenzbild
elementes bestimmt die Suchposition.
Das im weiteren beschriebene Verfahren wird zur einfacheren
Darstellung anhand eines Bildblocks BB als Bildelement, wel
ches beispielsweise 8×8 Bildpunkte aufweist, beschrieben. Es
ist jedoch ohne Einschränkung der Allgemeingültigkeit ohne
weiteres auch für Makroblöcke, die üblicherweise aus 4 oder
auch 6 Bildblöcken bestehen, anwendbar. Auch können im Rahmen
des Verfahrens beliebig andere Elementareinheiten, d. h. Bild
elemente des jeweils zugrundeliegenden Codierverfahrens be
rücksichtigt werden, beispielsweise Rechtecke oder Dreiecke,
usw. beliebiger Form und Größe bzw. bei objektbasierter Bild
codierung Bildobjekte beliebiger Form oder beliebig geformte
Teile von Bildobjekten. Somit ist unter einem Bildelement ei
ne Elementareinheit beliebiger Form und Größe zu verstehen,
in die das Bild B aufgeteilt wird, und für die das jeweilige
Codierungsverfahren erfolgt.
Mit diesem Verfahren wird erstmals eine Suchstrategie für ei
nen neuen Bewegungsvektor vorgeschlagen die an die Vektor
statistik bereits gefundener Bewegungsvektoren bzw. Komponen
ten von Bewegungsvektoren im gleichen Bild bzw. an die Vek
torstatistik der zeitlich zurückliegenden Bilder angepaßt
ist. Damit wird die Bildcodierung besser an die Bewegungscha
rakteristik der Bewegtbildsequenz angepaßt, womit der benö
tigte Rechenaufwand für die Bewegungsschätzung reduziert
wird.
Bei der Anordnung zur Durchführung des Verfahrens ist ein
Bildspeicher zur Speicherung der digitalisierten Bilder sowie
eine Prozessoreinheit vorgesehen mit der die einzelnen Ver
fahrensschritte des Verfahrens durchgeführt werden.
Auch die Anordnung weist die oben genannten Vorteile des Ver
fahrens gegenüber dem bekannten Verfahren zur Bewegungsschät
zung auf.
Vorteilhafte Weiterbildungen der Erfindung ergeben sich aus
den abhängigen Ansprüchen.
Es ist in einer Weiterbildung des Verfahrens vorteilhaft, bei
der Ermittlung des Fehlermaßes, welches durch eine Folge von
Akkumulationen von Differenzwerten gebildet werden kann, die
Ermittlung des Fehlermaßes bezüglich eines Referenzbildele
ments abzubrechen, wenn der Wert des Fehlermaßes bezüglich
des jeweils untersuchten Referenzbildelements größer ist als
ein vorgebbarer Schwellenwert.
Durch diese Vorgehensweise werden unnötige zusätzliche Re
chenoperationen vermieden, was zu einer Einsparung benötigter
Rechenleistung für die Anordnung bei der Durchführung des
Verfahrens führt.
Diese Weiterbildung kann dadurch noch weiter verbessert wer
den, daß der Schwellenwert variabel ausgestaltet ist und dem
Schwellenwert jeweils der Wert des Fehlermaßes des in dem
bisherigen Verfahren als optimal betrachteten Bildelements
zugewiesen wird. Auf diese Weise wird eine weitere Reduktion
benötigter Rechenoperationen erreicht.
Gerade im Zusammenhang mit dieser Weiterbildung des Verfah
rens kommt die Berücksichtigung der Häufigkeitsverteilung der
Bewegungsvektoren bzw. der Komponenten von Bewegungsvektoren
sehr vorteilhaft zur Geltung, da für den Fall, daß häufig
vorkommende Bewegungsvektoren zur Bestimmung von Suchpositio
nen herangezogen werden, in denen die Referenzbildelemente
vorzugsweise in einer frühen Phase des Verfahrens verglichen
werden, wird statistisch sehr früh ein sehr gutes Fehlermaß
und somit einen sehr kleinen Schwellenwert ermittelt, was bei
weiteren Ermittlungen des Fehlermaßes bezüglich weiterer Re
ferenzbildelemente im Rahmen der Bewegungsschätzung dazu
führt, daß die Akkumulationen der Differenzen der Codierungs
information im weiteren Verfahren frühzeitig abgebrochen wer
den können. Dadurch wird eine erhebliche Rechenzeiteinspa
rung, verglichen mit bekannten Verfahren zur Bewegungsschät
zung, erreicht.
In den Figuren ist ein Ausführungsbeispiel der Erfindung dar
gestellt, welches im weiteren näher erläutert wird.
Es zeigen
Fig. 1 eine Rechneranordnung mit zwei Rechnern, einer
Kamera und einem Übertragungsmedium;
Fig. 2 eine Folge digitalisierter Bilder, die in einem
Speicher eines Rechners gespeichert sind;
Fig. 3a bis 3c Häufigkeitsverteilungen von Komponenten
von Bewegungsvektoren bzw. von Bewegungsvektoren
von Bildelementen eines digitalisierten Bildes;
Fig. 4 ein Ablaufdiagramm, in dem die einzelnen Ver
fahrensschritte des Verfahrens dargestellt sind.
In Fig. 1 ist eine Kamera K dargestellt, mit der Bilder auf
genommen werden. Die Kamera K kann beispielsweise eine belie
bige analoge Kamera K sein, die Bilder einer Szene aufnimmt
und diese Bilder entweder in der Kamera K digitalisiert oder
auch analog zu einem Rechner R1 überträgt, in dem dann entwe
der die digitalisierten Bilder verarbeitet werden oder die
analogen Bilder zu digitalisierten Bildern umgewandelt werden
und die digitalisierten Bilder verarbeitet werden.
Der Rechner R1 weist eine Prozessoreinheit P auf, mit der die
im weiteren beschriebenen Verfahrensschritte der Bewegungs
schätzung oder der Bewegungskompensation sowie eventuell wei
tere Verfahrensschritte beispielsweise zur Bildcodierung
durchgeführt werden. Die Prozessoreinheit P ist beispielswei
se über einen Bus BU mit einem Speicher SP, in dem die Bild
daten gespeichert werden, gekoppelt.
Es ist vorgesehen, in dem Rechner R1 die Bildcodierung vorzu
nehmen und nach Übertragung der komprimierten Bilddaten über
ein Übertragungsmedium ÜM zu einem weiteren Rechner R2 in dem
weiteren Rechner R2 die Bilddecodierung durchzuführen. Der
weitere Rechner R2 weist beispielsweise den gleichen Aufbau
auf wie der erste Rechner R1, also den Speicher SP, der über
den Bus BU mit der Prozessoreinheit P gekoppelt ist.
Die digitalisierten Bilder bzw. die rekonstruierten Bilder
können entweder auf einem ersten Bildschirm BS1, der mit dem
ersten Rechner R1 gekoppelt ist oder auf einem zweiten Bild
schirm BS2, der mit dem zweiten Rechner R2 gekoppelt ist,
dargestellt werden.
Das Verfahren zur Bewegungsschätzung kann sowohl im Rahmen
sog. blockbasierter Bildcodierungsverfahren als auch im Rah
men objektbasierter Bildcodierungsverfahren eingesetzt wer
den.
Im weiteren wird jedoch zur einfacheren Darstellung lediglich
die Vorgehensweise für ein blockbasiertes Bildcodierungsver
fahren dargestellt.
In Fig. 2 ist symbolisch eine Folge von digitalisierten Bil
dern ZVB, EVB, OB dargestellt, die in dem Speicher SP gespei
chert werden.
Diese Darstellung stellt lediglich eine symbolhafte Darstel
lung dar, da bei den meisten Bildcodierungsverfahren nicht
mehrere aufeinanderfolgende Bilder komplett in dem Speicher
SP gespeichert werden. Diese Darstellung dient somit ledig
lich zur Veranschaulichung des Verfahrens.
Ziel der Bewegungsschätzung ist es, für ein Originalbild OB
der Bildfolge eine Bildcodierung durchzuführen.
Es wird jeweils für ein Element OBE des Originalbildes OB
versucht, ein schon codiertes, d. h. bearbeitetes Bildelement
BBE zu finden, welches in einem ersten vorangegangen Bild EVB
enthalten ist, das dem Element OBE des Originalbildes OB aus
reichend ähnlich ist. Das bearbeitete Bildelement BBE ist
schon codiert und somit auch schon übertragen.
Ausreichend ähnlich bedeutet in diesem Zusammenhang, daß es
bei nur geringer Verminderung der Bildqualität ausreichend
ist, das bearbeitete Bildelement BBE unter einer möglichen
Verschiebung, die zwischen dem bearbeiteten Bildelement BBE
in dem ersten vorangegangen Bild EVB und dem Element OBE des
Originalbildes OB erfolgt, bei der Bilddecodierung in das zu
decodierende Bild einzufügen, womit eine aufwendige Codierung
des Elements OBE des Originalbildes OB nicht mehr erforder
lich ist.
Die Verschiebung des bearbeiteten Bildelements BBE zwischen
dem ersten vorangegangen Bild EVB und dem jeweiligen Element
OBE des Originalbildes OB wird als Bewegungsvektor BV be
zeichnet.
Bei üblichen blockbasierten Bildcodierungsverfahren wird für
jeden Bildblock eines Bildes oder auch nur einem sog. Makro
block, der beispielsweise 4 oder 6 Bildblöcke aufweist, ein
Bewegungsvektor BV ermittelt und dem Bildblock bzw. Makro
block zugeordnet.
Eine erhebliche Rolle für den erforderlichen Rechenaufwand
bei der Bewegungsschätzung spielt die Reihenfolge, in der für
das Element OBE des Originalbildes OB in dem ersten vorange
gangenen Bild EVB nach einem Bildelement gesucht wird, das
mit dem Element OBE des Originalbildes OB ausreichend gut
übereinstimmt. Im weiteren werden die Bildblöcke, mit denen
das Element OBE des Originalbildes OB verglichen wird, als
Referenzbildelemente RBE bezeichnet.
In Fig. 2 sind bearbeitete Bildelemente BBE dargestellt, de
nen jeweils ein Bewegungsvektor BV zugeordnet wurde.
Vor der Durchführung der Bewegungsschätzung für das Element
OBE des Originalbildes OB oder für jeweils das gesamte Origi
nalbild OB wird eine Häufigkeitsverteilung von Bewegungsvek
toren BV schon bearbeiteter Bildelemente BBE ermittelt. Dabei
können beliebig viele schon bearbeitete Bildelemente BBE in
nerhalb des Originalbildes OB, oder auch innerhalb einer be
liebigen Anzahl vorangegangener Bilder, beispielsweise dem
ersten vorangegangenen Bild EVB oder auch einem zweiten vor
angegangenen Bild ZVB oder weiterer vorangegangener Bilder in
der Bildfolge berücksichtigt werden.
Bei der Häufigkeitsverteilung wird die Anzahl jeweils vorkom
mender Bewegungsvektoren BV, wie sie beispielsweise in Fig.
3c skizziert ist, akkumuliert. Der Bewegungsvektor BV weist
üblicherweise im 2-dimensionalen Raum eine erste Komponente
BVx sowie eine zweite Komponente BVy auf. Beide Komponenten
bilden zusammen jeweils den Bewegungsvektor BV.
In Fig. 3c ist eine Häufigkeitsverteilung F der Bewegungsvek
toren BV beispielhaft dargestellt. Es ist jeweils für jede
vorkommende Komponente des Bewegungsvektors BV die Anzahl
ABVxy dargestellt, mit der die Häufigkeit des Auftretens des
jeweiligen Bewegungsvektors BV beschrieben wird. Es ergibt
sich damit eine 2-dimensionale Fläche F in einem
3-dimensionalen Raum, der durch die erste Komponente BVx, die
zweite Komponente BVy sowie die Anzahl ABVxy aufgespannt
wird.
In Fig. 3c ist beispielhaft dargestellt, daß der Bewegungs
vektor (2,1) bei den berücksichtigten bearbeiteten Bildele
menten BBE, die zur Ermittlung der Häufigkeitsverteilung her
angezogen wurden, 6mal vorkam. Der Bewegungsvektor (6,6) ist
in diesem Beispiel 5mal vorgekommen.
Bei dem Verfahren wird in einem weiteren Schritt eine Suchpo
sition für das Element OBE in dem Originalbild OB bezüglich
mindestens eines Referenzbildelements RBE in dem ersten vor
angegangenen Bild EVB abhängig von der Häufigkeitsverteilung
F bestimmt. An der Suchposition wird ferner für das Original
bildelement OBE ein Fehlermaß ermittelt. Dies erfolgt bei
spielsweise dadurch, daß in dem ersten vorangegangenen Bild
EVB an der Suchposition das Referenzbildelement RBE, welches
die Suchposition enthält, ein Vergleich der Codierungsinfor
mation, die jeweils das Referenzbildelement RBE bzw. das Ele
ment OBE des Originalbildes OB enthält, erfolgt.
Das Fehlermaß erfolgt beispielsweise durch Differenzbildung
der Codierungsinformation der einzelnen Bildpunkte des Ele
ments OBE und des Referenzbildelements RBE. Hierbei wird bei
spielsweise die Summe der quadratischen Differenzen verwen
det.
In einer Weiterbildung des Verfahrens können mehrere Suchpo
sitionen bestimmt werden und somit auch mehrere Differenz
bildelemente RBE, die jeweils mindestens eine Suchposition
enthalten.
Die Bildung des Fehlermaßes wird jeweils für ein Referenz
bildelement RBE und das Element OB des Originalbildes OB
durchgeführt. Es wird dasjenige Referenzbildelement RBE aus
gewählt und im Rahmen der Bewegungsschätzung als das dem Ele
ment OBE ähnlichste Referenzbildelement RBE verwendet, wel
ches unter den berücksichtigten Referenzbildelementen RBE dem
Element OB des Originalbildes OB bezüglich des Fehlermaßes
die größte Übereinstimmung mit dem Element OB des Original
bildes OB aufweist.
Die Reihenfolge, in der die einzelnen Referenzbildelemente
RBE untersucht werden, wird abhängig von der Häufigkeitsver
teilung der Bewegungsvektoren EV.
Dies bedeutet beispielsweise, daß die Vergleiche des Elements
OBE des Originalbilds OB mit den Referenzbildelementen RBE an
der Suchposition begonnen wird, die sich dadurch ergibt, daß
ausgehend von der Position des Elements OBE des Originalbilds
OB die Position um den am häufigsten vorkommenden Bewegungs
vektor in der Häufigkeitsverteilung verschoben wird. Daraus
ergibt sich die Suchposition in dem ersten vorangegangenen
Bild EVB, in dem nach der Statistik, d. h. der Semantik des
Bildinhalts es am wahrscheinlichsten ist, daß sich ein dem
Element OBE sehr ähnliches Referenzbildelement RBE in dem er
sten vorangegangenen Bild EVB befindet.
Es wird ferner ein vorgebbarer Schwellenwert im Rahmen dieses
Verfahrens berücksichtigt.
Bei jedem Vergleich des Elements OBE des Originalbilds OB mit
einem Referenzbildelement RBE wird das Kehlermaß solange wei
ter ermittelt, d. h. die einzelnen Differenzen der Codierungs
information so lange weiter aufsummiert, bis der Wert des Feh
lermaßes den Schwellenwert übersteigt.
In Fig. 4 ist das Verfahren in seinen einzelnen Verfahrens
schritten in einem Ablaufdiagramm zusammengefaßt dargestellt.
In einem ersten Schritt (401) wird eine Häufigkeitsverteilung
von Bewegungsvektoren BV und/oder Komponenten von Bewegungs
vektoren BVx, BVy bearbeiteter Bildelemente BBE vorangegange
ner Bilder EVB, ZVB, . . . ermittelt.
In einem weiteren Schritt (402) wird mindestens eine Suchpo
sition in einem Referenzbild EVB abhängig von der Häufig
keitsverteilung bestimmt.
Für das Element OBE des Originalbildes OB wird im Rahmen der
Bewegungsschätzung ein Fehlermaß der Codierungsinformation
des Elements OBE des Originalbildes OB bezüglich eines Refe
renzbildelements RBE an der Suchposition ermittelt (403), wo
bei mit dem Fehlermaß die Ähnlichkeit zwischen dem Element
OBE mit dem Referenzbildelement RBE beschrieben wird.
Im folgenden werden einige Varianten des oben beschriebenen
Ausführungsbeispiels beschrieben:
Die Kamera K kann z. B. auch eine digitale Kamera K sein, mit der direkt digitalisierte Bilder B aufgenommen und dem Rech ner R1 zur Weiterverarbeitung zugeführt werden.
Die Kamera K kann z. B. auch eine digitale Kamera K sein, mit der direkt digitalisierte Bilder B aufgenommen und dem Rech ner R1 zur Weiterverarbeitung zugeführt werden.
Der Rechner R1 kann auch als eine eigenständige Anordnung,
die die beschriebenen Verfahrensschritte durchführt, ausge
staltet sein, beispielsweise als eine eigenständige Computer
karte, die in einem Rechner installiert ist.
Auch wenn oben lediglich die Vorgehensweise für ein blockba
siertes Bildcodierungsverfahren dargestellt wurde, so ist das
Verfahren jedoch ohne weiteres auch für objektbasierte Bild
codierungsverfahren einsetzbar. Bei objektbasierten Bildco
dierungsverfahren ist es lediglich erforderlich, daß im Rah
men der Bewegungsschätzung jeweils Bildobjekte ungefähr glei
cher Form und Größe miteinander verglichen werden, da sonst
das Ergebnis der Bewegungsschätzung unter Umständen fehler
haft werden könnte.
Es ist in einer Variante des Verfahrens ferner vorgesehen,
lediglich eine Häufigkeitsverteilung für die einzelnen Kompo
nenten BVx und BVy des Bewegungsvektors BV zu ermitteln.
Eine solche Häufigkeitsverteilung ist beispielhaft in Fig. 3a
für die erste Komponente BVx dargestellt. In Fig. 3a ist dar
gestellt, daß die erste Komponente BVx mit einem Wert 4 bei
den berücksichtigten bearbeiteten Bildelementen BBE 8mal
vorkam. Die erste Komponenten BVx mit einem Wert 1 ist bei
spielsweise 2mal vorgekommen.
In Fig. 3b ist eine solche Häufigkeitsverteilung für die
zweite Komponenten BVy dargestellt. Die Reihenfolge, in der
die einzelnen Referenzbildelemente RBE untersucht werden,
wird in diesem Fall abhängig von der Häufigkeitsverteilung
der Komponenten BVx und BVy der Bewegungsvektoren BV gewählt.
Das Fehlermaß kann z. B. auch durch Summenbildung der absolu
ten Differenz der Bildpunkte des Elements OBE und des Refe
renzbildelements RBE ermittelt werden. Weitere Möglichkeiten
zur Bildung des Fehlermaßes sind dem Fachmann hinlänglich ge
läufig und können ohne Einschränkung im Rahmen dieses Verfah
rens verwendet werden.
Ferner ist es in einer Variante vorgesehen, den Schwellenwert
adaptiv auszugestalten, d. h. jeweils den Schwellenwert auf
einen neuen Wert zu setzen, wenn das Fehlermaß nach Berück
sichtigung aller Bildpunkte in dem jeweiligen Elementen OBE,
RBE berücksichtigt wurde und das Fehlermaß das kleiner ist
als der bisherige Schwellenwert. In diesem Fall wird der Wert
des Fehlermaßes dem Wert des Schwellenwerts zugeordnet. Auf
diese Weise wird jeweils der Schwellenwert auf den
"optimalsten" Wert des Fehlermaßes bei einer iterativen
Durchführung des Verfahrens für mehrere Referenzbildelemente
RBE durchgeführt.
Wird jeweils dann die Untersuchung eines Referenzbildelemen
tes RBE abgebrochen, wenn der Wert des Fehlermaßes für den
jeweiligen Vergleich den Wert des Schwellenwerts übersteigt,
so wird eine erhebliche Rechenzeiteinsprung durch Berück
sichtigung der Häufigkeitsverteilung erreicht, da statistisch
gewährleistet ist, daß schon sehr frühzeitig ein sehr ähnli
ches Bildelement RWE ermittelt wird und somit schon sehr
frühzeitig ein Schwellenwert mit einem kleinen Wert ermittelt
wird.
Im Rahmen dieses Dokumentes wurden folgende
Veröffentlichungen zitiert:
[1] Ming Liou, Overview of the p×64 kbit/s Video Coding Standard, Communications of the ACM, Vol. 34, No. 4, S. 60-63, April 1991;
[2] G. Wallace, The JPEG Still Picture Compression Standard, Communications of the ACM, Vol. 34, No. 4, S. 31-44, April 1991;
[3] D. Le Gall, MPEG: A Video Compression Standard for Multimedia Applications, Communications of the ACM, Vol. 34, No. 4, S. 47-58, April 1991;
[4] S. Hofmeier, Multimedia für unterwegs, Funkschau, Nr. 7, S. 75-77, 15. März 1996;
[5] US 5 028 996;
[6] US 5 565 921.
[1] Ming Liou, Overview of the p×64 kbit/s Video Coding Standard, Communications of the ACM, Vol. 34, No. 4, S. 60-63, April 1991;
[2] G. Wallace, The JPEG Still Picture Compression Standard, Communications of the ACM, Vol. 34, No. 4, S. 31-44, April 1991;
[3] D. Le Gall, MPEG: A Video Compression Standard for Multimedia Applications, Communications of the ACM, Vol. 34, No. 4, S. 47-58, April 1991;
[4] S. Hofmeier, Multimedia für unterwegs, Funkschau, Nr. 7, S. 75-77, 15. März 1996;
[5] US 5 028 996;
[6] US 5 565 921.
Claims (13)
1. Verfahren zur rechnergestützten Bewegungsschätzung eines
Elements (OBE) eines zu codierenden Bildes, mit einer belie
bigen Anzahl von Bildpunkten (BP), zur Bildcodierung digita
lisierter Bilder,
- - bei dem eine Häufigkeitsverteilung (HV) mindestens einer Komponente von Bewegungsvektoren und/oder von Bewegungsvekto ren von bearbeiteten Bildelementen (BBE), für die schon eine Bewegungsschätzung durchgeführt wurde, ermittelt wird,
- - bei dem mindestens eine Suchposition (SP) abhängig von der Häufigkeitsverteilung (HV) bestimmt wird,
- - bei dem für das Originalbildelement (OBE) an der Suchposi tion (SP) ein Fehlermaß ermittelt wird,
- - bei dem mit dem Fehlermaß die Ähnlichkeit zwischen dem Ele ment (OBE) und einem Referenzbildelement (RBE) beschrieben wird, und
- - bei dem die Suchposition (SP) durch das Referenzbildelement (RBE) gegeben ist.
2. Verfahren nach Anspruch 1,
- - bei dem mehrere Suchpositionen (SP) bestimmt werden,
- - bei dem mehrere Referenzbildelemente RBE) bestimmt werden, die jeweils mindestens eine Suchposition (SP) enthalten,
- - bei dem das Verfahren für jeweils das Element (OBE) des zu codierenden Bildes und ein Referenzbildelement (RBE) durchge führt wird.
3. Verfahren nach Anspruch 2,
bei dem die Referenzbildelemente (RBE) in einer Reihenfolge
bearbeitet werden, die sich aus der Häufigkeitsverteilung
(HV) ergibt.
4. Verfahren nach Anspruch 3,
bei dem die Referenzbildelemente (RBE) in der Reihenfolge ab
nehmender Häufigkeit der Komponente von Bewegungsvektoren
und/oder der Bewegungsvektoren bearbeitet werden.
5. Verfahren nach einem der Ansprüche 1 bis 4,
- - bei dem jeweils den Bildpunkten (BP) Codierungsinformation zugeordnet wird, und
- - bei dem das Fehlermaß gebildet wird, indem die Codierungs information des Elements (OBE) mit Codierungsinformation des Referenzbildelements (RBE) verglichen wird.
6. Verfahren nach Anspruch 5,
bei dem das Fehlermaß durch eine Summe von Differenzen der
Codierungsinformation des Elements (OBE) mit Codierungsinfor
mation des Referenzbildelements (RBE) ermittelt wird.
7. Verfahren nach einem der Ansprüche 2 bis 6,
bei dem die Ermittlung des Fehlermaßes für ein Referenzbild
element (RBE) abgebrochen wird, wenn der Wert des Fehlermaßes
größer ist als ein Schwellenwert.
8. Verfahren nach Anspruch 7,
bei dem der Schwellenwert zu Beginn des Verfahrens vorgegeben
wird.
9. Verfahren nach Anspruch 7 oder 8,
- - bei dem der Schwellenwert variabel ausgestaltet ist, und
- - bei dem dem Schwellenwert der Wert des Fehlermaßes zugewie sen wird, wenn das Fehlermaß für das jeweilige Referenzbild element (RBE) kleiner ist als der Schwellenwert.
10. Verfahren nach einem der Ansprüche 1 bis 9,
bei dem zur Bildcodierung eine blockbasierte Bildcodierung
eingesetzt wird.
11. Verfahren nach einem der Ansprüche 1 bis 9,
bei dem zur Bildcodierung eine objektbasierte Bildcodierung
eingesetzt wird.
12. Anordnung zur Durchführung des Verfahrens nach einem der
Ansprüche 1 bis 11,
- - mit einer Prozessoreinheit, mit der Verfahrensschritte des Verfahrens durchgeführt werden,
- - mit einem Bildspeicher, der mit der Prozessoreinheit (PE) gekoppelt ist, zur Speicherung digitalisierter Bilder.
13. Anordnung nach Anspruch 12,
mit einer mit dem Bildspeicher (BS) gekoppelten Kamera (K).
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE19712785A DE19712785C1 (de) | 1997-03-26 | 1997-03-26 | Verfahren und Anordnung zur rechnergestützten Bewegungsschätzung eines Elements eines zu codierenden Bildes |
PCT/DE1998/000779 WO1998043434A1 (de) | 1997-03-26 | 1998-03-16 | Verfahren und anordnung zur rechnergestützten bewegungsschätzung eines elements eines zu codierenden bildes |
CN98802060A CN1244992A (zh) | 1997-03-26 | 1998-03-16 | 计算机辅助移动估算一将被编码图像的一元素的方法和装置 |
EP98925399A EP0970586A1 (de) | 1997-03-26 | 1998-03-16 | Verfahren und anordnung zur rechnergestützten bewegungsschätzung eines elements eines zu codierenden bildes |
JP54467598A JP2002501697A (ja) | 1997-03-26 | 1998-03-16 | 符号化しようとする画像の画像要素のコンピュータ支援動き予測方法および装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE19712785A DE19712785C1 (de) | 1997-03-26 | 1997-03-26 | Verfahren und Anordnung zur rechnergestützten Bewegungsschätzung eines Elements eines zu codierenden Bildes |
Publications (1)
Publication Number | Publication Date |
---|---|
DE19712785C1 true DE19712785C1 (de) | 1998-07-16 |
Family
ID=7824742
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE19712785A Expired - Fee Related DE19712785C1 (de) | 1997-03-26 | 1997-03-26 | Verfahren und Anordnung zur rechnergestützten Bewegungsschätzung eines Elements eines zu codierenden Bildes |
Country Status (5)
Country | Link |
---|---|
EP (1) | EP0970586A1 (de) |
JP (1) | JP2002501697A (de) |
CN (1) | CN1244992A (de) |
DE (1) | DE19712785C1 (de) |
WO (1) | WO1998043434A1 (de) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1361541A1 (de) * | 2002-04-09 | 2003-11-12 | STMicroelectronics S.r.l. | Verfahren und Vorrichtung zur globalen Bewegungsschätzung innerhalb einer Bildsequenz, z.B. für optische Mäuse |
US7068721B2 (en) | 1998-08-18 | 2006-06-27 | Siemens Aktiengesellschaft | Method and configuration for coding a digitized picture, and method and configuration for decoding a digitized picture |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7551673B1 (en) | 1999-05-13 | 2009-06-23 | Stmicroelectronics Asia Pacific Pte Ltd. | Adaptive motion estimator |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5028996A (en) * | 1989-06-26 | 1991-07-02 | Matsushita Electric Industrial Co., Ltd. | Picture coding method |
US5565921A (en) * | 1993-03-16 | 1996-10-15 | Olympus Optical Co., Ltd. | Motion-adaptive image signal processing system |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE4007851A1 (de) * | 1989-08-24 | 1991-02-28 | Thomson Brandt Gmbh | Verfahren zur bewegungskompensation in einem bewegtbildcoder oder -decoder |
EP0557007A2 (de) * | 1992-02-15 | 1993-08-25 | Sony Corporation | Bildverarbeitungsgerät |
US5537155A (en) * | 1994-04-29 | 1996-07-16 | Motorola, Inc. | Method for estimating motion in a video sequence |
JP3094893B2 (ja) * | 1995-03-03 | 2000-10-03 | ケイディディ株式会社 | 動画像符号化装置 |
-
1997
- 1997-03-26 DE DE19712785A patent/DE19712785C1/de not_active Expired - Fee Related
-
1998
- 1998-03-16 JP JP54467598A patent/JP2002501697A/ja active Pending
- 1998-03-16 CN CN98802060A patent/CN1244992A/zh active Pending
- 1998-03-16 EP EP98925399A patent/EP0970586A1/de not_active Ceased
- 1998-03-16 WO PCT/DE1998/000779 patent/WO1998043434A1/de not_active Application Discontinuation
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5028996A (en) * | 1989-06-26 | 1991-07-02 | Matsushita Electric Industrial Co., Ltd. | Picture coding method |
US5565921A (en) * | 1993-03-16 | 1996-10-15 | Olympus Optical Co., Ltd. | Motion-adaptive image signal processing system |
Non-Patent Citations (4)
Title |
---|
GALL, D. le, MPEG: A Video Compression Standard for Multimedia Applications, Communications of the ACM, Vol. 34, No. 4, April 1991, S. 47-58 * |
HOFMEIER, S.: Multimedia für unterwegs, Funkschau,Nr. 7, 15. März 1996, S. 75-77 * |
LIOU, Ming: Overview of the px64 kbit/s Video Coding Standard, Communications of the ACM, Vol. 34, No. 4, April 1991, S. 60-63 * |
WALLACE, G.: The JPEG Still Picture Compression Standard, Communications of the ACM, Vol. 34, No. 4, April 1991, S. 31-44 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7068721B2 (en) | 1998-08-18 | 2006-06-27 | Siemens Aktiengesellschaft | Method and configuration for coding a digitized picture, and method and configuration for decoding a digitized picture |
EP1361541A1 (de) * | 2002-04-09 | 2003-11-12 | STMicroelectronics S.r.l. | Verfahren und Vorrichtung zur globalen Bewegungsschätzung innerhalb einer Bildsequenz, z.B. für optische Mäuse |
Also Published As
Publication number | Publication date |
---|---|
CN1244992A (zh) | 2000-02-16 |
EP0970586A1 (de) | 2000-01-12 |
JP2002501697A (ja) | 2002-01-15 |
WO1998043434A1 (de) | 1998-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP0817496B1 (de) | Verfahren und Anordnung zur Reduktion von Blockartefakten in codierten Bildern | |
EP1635578B1 (de) | Verfahren und Anordnung zur Videocodierung, wobei die Videocodierung Texturanalyse und Textursynthese sowie Texturverzerrung umfasst, sowie ein entsprechendes Computerprogramm und ein entsprechendes computerlesbares Speichermedium | |
DE69629715T2 (de) | Datenkomprimierung | |
DE69634962T2 (de) | Extrapolation von Pixelwerten eines in einem Block enthaltenen Videoobjektes | |
DE4309105C2 (de) | Verfahren zum Behandeln eines Teils eines verdichteten Bildes für eine Aufbereitung | |
DE60214721T2 (de) | Aufnahmespur für verbesserte videokompression | |
DE19541457C1 (de) | Verfahren zur Codierung eines Videodatenstroms einer aus Bildblöcken bestehenden Videosequenz | |
EP0941613B1 (de) | Verfahren zur bildcodierung eines digitalisierten bildes | |
DE19712785C1 (de) | Verfahren und Anordnung zur rechnergestützten Bewegungsschätzung eines Elements eines zu codierenden Bildes | |
EP1101196B1 (de) | Verfahren und anordnung zur bewegungsschätzung in einem digitalisierten bild mit bildpunkten | |
DE19524872C1 (de) | Verfahren und Anordnung zur Codierung und Decodierung von einem Videodatenstrom für alle Bildelemente des Videodatenstroms | |
EP1279291B1 (de) | Verfahren und vorrichtung zum speichern und bearbeiten von bildinformation zeitlich aufeinanderfolgender bilder | |
EP1116184B1 (de) | Verfahren und anordnung zur bearbeitung eines digitalisierten bildes mit bildpunkten | |
EP1110407B1 (de) | Verfahren und anordnung zur codierung und decodierung eines digitalisierten bildes mit anwendung eines gesamtbewegungsvektors | |
EP0981910B1 (de) | Verfahren und vorrichtung zur codierung eines digitalisierten bildes | |
EP0981909B1 (de) | Verfahren und vorrichtung zur codierung und decodierung eines digitalisierten bildes | |
DE19618117C1 (de) | Verfahren zur Quantisierung und Verfahren zur inversen Quantisierung von Transformationscodierungskoeffizienten eines Videodatenstorms | |
EP1121809B1 (de) | Verfahren und anordnung zur codierung eines digitalisierten bildes, verfahren und anordnung zur decodierung eines digitalisierten bildes | |
WO2001049038A1 (de) | Verfahren, anordnung und computerprogrammerzeugnis zur prädiktion bei der codierung eines in bildblöcke unterteilten bildes | |
DE19701942C1 (de) | Verfahren zur Codierung von Bilddaten | |
DE10301572B4 (de) | Verfahren zum Komprimieren einer Folge von Bildern | |
DE19603808C1 (de) | Anordnung und Verfahren zur Codierung und Decodierung von mit einem blockbasierten Codierungsverfahren codierten Bildern | |
EP1099193A1 (de) | Verfahren und anordnung zur ermittlung einer bewegung, der ein digitalisiertes bild unterliegt | |
EP1177526B1 (de) | Verfahren und anordnung zur ermittlung einer bewegung, der ein digitalisiertes bild unterliegt, sowie computerprogramm-erzeugnis und computerlesbares speichermedium | |
EP1085761A1 (de) | Bewegungsschätzung in einem objektorientierten Videokodierer |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
8100 | Publication of the examined application without publication of unexamined application | ||
D1 | Grant (no unexamined application published) patent law 81 | ||
8363 | Opposition against the patent | ||
8339 | Ceased/non-payment of the annual fee |