DE19712785C1 - Verfahren und Anordnung zur rechnergestützten Bewegungsschätzung eines Elements eines zu codierenden Bildes - Google Patents

Verfahren und Anordnung zur rechnergestützten Bewegungsschätzung eines Elements eines zu codierenden Bildes

Info

Publication number
DE19712785C1
DE19712785C1 DE19712785A DE19712785A DE19712785C1 DE 19712785 C1 DE19712785 C1 DE 19712785C1 DE 19712785 A DE19712785 A DE 19712785A DE 19712785 A DE19712785 A DE 19712785A DE 19712785 C1 DE19712785 C1 DE 19712785C1
Authority
DE
Germany
Prior art keywords
rbe
image
reference picture
obe
error measure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE19712785A
Other languages
English (en)
Inventor
Juergen Dr Ing Pandel
Albert Dipl Ing Salai
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Priority to DE19712785A priority Critical patent/DE19712785C1/de
Priority to PCT/DE1998/000779 priority patent/WO1998043434A1/de
Priority to CN98802060A priority patent/CN1244992A/zh
Priority to EP98925399A priority patent/EP0970586A1/de
Priority to JP54467598A priority patent/JP2002501697A/ja
Application granted granted Critical
Publication of DE19712785C1 publication Critical patent/DE19712785C1/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • H04N5/145Movement estimation

Description

Technischer Hintergrund
Für eine effiziente Kompression von Bewegtbildsequenzen wird eine zuverlässige Bewegungsschätzung bei der Bildcodierung benötigt. Es sind verschiedenste Arten der Bildcodierung bekannt. Dabei wird üblicherweise in zwei Arten der Bildcodierung unterschieden, der sog. blockbasierten Bildcodierung und der sog. objektbasierten Bildcodierung.
Verfahren zur blockbasierten Bildcodierung sind beispielsweise aus den Dokumenten [1], [2], [3] bekannt.
Verfahren zur objektbasierten Bildcodierung sind beispielsweise aus dem Dokument [4] bekannt.
Aus [5] ist ein Verfahren zur Bildcodierung bekannt, bei dem Bewegungsvektoren für ein Bild ermittelt werden und aus den Bewegungsvektoren ein hinsichtlich der tatsächlichen Bewegung eines Bildblocks optimaler Bewegungsvektor aus den Bewegungsvektoren ausgewählt wird.
Aus [6] ist ein weiteres blockbasiertes Bildcodierungsverfahren bekannt, bei dem eine statistische Verteilung des Differenzbildsignals ermittelt wird. Abhängig von der statistischen Verteilung wird entschieden, ob ein jeweils zu codierender Bildblock codiert wird oder nicht.
Sowohl bei der blockbasierten als auch bei der objektbasierten Bildcodierung wird bei üblichen Verfahren eine Bewegungsschätzung durchgeführt. Bei einer Bewegungsschätzung wird für ein Element eines zu codierenden Bildes versucht, ob ein zuvor codiertes Bild einen Bereich enthält, der mit dem zu codierenden Bereich so gut übereinstimmt, daß es mit ausreichender Bildqualität genügt, lediglich einen Verweis auf den schon codierten Bereich zu codieren anstelle der Codierung des gesamten zu codierenden Elements. Da üblicherweise eine Verschiebung des jeweiligen Elements zwischen zeitlich aufeinanderfolgenden Bildern stattfindet, erfolgt der Verweis in Form eines sog. Bewegungsvektors, mit dem die Verschiebung des Bereichs aus dem vorangegangenen Bild zu dem Element in dem zu codierenden Bild beschrieben wird.
Für die Bewegungsvektorschätzung gibt es eine Vielzahl unter­ schiedlicher Suchstrategien. Für blockbasierte Bildkompressi­ onsverfahren wird üblicherweise das sog. "Blockmatching-Verfahren" verwendet. Es beruht darauf, daß der zu codierende Bildblock mit gleich großen Blöcken eines zeitlich vorange­ gangenen Bildes verglichen wird. Das zeitlich vorangegangene Bild wird im weiteren als Referenzbild bezeichnet. Einer der Referenzbildblöcke befindet sich auf der gleichen Position wie der zu codierende Bildblock, die anderen Referenzblöcke sind gegenüber diesem örtlich verschoben. Bei großem Suchbe­ reich in horizontaler und vertikaler Richtung ergeben sich sehr viele Suchpositionen, so daß bei vollständiger Suche ("Full Search") auch entsprechend viele Blockvergleiche ("Matchings") durchgeführt werden müssen. Als Kriterium für die Übereinstimmungsgüte zwischen zu codierendem Bildblock und Referenzblock wird im allgemeinen die Summe der absoluten Differenzen der Codierungsinformation, die jeweils in einzel­ nen Bildpunkten zugeordnet wird, verwendet.
Als Codierungsinformation wird in diesem Zusammenhang bei­ spielsweise eine dem jeweiligen Bildpunkt zugeordnete Lu­ minanzinformation oder auch Chrominanzinformation verstanden.
Ferner ist als Suchstrategie das sog. Verfahren der Spiralsu­ che bekannt. Bei der Spiralsuche werden wiederum alle Suchpo­ sitionen abgearbeitet, jedoch spiralförmig, d. h. beginnend von der sog. Nullverschiebung, d. h. von der gleichen Position wie der zu codierende Block. Die Suchpositionen werden auf einer spiralförmigen Kurve um die Nullverschiebung gewählt, wobei sich die Suchpositionen immer weiter von der Nullver­ schiebung entfernt befinden.
Bei dem Verfahren zur Bewegungsschätzung wird am Ende des Verfahrens der Bewegungsvektor derjenigen Suchposition zuge­ ordnet, bei der die Summe der absoluten Differenzen der Co­ dierungsinformation des zu codierenden Bildblocks und dem ent­ sprechenden Bildblock in dem Referenzbild minimal ist.
Kurzbeschreibung der Erfindung
Der Erfindung liegt das Problem zugrunde, ein Verfahren zur Bewegungsschätzung anzugeben, mit dem die Bewegungscharakte­ ristik von Elementen digitalisierter Bilder in einer Be­ wegtbildsequenz besser im Rahmen der Bildcodierung berück­ sichtigt wird, als dies mit bekannten Verfahren möglich ist.
Das Problem wird durch das Verfahren gemäß Patentanspruch 1 gelöst.
Bei dem Verfahren wird für Komponenten von Bewegungsvektoren oder für Bewegungsvektoren von zuvor schon bearbeiteten Bild­ elementen, d. h. für Bildelemente, für die schon eine Bewe­ gungsschätzung durchgeführt wurde, eine Häufigkeitsverteilung ermittelt. Abhängig von der Häufigkeitsverteilung wird minde­ stens eine Suchposition bestimmt. An der Suchposition wird ein Referenzbildelement bestimmt. Für das Originalbildelement wird ein Fehlermaß ermittelt, wobei mit dem Fehlermaß die Ähnlichkeit zwischen dem Originalbildelement und dem Refe­ renzbildelement beschrieben wird. Der Ort des Referenzbild­ elementes bestimmt die Suchposition.
Das im weiteren beschriebene Verfahren wird zur einfacheren Darstellung anhand eines Bildblocks BB als Bildelement, wel­ ches beispielsweise 8×8 Bildpunkte aufweist, beschrieben. Es ist jedoch ohne Einschränkung der Allgemeingültigkeit ohne weiteres auch für Makroblöcke, die üblicherweise aus 4 oder auch 6 Bildblöcken bestehen, anwendbar. Auch können im Rahmen des Verfahrens beliebig andere Elementareinheiten, d. h. Bild­ elemente des jeweils zugrundeliegenden Codierverfahrens be­ rücksichtigt werden, beispielsweise Rechtecke oder Dreiecke, usw. beliebiger Form und Größe bzw. bei objektbasierter Bild­ codierung Bildobjekte beliebiger Form oder beliebig geformte Teile von Bildobjekten. Somit ist unter einem Bildelement ei­ ne Elementareinheit beliebiger Form und Größe zu verstehen, in die das Bild B aufgeteilt wird, und für die das jeweilige Codierungsverfahren erfolgt.
Mit diesem Verfahren wird erstmals eine Suchstrategie für ei­ nen neuen Bewegungsvektor vorgeschlagen die an die Vektor­ statistik bereits gefundener Bewegungsvektoren bzw. Komponen­ ten von Bewegungsvektoren im gleichen Bild bzw. an die Vek­ torstatistik der zeitlich zurückliegenden Bilder angepaßt ist. Damit wird die Bildcodierung besser an die Bewegungscha­ rakteristik der Bewegtbildsequenz angepaßt, womit der benö­ tigte Rechenaufwand für die Bewegungsschätzung reduziert wird.
Bei der Anordnung zur Durchführung des Verfahrens ist ein Bildspeicher zur Speicherung der digitalisierten Bilder sowie eine Prozessoreinheit vorgesehen mit der die einzelnen Ver­ fahrensschritte des Verfahrens durchgeführt werden.
Auch die Anordnung weist die oben genannten Vorteile des Ver­ fahrens gegenüber dem bekannten Verfahren zur Bewegungsschät­ zung auf.
Vorteilhafte Weiterbildungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.
Es ist in einer Weiterbildung des Verfahrens vorteilhaft, bei der Ermittlung des Fehlermaßes, welches durch eine Folge von Akkumulationen von Differenzwerten gebildet werden kann, die Ermittlung des Fehlermaßes bezüglich eines Referenzbildele­ ments abzubrechen, wenn der Wert des Fehlermaßes bezüglich des jeweils untersuchten Referenzbildelements größer ist als ein vorgebbarer Schwellenwert.
Durch diese Vorgehensweise werden unnötige zusätzliche Re­ chenoperationen vermieden, was zu einer Einsparung benötigter Rechenleistung für die Anordnung bei der Durchführung des Verfahrens führt.
Diese Weiterbildung kann dadurch noch weiter verbessert wer­ den, daß der Schwellenwert variabel ausgestaltet ist und dem Schwellenwert jeweils der Wert des Fehlermaßes des in dem bisherigen Verfahren als optimal betrachteten Bildelements zugewiesen wird. Auf diese Weise wird eine weitere Reduktion benötigter Rechenoperationen erreicht.
Gerade im Zusammenhang mit dieser Weiterbildung des Verfah­ rens kommt die Berücksichtigung der Häufigkeitsverteilung der Bewegungsvektoren bzw. der Komponenten von Bewegungsvektoren sehr vorteilhaft zur Geltung, da für den Fall, daß häufig vorkommende Bewegungsvektoren zur Bestimmung von Suchpositio­ nen herangezogen werden, in denen die Referenzbildelemente vorzugsweise in einer frühen Phase des Verfahrens verglichen werden, wird statistisch sehr früh ein sehr gutes Fehlermaß und somit einen sehr kleinen Schwellenwert ermittelt, was bei weiteren Ermittlungen des Fehlermaßes bezüglich weiterer Re­ ferenzbildelemente im Rahmen der Bewegungsschätzung dazu führt, daß die Akkumulationen der Differenzen der Codierungs­ information im weiteren Verfahren frühzeitig abgebrochen wer­ den können. Dadurch wird eine erhebliche Rechenzeiteinspa­ rung, verglichen mit bekannten Verfahren zur Bewegungsschät­ zung, erreicht.
Kurzbeschreibung der Figuren
In den Figuren ist ein Ausführungsbeispiel der Erfindung dar­ gestellt, welches im weiteren näher erläutert wird.
Es zeigen
Fig. 1 eine Rechneranordnung mit zwei Rechnern, einer Kamera und einem Übertragungsmedium;
Fig. 2 eine Folge digitalisierter Bilder, die in einem Speicher eines Rechners gespeichert sind;
Fig. 3a bis 3c Häufigkeitsverteilungen von Komponenten von Bewegungsvektoren bzw. von Bewegungsvektoren von Bildelementen eines digitalisierten Bildes;
Fig. 4 ein Ablaufdiagramm, in dem die einzelnen Ver­ fahrensschritte des Verfahrens dargestellt sind.
Figurenbeschreibung
In Fig. 1 ist eine Kamera K dargestellt, mit der Bilder auf­ genommen werden. Die Kamera K kann beispielsweise eine belie­ bige analoge Kamera K sein, die Bilder einer Szene aufnimmt und diese Bilder entweder in der Kamera K digitalisiert oder auch analog zu einem Rechner R1 überträgt, in dem dann entwe­ der die digitalisierten Bilder verarbeitet werden oder die analogen Bilder zu digitalisierten Bildern umgewandelt werden und die digitalisierten Bilder verarbeitet werden.
Der Rechner R1 weist eine Prozessoreinheit P auf, mit der die im weiteren beschriebenen Verfahrensschritte der Bewegungs­ schätzung oder der Bewegungskompensation sowie eventuell wei­ tere Verfahrensschritte beispielsweise zur Bildcodierung durchgeführt werden. Die Prozessoreinheit P ist beispielswei­ se über einen Bus BU mit einem Speicher SP, in dem die Bild­ daten gespeichert werden, gekoppelt.
Es ist vorgesehen, in dem Rechner R1 die Bildcodierung vorzu­ nehmen und nach Übertragung der komprimierten Bilddaten über ein Übertragungsmedium ÜM zu einem weiteren Rechner R2 in dem weiteren Rechner R2 die Bilddecodierung durchzuführen. Der weitere Rechner R2 weist beispielsweise den gleichen Aufbau auf wie der erste Rechner R1, also den Speicher SP, der über den Bus BU mit der Prozessoreinheit P gekoppelt ist.
Die digitalisierten Bilder bzw. die rekonstruierten Bilder können entweder auf einem ersten Bildschirm BS1, der mit dem ersten Rechner R1 gekoppelt ist oder auf einem zweiten Bild­ schirm BS2, der mit dem zweiten Rechner R2 gekoppelt ist, dargestellt werden.
Das Verfahren zur Bewegungsschätzung kann sowohl im Rahmen sog. blockbasierter Bildcodierungsverfahren als auch im Rah­ men objektbasierter Bildcodierungsverfahren eingesetzt wer­ den.
Im weiteren wird jedoch zur einfacheren Darstellung lediglich die Vorgehensweise für ein blockbasiertes Bildcodierungsver­ fahren dargestellt.
In Fig. 2 ist symbolisch eine Folge von digitalisierten Bil­ dern ZVB, EVB, OB dargestellt, die in dem Speicher SP gespei­ chert werden.
Diese Darstellung stellt lediglich eine symbolhafte Darstel­ lung dar, da bei den meisten Bildcodierungsverfahren nicht mehrere aufeinanderfolgende Bilder komplett in dem Speicher SP gespeichert werden. Diese Darstellung dient somit ledig­ lich zur Veranschaulichung des Verfahrens.
Ziel der Bewegungsschätzung ist es, für ein Originalbild OB der Bildfolge eine Bildcodierung durchzuführen.
Es wird jeweils für ein Element OBE des Originalbildes OB versucht, ein schon codiertes, d. h. bearbeitetes Bildelement BBE zu finden, welches in einem ersten vorangegangen Bild EVB enthalten ist, das dem Element OBE des Originalbildes OB aus­ reichend ähnlich ist. Das bearbeitete Bildelement BBE ist schon codiert und somit auch schon übertragen.
Ausreichend ähnlich bedeutet in diesem Zusammenhang, daß es bei nur geringer Verminderung der Bildqualität ausreichend ist, das bearbeitete Bildelement BBE unter einer möglichen Verschiebung, die zwischen dem bearbeiteten Bildelement BBE in dem ersten vorangegangen Bild EVB und dem Element OBE des Originalbildes OB erfolgt, bei der Bilddecodierung in das zu decodierende Bild einzufügen, womit eine aufwendige Codierung des Elements OBE des Originalbildes OB nicht mehr erforder­ lich ist.
Die Verschiebung des bearbeiteten Bildelements BBE zwischen dem ersten vorangegangen Bild EVB und dem jeweiligen Element OBE des Originalbildes OB wird als Bewegungsvektor BV be­ zeichnet.
Bei üblichen blockbasierten Bildcodierungsverfahren wird für jeden Bildblock eines Bildes oder auch nur einem sog. Makro­ block, der beispielsweise 4 oder 6 Bildblöcke aufweist, ein Bewegungsvektor BV ermittelt und dem Bildblock bzw. Makro­ block zugeordnet.
Eine erhebliche Rolle für den erforderlichen Rechenaufwand bei der Bewegungsschätzung spielt die Reihenfolge, in der für das Element OBE des Originalbildes OB in dem ersten vorange­ gangenen Bild EVB nach einem Bildelement gesucht wird, das mit dem Element OBE des Originalbildes OB ausreichend gut übereinstimmt. Im weiteren werden die Bildblöcke, mit denen das Element OBE des Originalbildes OB verglichen wird, als Referenzbildelemente RBE bezeichnet.
In Fig. 2 sind bearbeitete Bildelemente BBE dargestellt, de­ nen jeweils ein Bewegungsvektor BV zugeordnet wurde.
Vor der Durchführung der Bewegungsschätzung für das Element OBE des Originalbildes OB oder für jeweils das gesamte Origi­ nalbild OB wird eine Häufigkeitsverteilung von Bewegungsvek­ toren BV schon bearbeiteter Bildelemente BBE ermittelt. Dabei können beliebig viele schon bearbeitete Bildelemente BBE in­ nerhalb des Originalbildes OB, oder auch innerhalb einer be­ liebigen Anzahl vorangegangener Bilder, beispielsweise dem ersten vorangegangenen Bild EVB oder auch einem zweiten vor­ angegangenen Bild ZVB oder weiterer vorangegangener Bilder in der Bildfolge berücksichtigt werden.
Bei der Häufigkeitsverteilung wird die Anzahl jeweils vorkom­ mender Bewegungsvektoren BV, wie sie beispielsweise in Fig. 3c skizziert ist, akkumuliert. Der Bewegungsvektor BV weist üblicherweise im 2-dimensionalen Raum eine erste Komponente BVx sowie eine zweite Komponente BVy auf. Beide Komponenten bilden zusammen jeweils den Bewegungsvektor BV.
In Fig. 3c ist eine Häufigkeitsverteilung F der Bewegungsvek­ toren BV beispielhaft dargestellt. Es ist jeweils für jede vorkommende Komponente des Bewegungsvektors BV die Anzahl ABVxy dargestellt, mit der die Häufigkeit des Auftretens des jeweiligen Bewegungsvektors BV beschrieben wird. Es ergibt sich damit eine 2-dimensionale Fläche F in einem 3-dimensionalen Raum, der durch die erste Komponente BVx, die zweite Komponente BVy sowie die Anzahl ABVxy aufgespannt wird.
In Fig. 3c ist beispielhaft dargestellt, daß der Bewegungs­ vektor (2,1) bei den berücksichtigten bearbeiteten Bildele­ menten BBE, die zur Ermittlung der Häufigkeitsverteilung her­ angezogen wurden, 6mal vorkam. Der Bewegungsvektor (6,6) ist in diesem Beispiel 5mal vorgekommen.
Bei dem Verfahren wird in einem weiteren Schritt eine Suchpo­ sition für das Element OBE in dem Originalbild OB bezüglich mindestens eines Referenzbildelements RBE in dem ersten vor­ angegangenen Bild EVB abhängig von der Häufigkeitsverteilung F bestimmt. An der Suchposition wird ferner für das Original­ bildelement OBE ein Fehlermaß ermittelt. Dies erfolgt bei­ spielsweise dadurch, daß in dem ersten vorangegangenen Bild EVB an der Suchposition das Referenzbildelement RBE, welches die Suchposition enthält, ein Vergleich der Codierungsinfor­ mation, die jeweils das Referenzbildelement RBE bzw. das Ele­ ment OBE des Originalbildes OB enthält, erfolgt.
Das Fehlermaß erfolgt beispielsweise durch Differenzbildung der Codierungsinformation der einzelnen Bildpunkte des Ele­ ments OBE und des Referenzbildelements RBE. Hierbei wird bei­ spielsweise die Summe der quadratischen Differenzen verwen­ det.
In einer Weiterbildung des Verfahrens können mehrere Suchpo­ sitionen bestimmt werden und somit auch mehrere Differenz­ bildelemente RBE, die jeweils mindestens eine Suchposition enthalten.
Die Bildung des Fehlermaßes wird jeweils für ein Referenz­ bildelement RBE und das Element OB des Originalbildes OB durchgeführt. Es wird dasjenige Referenzbildelement RBE aus­ gewählt und im Rahmen der Bewegungsschätzung als das dem Ele­ ment OBE ähnlichste Referenzbildelement RBE verwendet, wel­ ches unter den berücksichtigten Referenzbildelementen RBE dem Element OB des Originalbildes OB bezüglich des Fehlermaßes die größte Übereinstimmung mit dem Element OB des Original­ bildes OB aufweist.
Die Reihenfolge, in der die einzelnen Referenzbildelemente RBE untersucht werden, wird abhängig von der Häufigkeitsver­ teilung der Bewegungsvektoren EV.
Dies bedeutet beispielsweise, daß die Vergleiche des Elements OBE des Originalbilds OB mit den Referenzbildelementen RBE an der Suchposition begonnen wird, die sich dadurch ergibt, daß ausgehend von der Position des Elements OBE des Originalbilds OB die Position um den am häufigsten vorkommenden Bewegungs­ vektor in der Häufigkeitsverteilung verschoben wird. Daraus ergibt sich die Suchposition in dem ersten vorangegangenen Bild EVB, in dem nach der Statistik, d. h. der Semantik des Bildinhalts es am wahrscheinlichsten ist, daß sich ein dem Element OBE sehr ähnliches Referenzbildelement RBE in dem er­ sten vorangegangenen Bild EVB befindet.
Es wird ferner ein vorgebbarer Schwellenwert im Rahmen dieses Verfahrens berücksichtigt.
Bei jedem Vergleich des Elements OBE des Originalbilds OB mit einem Referenzbildelement RBE wird das Kehlermaß solange wei­ ter ermittelt, d. h. die einzelnen Differenzen der Codierungs­ information so lange weiter aufsummiert, bis der Wert des Feh­ lermaßes den Schwellenwert übersteigt.
In Fig. 4 ist das Verfahren in seinen einzelnen Verfahrens­ schritten in einem Ablaufdiagramm zusammengefaßt dargestellt.
In einem ersten Schritt (401) wird eine Häufigkeitsverteilung von Bewegungsvektoren BV und/oder Komponenten von Bewegungs­ vektoren BVx, BVy bearbeiteter Bildelemente BBE vorangegange­ ner Bilder EVB, ZVB, . . . ermittelt.
In einem weiteren Schritt (402) wird mindestens eine Suchpo­ sition in einem Referenzbild EVB abhängig von der Häufig­ keitsverteilung bestimmt.
Für das Element OBE des Originalbildes OB wird im Rahmen der Bewegungsschätzung ein Fehlermaß der Codierungsinformation des Elements OBE des Originalbildes OB bezüglich eines Refe­ renzbildelements RBE an der Suchposition ermittelt (403), wo­ bei mit dem Fehlermaß die Ähnlichkeit zwischen dem Element OBE mit dem Referenzbildelement RBE beschrieben wird.
Im folgenden werden einige Varianten des oben beschriebenen Ausführungsbeispiels beschrieben:
Die Kamera K kann z. B. auch eine digitale Kamera K sein, mit der direkt digitalisierte Bilder B aufgenommen und dem Rech­ ner R1 zur Weiterverarbeitung zugeführt werden.
Der Rechner R1 kann auch als eine eigenständige Anordnung, die die beschriebenen Verfahrensschritte durchführt, ausge­ staltet sein, beispielsweise als eine eigenständige Computer­ karte, die in einem Rechner installiert ist.
Auch wenn oben lediglich die Vorgehensweise für ein blockba­ siertes Bildcodierungsverfahren dargestellt wurde, so ist das Verfahren jedoch ohne weiteres auch für objektbasierte Bild­ codierungsverfahren einsetzbar. Bei objektbasierten Bildco­ dierungsverfahren ist es lediglich erforderlich, daß im Rah­ men der Bewegungsschätzung jeweils Bildobjekte ungefähr glei­ cher Form und Größe miteinander verglichen werden, da sonst das Ergebnis der Bewegungsschätzung unter Umständen fehler­ haft werden könnte.
Es ist in einer Variante des Verfahrens ferner vorgesehen, lediglich eine Häufigkeitsverteilung für die einzelnen Kompo­ nenten BVx und BVy des Bewegungsvektors BV zu ermitteln.
Eine solche Häufigkeitsverteilung ist beispielhaft in Fig. 3a für die erste Komponente BVx dargestellt. In Fig. 3a ist dar­ gestellt, daß die erste Komponente BVx mit einem Wert 4 bei den berücksichtigten bearbeiteten Bildelementen BBE 8mal vorkam. Die erste Komponenten BVx mit einem Wert 1 ist bei­ spielsweise 2mal vorgekommen.
In Fig. 3b ist eine solche Häufigkeitsverteilung für die zweite Komponenten BVy dargestellt. Die Reihenfolge, in der die einzelnen Referenzbildelemente RBE untersucht werden, wird in diesem Fall abhängig von der Häufigkeitsverteilung der Komponenten BVx und BVy der Bewegungsvektoren BV gewählt.
Das Fehlermaß kann z. B. auch durch Summenbildung der absolu­ ten Differenz der Bildpunkte des Elements OBE und des Refe­ renzbildelements RBE ermittelt werden. Weitere Möglichkeiten zur Bildung des Fehlermaßes sind dem Fachmann hinlänglich ge­ läufig und können ohne Einschränkung im Rahmen dieses Verfah­ rens verwendet werden.
Ferner ist es in einer Variante vorgesehen, den Schwellenwert adaptiv auszugestalten, d. h. jeweils den Schwellenwert auf einen neuen Wert zu setzen, wenn das Fehlermaß nach Berück­ sichtigung aller Bildpunkte in dem jeweiligen Elementen OBE, RBE berücksichtigt wurde und das Fehlermaß das kleiner ist als der bisherige Schwellenwert. In diesem Fall wird der Wert des Fehlermaßes dem Wert des Schwellenwerts zugeordnet. Auf diese Weise wird jeweils der Schwellenwert auf den "optimalsten" Wert des Fehlermaßes bei einer iterativen Durchführung des Verfahrens für mehrere Referenzbildelemente RBE durchgeführt.
Wird jeweils dann die Untersuchung eines Referenzbildelemen­ tes RBE abgebrochen, wenn der Wert des Fehlermaßes für den jeweiligen Vergleich den Wert des Schwellenwerts übersteigt, so wird eine erhebliche Rechenzeiteinsprung durch Berück­ sichtigung der Häufigkeitsverteilung erreicht, da statistisch gewährleistet ist, daß schon sehr frühzeitig ein sehr ähnli­ ches Bildelement RWE ermittelt wird und somit schon sehr frühzeitig ein Schwellenwert mit einem kleinen Wert ermittelt wird.
Im Rahmen dieses Dokumentes wurden folgende Veröffentlichungen zitiert:
[1] Ming Liou, Overview of the p×64 kbit/s Video Coding Standard, Communications of the ACM, Vol. 34, No. 4, S. 60-63, April 1991;
[2] G. Wallace, The JPEG Still Picture Compression Standard, Communications of the ACM, Vol. 34, No. 4, S. 31-44, April 1991;
[3] D. Le Gall, MPEG: A Video Compression Standard for Multimedia Applications, Communications of the ACM, Vol. 34, No. 4, S. 47-58, April 1991;
[4] S. Hofmeier, Multimedia für unterwegs, Funkschau, Nr. 7, S. 75-77, 15. März 1996;
[5] US 5 028 996;
[6] US 5 565 921.

Claims (13)

1. Verfahren zur rechnergestützten Bewegungsschätzung eines Elements (OBE) eines zu codierenden Bildes, mit einer belie­ bigen Anzahl von Bildpunkten (BP), zur Bildcodierung digita­ lisierter Bilder,
  • - bei dem eine Häufigkeitsverteilung (HV) mindestens einer Komponente von Bewegungsvektoren und/oder von Bewegungsvekto­ ren von bearbeiteten Bildelementen (BBE), für die schon eine Bewegungsschätzung durchgeführt wurde, ermittelt wird,
  • - bei dem mindestens eine Suchposition (SP) abhängig von der Häufigkeitsverteilung (HV) bestimmt wird,
  • - bei dem für das Originalbildelement (OBE) an der Suchposi­ tion (SP) ein Fehlermaß ermittelt wird,
  • - bei dem mit dem Fehlermaß die Ähnlichkeit zwischen dem Ele­ ment (OBE) und einem Referenzbildelement (RBE) beschrieben wird, und
  • - bei dem die Suchposition (SP) durch das Referenzbildelement (RBE) gegeben ist.
2. Verfahren nach Anspruch 1,
  • - bei dem mehrere Suchpositionen (SP) bestimmt werden,
  • - bei dem mehrere Referenzbildelemente RBE) bestimmt werden, die jeweils mindestens eine Suchposition (SP) enthalten,
  • - bei dem das Verfahren für jeweils das Element (OBE) des zu codierenden Bildes und ein Referenzbildelement (RBE) durchge­ führt wird.
3. Verfahren nach Anspruch 2, bei dem die Referenzbildelemente (RBE) in einer Reihenfolge bearbeitet werden, die sich aus der Häufigkeitsverteilung (HV) ergibt.
4. Verfahren nach Anspruch 3, bei dem die Referenzbildelemente (RBE) in der Reihenfolge ab­ nehmender Häufigkeit der Komponente von Bewegungsvektoren und/oder der Bewegungsvektoren bearbeitet werden.
5. Verfahren nach einem der Ansprüche 1 bis 4,
  • - bei dem jeweils den Bildpunkten (BP) Codierungsinformation zugeordnet wird, und
  • - bei dem das Fehlermaß gebildet wird, indem die Codierungs­ information des Elements (OBE) mit Codierungsinformation des Referenzbildelements (RBE) verglichen wird.
6. Verfahren nach Anspruch 5, bei dem das Fehlermaß durch eine Summe von Differenzen der Codierungsinformation des Elements (OBE) mit Codierungsinfor­ mation des Referenzbildelements (RBE) ermittelt wird.
7. Verfahren nach einem der Ansprüche 2 bis 6, bei dem die Ermittlung des Fehlermaßes für ein Referenzbild­ element (RBE) abgebrochen wird, wenn der Wert des Fehlermaßes größer ist als ein Schwellenwert.
8. Verfahren nach Anspruch 7, bei dem der Schwellenwert zu Beginn des Verfahrens vorgegeben wird.
9. Verfahren nach Anspruch 7 oder 8,
  • - bei dem der Schwellenwert variabel ausgestaltet ist, und
  • - bei dem dem Schwellenwert der Wert des Fehlermaßes zugewie­ sen wird, wenn das Fehlermaß für das jeweilige Referenzbild­ element (RBE) kleiner ist als der Schwellenwert.
10. Verfahren nach einem der Ansprüche 1 bis 9, bei dem zur Bildcodierung eine blockbasierte Bildcodierung eingesetzt wird.
11. Verfahren nach einem der Ansprüche 1 bis 9, bei dem zur Bildcodierung eine objektbasierte Bildcodierung eingesetzt wird.
12. Anordnung zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 11,
  • - mit einer Prozessoreinheit, mit der Verfahrensschritte des Verfahrens durchgeführt werden,
  • - mit einem Bildspeicher, der mit der Prozessoreinheit (PE) gekoppelt ist, zur Speicherung digitalisierter Bilder.
13. Anordnung nach Anspruch 12, mit einer mit dem Bildspeicher (BS) gekoppelten Kamera (K).
DE19712785A 1997-03-26 1997-03-26 Verfahren und Anordnung zur rechnergestützten Bewegungsschätzung eines Elements eines zu codierenden Bildes Expired - Fee Related DE19712785C1 (de)

Priority Applications (5)

Application Number Priority Date Filing Date Title
DE19712785A DE19712785C1 (de) 1997-03-26 1997-03-26 Verfahren und Anordnung zur rechnergestützten Bewegungsschätzung eines Elements eines zu codierenden Bildes
PCT/DE1998/000779 WO1998043434A1 (de) 1997-03-26 1998-03-16 Verfahren und anordnung zur rechnergestützten bewegungsschätzung eines elements eines zu codierenden bildes
CN98802060A CN1244992A (zh) 1997-03-26 1998-03-16 计算机辅助移动估算一将被编码图像的一元素的方法和装置
EP98925399A EP0970586A1 (de) 1997-03-26 1998-03-16 Verfahren und anordnung zur rechnergestützten bewegungsschätzung eines elements eines zu codierenden bildes
JP54467598A JP2002501697A (ja) 1997-03-26 1998-03-16 符号化しようとする画像の画像要素のコンピュータ支援動き予測方法および装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE19712785A DE19712785C1 (de) 1997-03-26 1997-03-26 Verfahren und Anordnung zur rechnergestützten Bewegungsschätzung eines Elements eines zu codierenden Bildes

Publications (1)

Publication Number Publication Date
DE19712785C1 true DE19712785C1 (de) 1998-07-16

Family

ID=7824742

Family Applications (1)

Application Number Title Priority Date Filing Date
DE19712785A Expired - Fee Related DE19712785C1 (de) 1997-03-26 1997-03-26 Verfahren und Anordnung zur rechnergestützten Bewegungsschätzung eines Elements eines zu codierenden Bildes

Country Status (5)

Country Link
EP (1) EP0970586A1 (de)
JP (1) JP2002501697A (de)
CN (1) CN1244992A (de)
DE (1) DE19712785C1 (de)
WO (1) WO1998043434A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1361541A1 (de) * 2002-04-09 2003-11-12 STMicroelectronics S.r.l. Verfahren und Vorrichtung zur globalen Bewegungsschätzung innerhalb einer Bildsequenz, z.B. für optische Mäuse
US7068721B2 (en) 1998-08-18 2006-06-27 Siemens Aktiengesellschaft Method and configuration for coding a digitized picture, and method and configuration for decoding a digitized picture

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7551673B1 (en) 1999-05-13 2009-06-23 Stmicroelectronics Asia Pacific Pte Ltd. Adaptive motion estimator

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5028996A (en) * 1989-06-26 1991-07-02 Matsushita Electric Industrial Co., Ltd. Picture coding method
US5565921A (en) * 1993-03-16 1996-10-15 Olympus Optical Co., Ltd. Motion-adaptive image signal processing system

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4007851A1 (de) * 1989-08-24 1991-02-28 Thomson Brandt Gmbh Verfahren zur bewegungskompensation in einem bewegtbildcoder oder -decoder
EP0557007A2 (de) * 1992-02-15 1993-08-25 Sony Corporation Bildverarbeitungsgerät
US5537155A (en) * 1994-04-29 1996-07-16 Motorola, Inc. Method for estimating motion in a video sequence
JP3094893B2 (ja) * 1995-03-03 2000-10-03 ケイディディ株式会社 動画像符号化装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5028996A (en) * 1989-06-26 1991-07-02 Matsushita Electric Industrial Co., Ltd. Picture coding method
US5565921A (en) * 1993-03-16 1996-10-15 Olympus Optical Co., Ltd. Motion-adaptive image signal processing system

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
GALL, D. le, MPEG: A Video Compression Standard for Multimedia Applications, Communications of the ACM, Vol. 34, No. 4, April 1991, S. 47-58 *
HOFMEIER, S.: Multimedia für unterwegs, Funkschau,Nr. 7, 15. März 1996, S. 75-77 *
LIOU, Ming: Overview of the px64 kbit/s Video Coding Standard, Communications of the ACM, Vol. 34, No. 4, April 1991, S. 60-63 *
WALLACE, G.: The JPEG Still Picture Compression Standard, Communications of the ACM, Vol. 34, No. 4, April 1991, S. 31-44 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7068721B2 (en) 1998-08-18 2006-06-27 Siemens Aktiengesellschaft Method and configuration for coding a digitized picture, and method and configuration for decoding a digitized picture
EP1361541A1 (de) * 2002-04-09 2003-11-12 STMicroelectronics S.r.l. Verfahren und Vorrichtung zur globalen Bewegungsschätzung innerhalb einer Bildsequenz, z.B. für optische Mäuse

Also Published As

Publication number Publication date
CN1244992A (zh) 2000-02-16
EP0970586A1 (de) 2000-01-12
JP2002501697A (ja) 2002-01-15
WO1998043434A1 (de) 1998-10-01

Similar Documents

Publication Publication Date Title
EP0817496B1 (de) Verfahren und Anordnung zur Reduktion von Blockartefakten in codierten Bildern
EP1635578B1 (de) Verfahren und Anordnung zur Videocodierung, wobei die Videocodierung Texturanalyse und Textursynthese sowie Texturverzerrung umfasst, sowie ein entsprechendes Computerprogramm und ein entsprechendes computerlesbares Speichermedium
DE69629715T2 (de) Datenkomprimierung
DE69634962T2 (de) Extrapolation von Pixelwerten eines in einem Block enthaltenen Videoobjektes
DE4309105C2 (de) Verfahren zum Behandeln eines Teils eines verdichteten Bildes für eine Aufbereitung
DE60214721T2 (de) Aufnahmespur für verbesserte videokompression
DE19541457C1 (de) Verfahren zur Codierung eines Videodatenstroms einer aus Bildblöcken bestehenden Videosequenz
EP0941613B1 (de) Verfahren zur bildcodierung eines digitalisierten bildes
DE19712785C1 (de) Verfahren und Anordnung zur rechnergestützten Bewegungsschätzung eines Elements eines zu codierenden Bildes
EP1101196B1 (de) Verfahren und anordnung zur bewegungsschätzung in einem digitalisierten bild mit bildpunkten
DE19524872C1 (de) Verfahren und Anordnung zur Codierung und Decodierung von einem Videodatenstrom für alle Bildelemente des Videodatenstroms
EP1279291B1 (de) Verfahren und vorrichtung zum speichern und bearbeiten von bildinformation zeitlich aufeinanderfolgender bilder
EP1116184B1 (de) Verfahren und anordnung zur bearbeitung eines digitalisierten bildes mit bildpunkten
EP1110407B1 (de) Verfahren und anordnung zur codierung und decodierung eines digitalisierten bildes mit anwendung eines gesamtbewegungsvektors
EP0981910B1 (de) Verfahren und vorrichtung zur codierung eines digitalisierten bildes
EP0981909B1 (de) Verfahren und vorrichtung zur codierung und decodierung eines digitalisierten bildes
DE19618117C1 (de) Verfahren zur Quantisierung und Verfahren zur inversen Quantisierung von Transformationscodierungskoeffizienten eines Videodatenstorms
EP1121809B1 (de) Verfahren und anordnung zur codierung eines digitalisierten bildes, verfahren und anordnung zur decodierung eines digitalisierten bildes
WO2001049038A1 (de) Verfahren, anordnung und computerprogrammerzeugnis zur prädiktion bei der codierung eines in bildblöcke unterteilten bildes
DE19701942C1 (de) Verfahren zur Codierung von Bilddaten
DE10301572B4 (de) Verfahren zum Komprimieren einer Folge von Bildern
DE19603808C1 (de) Anordnung und Verfahren zur Codierung und Decodierung von mit einem blockbasierten Codierungsverfahren codierten Bildern
EP1099193A1 (de) Verfahren und anordnung zur ermittlung einer bewegung, der ein digitalisiertes bild unterliegt
EP1177526B1 (de) Verfahren und anordnung zur ermittlung einer bewegung, der ein digitalisiertes bild unterliegt, sowie computerprogramm-erzeugnis und computerlesbares speichermedium
EP1085761A1 (de) Bewegungsschätzung in einem objektorientierten Videokodierer

Legal Events

Date Code Title Description
8100 Publication of the examined application without publication of unexamined application
D1 Grant (no unexamined application published) patent law 81
8363 Opposition against the patent
8339 Ceased/non-payment of the annual fee