-
Die
Erfindung betrifft ein Verfahren zum Codieren einer Folge von digitalisierten
Bildern umfassend eine Vielzahl von Bildpunkten mit zugeordneten
Bildpunktwerten sowie ein entsprechendes Decodierverfahren und einen
entsprechenden Encoder und Decoder.
-
In
einer Vielzahl von technischen Anwendungsgebieten ist es wünschenswert,
digitalisierte Bilder möglichst gut mit geringen Verlusten
zu komprimieren, um damit den Speicherplatz für die Bilder
klein zu halten. Darüber hinaus ist es oftmals erforderlich,
große Datenmengen von digitalisierten Bilderfolgen möglichst schnell
aus einem Speicher über ein Übertragungsnetz auch
bei eingeschränkter Bandbreite des Netzes abzurufen, wobei
gegebenenfalls auch geringfügige Verluste bei der Kompression
der Bilddaten akzeptiert werden können.
-
Digitalisierte
Bilderfolgen treten unter anderem in medizinischen Anwendungen auf,
bei denen beispielsweise bei Röntgenaufnahmen mittels eines
Computertomographen eine Folge von zweidimensionalen Schnittbildern
von Organen des geröntgten Patienten generiert werden,
wobei diese Schnittbilder in einem gewissen räumlichen
Abstand zueinander aufgenommen werden. Aus dem Stand der Technik
sind verschiedene Kompressionsverfahren für die verlustfreie
Kompression solcher Bilddaten bekannt, wobei diese Verfahren auch
für beliebige andere digitalisierte Bilder eingesetzt werden.
Insbesondere werden zur Kompression die Standards JPEG-LS bzw. JPEG-2000
eingesetzt, bei denen die einzelnen Bilder der Bilderfolge unabhängig voneinander
komprimiert werden. Dabei wird eine bestehende Korrelation zwischen
den einzelnen aufeinander folgenden Bildern nicht ausgenutzt.
-
Aus
dem Stand der Technik sind ferner verschiedene Videocodierstandards
bekannt, welche zur Kompression von sich bewegenden Bildinhalten,
beispielsweise von Videofilmen, eingesetzt werden. In dem Codierstandard
H.264/AVC werden Bildblöcke von aufeinander folgenden
Bildern mit Hilfe von Bewegungskompensation prädiziert.
Der sich ergebende Prädiktionsfehler wird dann codiert.
-
Aufgabe
der Erfindung ist es, ein Verfahren bzw. eine Vorrichtung zum Codieren
bzw. Decodieren von Bildern zu schaffen, welche gute Kompressionsraten
für Bilder beliebiger Bildinhalte ermöglichen.
-
Diese
Aufgabe wird durch das Verfahren gemäß dem unabhängigen
Patentanspruch 1 bzw. das Verfahren gemäß dem
unabhängigen Patentanspruch 19 bzw. den Encoder gemäß dem
unabhängigen Patentanspruch 21 bzw. den Decoder gemäß dem
unabhängigen Patentanspruch 22 gelöst. Weiterbildungen
der Erfindung sind in den abhängigen Ansprüchen
definiert.
-
In
dem erfindungsgemäßen Verfahren wird eine Folge
von digitalisierten Bildern umfassend eine Vielzahl von Bildpunkten
mit zugeordneten Bildpunktwerten codiert, wobei zu codierende Bildpunkte
der Bilder prädiziert werden und die sich aus der Prädiktion
ergebenden Prädiktionsfehler codiert werden. Die Prädiktion eines
zu codierenden Bildpunkts erfolgt dabei für zumindest einen
Teil der Bildpunkte mit Hilfe von Trajektorien entlang codierter
Bildpunkte. Die Prädiktion basierend auf Trajektorien wird
dabei vorzugsweise immer dann durchgeführt, wenn sie möglich
ist, d. h. wenn ausreichend viele bereits codierte Bildpunkte vorliegen.
-
Bei
der erfindungsgemäßen Prädiktion eines
zu codierenden Bildpunkts basierend auf Trajektorien wird zunächst
eine Mehrzahl von Trajektorien ermittelt, wobei die Trajektorien
jeweils durch den zu codierenden Bildpunkt und weitere Bildpunkte
aus dem Bild des zu codierenden Bildpunkts und/oder aus einem oder mehreren
zeitlich zu dem Bild des zu codieren den Bildpunkts benachbarten
Bildern verlaufen. Für die ermittelten Trajektorien wird
jeweils ein Bewertungsmaß bestimmt, welches derart ausgestaltet
ist, dass eine Trajektorie gemäß dem Bewertungsmaß umso
höher bewertet wird, je kleiner die Schwankungen der uncodierten Bildpunktwerte
der weiteren Bildpunkte entlang der Trajektorie sind. Basierend
auf den weiteren Bildpunkten der Trajektorie mit der höchsten
Bewertung bzw. dem höchsten Bewertungsmaß wird
dann ein Prädiktionswert für den Bildpunktwert
des zu codierenden Bildpunkts ermittelt.
-
Das
erfindungsgemäße Verfahren beruht auf der Erkenntnis,
dass sich Bildpunkte mit ähnlichen Bildpunktwerten oftmals
in eine vorgegebene Richtung fortsetzen, so dass eine besonders
gute Prädiktion mit Hilfe von Trajektorien erreicht wird,
deren Bildpunkte ähnliche Bildpunktwerte aufweisen. Hierdurch
kann eine hohe Codiereffizienz, insbesondere für eine verlustfreie
oder nahezu verlustfreie Codierung, erreicht werden.
-
In
einer besonders bevorzugten Ausführungsform hängt
das Bewertungsmaß dabei von der Summe der betragsmäßigen
Abweichungen oder der quadratischen Abweichungen zwischen den Bildpunktwerte
der weiteren Bildpunkte der Trajektorie und dem Mittelwert dieser
Bildpunktwerte ab, wobei eine Trajektorie umso höher bewertet
wird, je kleiner die betragsmäßigen Abweichungen
oder quadratischen Abweichungen sind.
-
Gegebenenfalls
hängt das Bewertungsmaß auch von den Abständen
zwischen den weiteren Bildpunkten der Trajektorie ab, wobei eine
Trajektorie umso höher bewertet wird, je größer
diese Abstände sind. Hierdurch wird eine geeignete Normalisierung
des Bewertungsmaßes erreicht. Ebenso kann das Bewertungsmaß von
dem Abstand zwischen dem zu codierenden Bildpunkt zu dem weiteren,
am nächsten zu dem zu codierenden Bildpunkt liegenden Bildpunkt
abhängen, wobei eine Trajektorie umso höher bewertet
wird, je geringer dieser Abstand ist. Hierdurch fließt
bei der Bewertung der Trajektorie ein Zuverlässigkeitsfaktor ein,
wobei davon ausgegangen werden kann, dass die Aussage, dass ein
zu codierender Bildpunkt zu einer Struktur mit ähnlichen
Bildpunktwerten gehört, umso zuverlässiger ist,
je näher die weiteren Bildpunkte der Trajektorie zu dem
zu codierenden Bildpunkt sind.
-
Bei
der erfindungsgemäß durchgeführten Prädiktion
können Trajektorien mit der gleichen Länge und/oder
auch Trajektorien mit unterschiedlichen Längen berücksichtigt
werden. Entscheidend ist lediglich, dass eine Trajektorie zumindest
zwei weitere, bereits codierte Bildpunkte umfasst.
-
In
einer weiteren Ausgestaltung des erfindungsgemäßen
Verfahrens wird die zulässige Länge der bei der
Prädiktion verwendeten Trajektorien nach jeder Codierung
des Bildes um einen Bildpunkt erhöht. Hierdurch wird berücksichtigt,
dass umso längere Trajektorien aus Bildpunkten verschiedener
Bilder gebildet werden können, je mehr Bilder bereits codiert
wurden. Gegebenenfalls kann die zulässige Länge
der Trajektorien zumindest für eine vorbestimmte Anzahl
von aufeinander folgenden Bildern auch fest gewählt werden.
-
In
einer besonders bevorzugten Ausführungsform wird der Prädiktionswert
für den Bildpunktwert des zu codierenden Bildpunkts mittels
einer Extrapolation bestimmt. Es können dabei beliebige
Extrapolationsverfahren eingesetzt werden, insbesondere eine lineare
Extrapolation und/oder eine Spline-Extrapolation und/oder eine Polynom-Extrapolation.
Gegebenenfalls ist es auch möglich, dass als Prädiktionswert
für den Bildpunktwert des zu codierenden Bildpunkts der
Mittelwert der Bildpunktwerte der weiteren Bildpunkte bestimmt wird.
-
In
einer bevorzugten Ausführungsform des erfindungsgemäßen
Verfahrens werden für zumindest einen Teil der Bilder Bildpunkte
mittels Trajektorien umfassend Bildpunkte aus dem gleichen Bild
und/oder mittels Trajektorien umfassend Bildpunkte aus verschiedenen
Bildern prädiziert. Insbesondere werden bei der Initialisierung
des Verfahrens zumindest für die ersten beiden Bilder Bildpunkte
mittels Trajektorien aus dem gleichen Bild prädiziert und/oder
basierend auf einer von dem erfindungsgemäßen
Verfahren abweichenden Codierung codiert. Die abweichende Codierung
wird in einem Bild dann eingesetzt, wenn noch nicht ausreichend viele
Bildpunkte zur Prädiktion basierend auf Trajektorien vorliegen.
-
In
einer bevorzugten Ausführungsform werden die sich aus der
Prädiktion ergebenden Prädiktionsfehler zumindest
teilweise durch die Abweichung zwischen dem Bildpunktwert des zu
codierenden Bildpunkts und dem prädizierten Bildpunktwert
repräsentiert. Die Abweichung ist dabei insbesondere vorzeichenbehaftet,
um bei einer späteren Decodierung auch den decodierten
Bildpunkt richtig mittels der Abweichung zu korrigieren.
-
Gegebenenfalls
kann in dem erfindungsgemäßen Verfahren zur Erhöhung
der Codiereffizienz ein Informationsverlust in den codierten Bildern
akzeptiert werden. Vorzugsweise wird dabei ein Schwellwert vorgegeben,
wobei die sich aus der Prädiktion ergebenden Prädiktionsfehler
beim betragsmäßigen Überschreiten des
Schwellwerts durch die Abweichung zwischen dem Bildpunktwert des
zu codierenden Bildpunkts und dem prädizierten Bildpunktwert
repräsentiert werden und ansonsten auf den Wert Null gesetzt
werden. Auf diese Weise wird eine Fehlerschranke berücksichtigt,
wobei alle Prädiktionsfehler kleiner oder gleich der Fehlerschranke
auf Null gesetzt werden, wodurch die Codiereffizienz erhöht
wird. Vorzugsweise wird dabei der Bildpunktwert eines Bildpunkts
mit einem Prädiktionsfehler von Null durch den prädizierten
Bildpunktwert ersetzt, um hierdurch einen Drift zwischen der Codierung
und der Decodierung der Bilder zu vermeiden.
-
Der
eigentliche Prädiktionsfehler kann in dem erfindungsgemäßen
Verfahren sowohl verlustfrei als auch verlustbehaftet codiert werden.
Es werden hierbei aus dem Stand der Technik bekannte Verfahren zur Codierung
des Prädiktionsfehlers verwendet, welche insbesondere eine
Transformation (vorzugsweise eine DCT-Transformation) und/oder eine
Quantisierung und/oder eine Entropiecodierung umfassen. Eine Quantisierung
impliziert dabei Informationsverluste, wohingegen die Entropiecodierung
verlustfrei ist.
-
Im
Falle einer verlustbehafteten Codierung eines Prädiktionsfehlers
wird der Bildpunktwert des Bildpunkts, für den der Prädiktionsfehler
ermittelt wurde, vorzugsweise durch den prädizierten und
mit dem decodierten Prädiktionsfehler korrigierten Bildpunktwert
ersetzt. Auf diese Weise wird wiederum sichergestellt, dass keine
Drifts zwischen der Codierung und der Decodierung der Bilder auftritt.
-
Im
Regelfall ist es in dem erfindungsgemäßen Verfahren
nicht erforderlich, dass Seiteninformationen betreffend die Durchführung
der Codierung übertragen werden, da bei der Decodierung
in analoger Weise wie bei der Codierung vorgegangen wird und hierzu
keine Informationen von dem die Codierung durchführenden Encoder
benötigt werden. Sollten mehrere unterschiedliche Prädiktionsmodi
verwendet werden, können jedoch gegebenenfalls Seiteninformationen
zur Signalisierung des verwendeten Prädiktionsmodus für
die codierten Bilder erzeugt werden.
-
Ein
besonders bevorzugter Anwendungsbereich der Erfindung ist die Codierung
von digitalisierten Bildern in der Form von medizinischen Aufnahmen,
insbesondere von medizinischen Röntgenaufnahmen. Vor allem
bei diesen Aufnahmen setzen sich Strukturen mit den gleichen oder ähnlichen
Bildpunktwerten in solche Richtungen fort, in denen das aufgenommene
Objekt (z. B. das Organ eines Patienten) liegt bzw. welche eine Grenze
des Organs zu seiner Umgebung darstellen.
-
Neben
dem oben beschriebenen Codierverfahren umfasst die Erfindung ferner
ein Verfahren zum Decodieren einer Folge von digitalisierten Bildern,
welche mit dem erfindungsgemäßen Codierverfahren
codiert sind. Dabei werden die Prädiktionsfehler der jeweiligen
Bildpunkte decodiert und die jeweiligen zu decodierenden Bildpunkte
prädiziert, wobei sich ein decodier ter Bildpunkt aus einer
Korrektur eines prädizierten Bildpunkts mit dem decodierten
Prädiktionsfehler ergibt. Die Prädiktion eines
zu decodierenden Bildpunkts läuft dabei wiederum basierend
auf Trajektorien ab. Insbesondere wird eine Mehrzahl von Trajektorien
ermittelt, wobei die Trajektorien jeweils durch den zu decodierenden
Bildpunkt und weiteren, bereits decodierten Bildpunkten aus dem
Bild des zu decodierenden Bildpunkts und/oder aus einem oder mehreren
zeitlich zu dem Bild des zu decodierenden Bildpunkts benachbarten
Bildern verlaufen. Für die ermittelten Trajektorien wird
jeweils ein Bewertungsmaß bestimmt, welches derart ausgestaltet
ist, dass eine Trajektorie gemäß dem Bewertungsmaß umso
höher bewertet wird, je kleiner die Schwankungen der decodierten
Bildpunktwerte der weiteren Bildpunkte entlang der Trajektorie sind.
Basierend auf den weiteren Bildpunkten der Trajektorie mit der höchsten
Bewertung bzw. dem höchsten Bewertungsmaß wird
dann ein Prädiktionswert für den Bildpunktwert
des zu decodierenden Bildpunkts ermittelt.
-
Neben
den oben beschriebenen Codier- und Decodierverfahren umfasst die
Erfindung ferner ein Verfahren zum Übertragen einer Folge
von digitalisierten Bildern, bei denen die Bilder der Folge mit
dem erfindungsgemäßen Codierverfahren codiert
werden, über eine Übertragungsstrecke übertragen
werden und anschließend mit dem erfindungsgemäßen
Decodierverfahren decodiert werden.
-
Die
Erfindung betrifft darüber hinaus einen Encoder zum Codieren
einer Folge von digitalisierten Bildern, der ein Prädiktionsmittel
zur Prädiktion von zu codierenden Bildpunkten der Bilder
sowie ein Codiermittel zum Codieren der für die sich aus
der Prädiktion ergebenden Prädiktionsfehler umfasst.
Das Prädiktionsmittel ist dabei derart ausgestaltet, dass
die oben beschriebene erfindungsgemäße Prädiktion
mittels Trajektorien mit dem Prädiktionsmittel durchführbar
ist.
-
Die
Erfindung betrifft ferner einen entsprechenden Decoder zum Decodieren
einer Folge von mit dem erfindungsgemäßen Ver fahren
codierter Bilder, wobei der Decoder ein Decodiermittel zum Decodieren
der Prädiktionsfehler der jeweiligen Bildpunkte sowie ein
Prädiktionsmittel zur Prädiktion der zu decodierenden Bildpunkte
umfasst, wobei sich der decodierte Bildpunkt aus einer Korrektur
eines prädizierten Bildpunkts mit dem decodierten Prädiktionsfehler
ergibt. Das Prädiktionsmittel ist dabei derart ausgestaltet,
dass die Prädiktion mittels Trajektorien basierend auf
dem erfindungsgemäßen Decodierverfahren erfolgt.
-
Die
Erfindung betrifft darüber hinaus ein System, umfassend
einen erfindungsgemäßen Encoder und einen erfindungsgemäßen
Decoder.
-
Ausführungsbeispiele
der Erfindung werden nachfolgend anhand der beigefügten
Figuren detailliert beschrieben.
-
Es
zeigen:
-
1 eine
schematische Darstellung der Codierung von Bildern gemäß einer
Ausführungsform des erfindungsgemäßen
Verfahrens;
-
2 ein
Diagramm, welches die Berechnung eines Prädiktionswerts
für einen zu codierenden Bildpunkt gemäß einer
Ausführungsform des erfindungsgemäßen
Verfahrens verdeutlicht; und
-
3 eine
schematische Darstellung eines Systems aus Encoder und Decoder zum
Codieren und Decodieren einer digitalisierten Bilderfolge gemäß einer
Ausführungsform des erfindungsgemäßen
Verfahrens.
-
Nachfolgend
wird anhand von 1 das Prinzip der erfindungsgemäßen
Codierung basierend auf einem Ausschnitt einer Folge von digitalisierten
Bildern umfassend drei zeitlich aufeinander folgende Bildern I1, I2
und I3 beschrieben. Bei der Folge von Bildern kann es sich beispielsweise
um Aufnah men von bildgebenden medizinischen Systemen handeln. Die
einzelnen Bilder können insbesondere mit einem Computertomographen
erfasste Schnittaufnahmen von Organen eines Patienten darstellen.
Durch solche Systeme werden sehr große Datenmengen generiert,
welche für eine Archivierung verlustfrei oder nahezu verlustfrei
gespeichert werden müssen.
-
Jedes
einzelne Bild I1, I2 bzw. I3 der digitalisierten Bilderfolge gemäß 1 enthält
eine Vielzahl von Bildpunkten in der Form von Pixeln, wobei jedem
Pixel ein Bildpunktwert zugeordnet ist, der bei Schwarz-Weiß-Aufnahmen
ein Helligkeitswert und bei Farbaufnahmen im Regelfall ein Luminanzwert
ist. Die einzelnen Bildpunkte der Bilder sind in 1 durch
Punkte dargestellt, wobei zwischen drei verschiedenen Arten von
Bildpunkten unterschieden wird. Durch weiße Bildpunkte
werden zu codierende Bildpunkte P wiedergegeben, durch schwarze
und schraffierte Bildpunkte P' und P'' bereits codierte Bildpunkte.
Die schraffierten Bildpunkte P' dienen dabei in 1 zur
Bildung von Trajektorien zur Prädiktion des zu codierenden
Bildpunkts in der dritten Zeile und dritten Spalte des Bilds I3.
In 1 sind aus Übersichtlichkeitsgründen
lediglich einige der Bildpunkte mit den entsprechenden Bezugszeichen
P, P' und P'' versehen. In 1 ist ferner
ein Koordinatensystem mit x, y und z-Richtung wiedergegeben. Die
x-y-Ebene repräsentiert dabei die zweidimensionale Ausdehnung
der entsprechenden Bilder und durch die z-Richtung wird die zeitliche
Reihenfolge der Bilder wiedergegeben, wobei das Bild I1 vor dem
Bild I2 und das Bild I2 vor dem Bild I3 aufgenommen wurde.
-
In
dem Beispiel der 1 ist die Codierung des Pixels
in der dritten Spalte und dritten Zeile des Bilds I3 wiedergegeben.
Bei der erfindungsgemäßen Codierung werden dabei
Trajektorien ausgehend von dem zu codierenden Bildpunkt durch zumindest
zwei weitere, bereits codierte Bildpunkte im gleichen Bild I3 bzw.
in den benachbarten Bildern I1 und I2 bestimmt. Die Trajektorien,
welche durch Bildpunkte im gleichen Bild I3 verlaufen, sind in 1 dabei
mit T' bezeichnet. Demgegen über sind die Trajektorien,
welche durch Bildpunkte in den zeitlich vorhergehenden Bildern I1
und I2 verlaufen, mit dem Bezugszeichen T bezeichnet. Es sind aus Übersichtlichkeitsgründen
wiederum nur einige Trajektorien mit den entsprechenden Bezugszeichen
T bzw. T' versehen. Basierend auf den Trajektorien wird mit der
erfindungsgemäßen Codierung eine geeignete Prädiktion
des zu codierenden Bildpunkts ermöglicht. Die einzelnen
Schritte zur Prädiktion laufen dabei wie nachfolgend erläutert
ab.
-
Zunächst
wird eine Anzahl n von Bildpunkten festgelegt, die pro Trajektorie
ausgewählt werden. Die Anzahl entspricht dabei der Gesamtanzahl
der Bildpunkte pro Trajektorie abzüglich des zu codierenden
Bildpunkts. Es müssen dabei mindestens zwei Bildpunkte
als Mindestanzahl vorhanden sein. In dem Szenario der 1 wurde
diese Anzahl auf n = 2 gesetzt. Es ist jedoch auch möglich,
dass der Wert n der Anzahl der Bildpunkte im Laufe des Verfahrens
variiert bzw. für Trajektorien mit Bildpunkten innerhalb
des gleichen Bildes anders gewählt wird als für
Trajektorien mit Bildpunkten aus verschiedenen Bildern. Gegebenenfalls
kann nach jeder Codierung eines neuen Bildes die Anzahl an zulässigen
Bildpunkten pro Trajektorie immer um eins heraufgesetzt werden.
-
Nach
Festlegung der Anzahl der Bildpunkte werden die durch bereits codierte
Bildpunkte verlaufenden Trajektorien bestimmt. In dem Szenario der
1 werden
dabei Trajektorien sowohl in dem Bild I3 als auch in den zwei vorhergehenden
Bildern I1 und I2 herangezogen. Gegebenenfalls ist es auch möglich,
dass in dem Verfahren nur Trajektorien aus dem gleichen Bild bzw.
nur Trajektorien mit Bildpunkten aus verschiedenen Bildern verwendet
werden. Gemäß
1 existieren
vier Trajektorien T' mit Bildpunkten aus dem gleichen Bild I3 und
neun Trajektorien T mit jeweils einem Bildpunkt aus dem Bild I1
und dem Bild I2. Es wird nunmehr für jede der Trajektorien
ein Fehlermaß f
1 bestimmt, welches
die Abweichung der Bildpunktwerte der Bildpunkte P' der jeweiligen
Trajektorie von dem Mittelwert dieser Bildpunktwerte repräsentiert.
Das heißt, das Fehlermaß ist in der hier beschriebenen
Ausführungsform wie folgt definiert:
-
Das
obige Fehlermaß entspricht einer speziellen Variante eines
Bewertungsmaßes gemäß Anspruch 1, wobei
ein geringeres Fehlermaß einer höheren Bewertung
entspricht.
-
Das
Fehlermaß kann auch gegebenenfalls anders definiert sein,
entscheidend ist lediglich, dass das Fehlermaß ein Maß für
die Schwankungen der Bildpunktwerte entlang der Trajektorie darstellt.
Beispielsweise kann anstatt der Abweichung in der Form der betragsmäßigen
Differenz zwischen Bildpunktwert und Mittelwert auch die quadratische
Abweichung und damit die Varianz zur Berechnung des Fehlermaßes
verwendet werden.
-
Mit
Hilfe des obigen Fehlermaßes ergibt sich für das
Szenario der 1, bei dem n = 2 gewählt
ist, das Fehlermaß wie folgt: f1 = |w1 – w2|
-
Das
Fehlermaß kann gegebenenfalls auch so definiert sein, dass
es durch den Abstand d der Bildpunkte auf der Trajektorie normalisiert
wird. Ein entsprechendes Fehlermaß f
2 lautet
dann wie folgt:
-
Δx, Δy
und Δz sind dabei die Abstände von zwei Bildpunkten
auf der Trajektorie in x- bzw. y- bzw. z-Richtung. In dem Szenario
der 1 sind diese Abstände entlang einer Trajektorie
konstant. Gegebenenfalls kann die obige Gleichung auch derart modifiziert
werden, dass sich verändernde Abstände zwischen
den einzelnen Bildpunkten berücksichtigt werden.
-
Basierend
auf dem Fehlermaß wird schließlich die Trajektorie
mit dem geringsten Fehlermaß, d. h. mit der höchsten
Bewertung, ausgewählt. Dabei wird die Tatsache berücksichtigt,
dass sich insbesondere in medizinischen Bildern Strukturen mit einem
gleichen oder ähnlichen Helligkeitswert in eine Richtung
fortsetzen. Der Prädiktor bzw. Prädiktionswert ŵ für
das zu codierende Pixel wird dann in der hier beschriebenen Ausführungsform
basierend auf einer Extrapolation entlang der ausgewählten
Trajektorie ermittelt. Für den in 1 betrachteten
Fall, bei dem n = 2 gilt, wird beispielsweise eine lineare Extrapolation
verwendet, bei der sich der Prädiktor ŵ wie folgt
ergibt: ŵ = w2 – Δw
= w2 – (w1 – w2) = 2w2 – w1
-
Die
Berechnung des Prädiktors mit linearer Extrapolation ist
in 2 gezeigt. Entlang der Abszisse ist der Verlauf
der Trajektorie wiedergegeben, der geeignet parametrisiert ist.
Die Werte P1 und P2 bezeichnen dabei die Positionen der bereits
codierten Bildpunkte entlang der zur Prädiktion verwendeten
Trajektorie und der Punkt P3 ist die Position des Bildpunkts, der
zu prädizieren ist. Entlang der Ordinate sind die entsprechenden
Bildpunktwerte der Bildpunkte, beispielsweise als entsprechende
Helligkeitswerte, aufgetragen. Der Bildpunktwert des Bildpunkts
an der Position P1 ist dabei mit w1 und der Bildpunktwert des Bildpunkts
an der Position P2 mit w2 bezeichnet. Bei
der linearen Extrapolation wird nunmehr eine Gerade durch die Bildpunkte
w1 und w2 gelegt,
und entsprechend der Geradengleichung wird an der Position P3 der
Bildpunktwert ŵ des zu codierenden Bildpunkts bestimmt.
Man erkennt, dass in dem Szenario der 1 der Bildpunktwert
von w1 nach w2 um
den Abstand Δw abnimmt. Um diesen Abstand ist dann auch
der prädizierte Bildpunktwert ŵ kleiner als der
Bildpunktwert w2.
-
Anstatt
der oben beschriebenen linearen Extrapolation kann der Prädiktionswert
auch auf andere Weise, beispielsweise durch eine Spline-Interpolation
oder Polynom-Extrapolation, bestimmt werden. Ebenso kann gegebenenfalls
auch der Mittelwert der Bildpunkte als Prädiktionswert
verwendet werden.
-
In
einer weiteren Variante des erfindungsgemäßen
Verfahrens kann die Auswahl der Trajektorie durch einen Zuverlässigkeitsfaktor
g(a) modifiziert werden, der in Abhängigkeit von einem
Abstand a des zu prädizierenden Bildpunkts zu dem nächstliegenden
Bildpunkt auf der Trajektorie ist. Dieses modifizierte Abstandsmaß f ' / 1 kann
dabei beispielsweise wie folgt lauten: f'1 = g(a)·f1
-
Mit
obiger Gleichung kann berücksichtigt werden, dass Trajektorien
umfassend Bildpunkte mit einem kleinen Abstand zum prädizierten
Bildpunkt bevorzugt ausgewählt werden. Die Funktion g(a)
ist in diesem Fall monoton steigend. Mit dem Zuverlässigkeitsfaktor
wird berücksichtigt, dass die Wahrscheinlichkeit einer
richtigen Prädiktion höher ist, je näher
die Bildpunkte einer Trajektorie zu dem zu prädizierenden
Bildpunkt sind.
-
Nach
der Ermittlung des Prädiktionswerts ŵ folgen schließlich
die Restfehlerermittlung und die anschließende Codierung
dieses Restfehlers. Der Prädiktor ŵ entspricht
im Regelfall nicht dem zu codierenden Originalbildpunktwert. Deshalb
wird ein Fehlersignal (auch als Prädiktionsfehler bezeichnet)
berechnet, welches der Differenz zwischen Prädiktor und
Originalbildpunktwert entspricht. Im Falle einer verlustfreien Codierung
wird dieses Fehlersignal codiert. Es ist jedoch auch möglich,
dass zur Codierung eine Fehlerschranke vorgegeben wird, wobei das
ursprünglich ermittelte Fehlersignal nur dann codiert wird,
wenn die betragsmäßige Differenz des Fehlersignals
nicht innerhalb der Fehlerschranke liegt. Sollte die betragsmäßige
Differenz innerhalb der Fehlerschranke liegen, wird ein Prädiktionsfehler
von Null übertragen. Gegebenenfalls kann die Fehlerschranke
auch variiert werden, wobei für den Fall der verlustfreien
Codierung die Fehlerschranke auf Null gesetzt wird.
-
Durch
die Berücksichtigung einer Fehlerschranke wird eine höhere
Kompression der codierten Bilder erreicht. Die Bildqualität
nimmt zwar ab, jedoch kann sie für bestimmte Anwendungen
weiterhin ausreichend sein. Bei der Berücksichtigung einer
Fehlerschranke ist es günstig, dass der ursprüngliche
Bildpunktwert eines prädizierten Bildpunkts durch den Bildpunktwert
des prädizierten Bildpunkts ersetzt wird, falls die Differenz
innerhalb der Fehlerschranke liegt. Auf diese Weise wird sichergestellt,
dass Encoder und Decoder auf derselben Datengrundlage arbeiten,
wodurch Drift vermieden wird.
-
Nach
der Bestimmung des Fehlersignals bzw. Prädiktionsfehlers
wird dieser Fehler codiert. Diese Codierung kann auf beliebige Weise
mit aus dem Stand der Technik bekannten Verfahren erfolgen. Insbesondere kann
eine Transformation (vorzugsweise eine DCT-Transformation) des Prädiktionsfehler
durchgeführt werden und anschließend basierend
auf den transformierten Prädiktionsfehlern eine Quantisierung
und/oder eine Entropiecodierung erfolgen. Die Schritte der Quantisierung
und Entropiecodierung sind dabei aus dem Bereich der Videocodierung
hinlänglich bekannt. Dabei führt die Quantisierung
zu einem Verlust, wohingegen durch die Entropiecodierung eine verlustlose
Komprimierung durchgeführt wird.
-
Sollen
die Bilder der Bilderfolge verlustfrei codiert werden, wird bei
der Codierung des Prädiktionsfehlers nur die Entropiecodierung
und nicht die Quantisierung eingesetzt. Wird der Prädiktionsfehler
durch die Codierung (d. h. insbesondere durch eine Quantisierung)
verändert, ist es günstig, den ursprünglichen
Bildpunktwert des codierten Pixels durch den Bildpunktwert zu ersetzen,
der sich aus dem prädizierten Wert und dem codierten und
anschließend wieder decodierten Prädiktionsfehler
ergibt. Auf diese Weise wird wiederum sicherge stellt, dass Encoder
und Decoder dieselbe Datengrundlage für die Bestimmung
der Prädiktoren haben, so dass Drift vermieden wird.
-
Nach
der soeben beschriebenen Codierung des Prädiktionsfehlers
wird der codierte Fehler an einen Decoder übertragen. In
dem Decoder ist in analoger Weise eine Decodierung basierend auf
der im Vorangegangenen beschriebenen Ermittlung von Trajektorien
implementiert. Insbesondere decodiert der Decoder Prädiktionsfehler
und führt eine erfindungsgemäße Prädiktion
basierend auf Trajektorien die einzelnen Bildpunktwerte durch. Anschließend
werden die prädizierten Bildpunkte mit den decodierten
Prädiktionsfehlern korrigiert, um hierdurch den ursprünglichen
Pixelwert zu erhalten. Im Falle einer verlustfreien Codierung wird
dann auch exakt der ursprüngliche Pixelwert erhalten.
-
Bei
der Decodierung ist es in dem erfindungsgemäßen
Verfahren nicht erforderlich, dass Seiteninformationen zur Auswahl
der Trajektorie an den Decoder übertragen werden, da der
Decoder die Auswahl der Trajektorien analog zum Encoder nachvollziehen
kann. Lediglich für den Fall, dass der Encoder sich aus
Effizienzgründen für eine andere Trajektorie entscheidet
oder zwischen verschiedenen Prädiktionsmodi gewechselt
wird (z. B. zwischen den bekannten Modi im Standard H.264/AVC zur
Codierung des Prädiktionsfehlers), können entsprechende
Seiteninformationen optional übermittelt werden.
-
Bei
der Initialisierung des erfindungsgemäßen Verfahrens
erfolgt die Codierung der ersten beiden Bilder zwangsläufig
nicht auf dreidimensionalen Trajektorien aus unterschiedlichen Bildern,
da anfangs noch keine codierten Bildpunkte aus verschiedenen Bildern
zur Bildung der Trajektorien vorhanden sind. Stattdessen wird eine
zweidimensionale Richtungsprädiktion eines Bildpunkts basierend
auf Bildpunkten des gleichen Bildes verwendet. Ferner wird für
die ersten zu codierenden Bildpunkte des ersten bzw. zweiten Bildes
eine komplett andere Codierung verwendet (z. B. eine Intracodierung
ohne Prädik tion), da anfangs auch noch keine zweidimensionalen
Trajektorien im gleichen Bild gebildet werden können. Eine
Richtungsprädiktion basierend auf drei Dimensionen, d.
h. unter Berücksichtigung der z-Richtung, erfolgt erst
bei der Codierung des dritten Bildes nach der Initialisierung des
Verfahrens.
-
Für
das dritte zu codierende Bild sind dreidimensionale und auch zweidimensionale
Trajektorien der Länge n = 2 vorgesehen, wie dies in 1 angedeutet
ist. Alternativ können im dritten Bild auch ausschließlich zweidimensionale
Trajektorien innerhalb des gleichen Bilds verwendet werden. Es ist
dann jedoch erforderlich, für ausgewählte Bildbereiche
(z. B. Blöcke vorgegebener Größe) den
Prädiktionsmodus zu signalisieren und als Seiteninformation
an den Decoder zu übertragen. Die dreidimensionale Prädiktion
kann nunmehr auch für die weiteren zu codierenden Bilder
fortgesetzt werden, wobei mit jedem hinzukommenden Bild gegebenenfalls die
maximale Länge der dreidimensionalen Trajektorien um eins
erhöht werden kann.
-
Das
erfindungsgemäße Verfahren weist eine Reihe von
Vorteilen auf. Durch die Auswahl einer bevorzugten Prädiktionsrichtung
pro Bildpunkt basierend auf entsprechenden Trajektorien kann eine
gute Prädiktion insbesondere für Strukturen erreicht
werden, bei denen sich derselbe Helligkeitswerts eines Objekts in
eine Richtung fortsetzt, wie dies insbesondere bei medizinischen
Bilddaten der Fall ist. Es kann somit eine höhere Codiereffizienz,
insbesondere für verlustfreie bzw. nahezu verlustfreie
Codierung, erreicht werden. Die Prädiktionsrichtung wird
erfindungsgemäß anhand bereits codierter Bildpunkte
ermittelt. Diese Ermittlung erfolgt im Decoder in der gleichen Weise
wie im Encoder, so dass keine zusätzlichen Prädiktionsinformationen
vom Encoder an den Decoder übermittelt werden müssen.
Dies erhöht zusätzlich die Codiereffizienz.
-
In 3 ist
schematisiert ein System zum Codieren und Decodieren einer Bilderfolge
basierend auf einer Ausführungsform des erfindungsgemäßen
Verfahrens wiedergegeben. Der Encoder zum Codieren der Bilderfolge
ist dabei mit Bezugszeichen 1 bezeichnet und der dem Encoder
zugeführte Bilddatenstrom umfassend die Bilder I1, I2 und
I3 wird zunächst einem Prädiktionsmittel 2 zugeführt,
das basierend auf dem erfindungsgemäßen Verfahren
mittels Trajektorien einen Prädiktionswert und einen entsprechenden
Prädiktionsfehler zwischen Prädiktionswert und
ursprünglichem Bildpunktwert der einzelnen Bildpunkte ermittelt.
Die Prädiktionsfehler werden dann einem Codiermittel 3 zugeführt,
der basierend auf entsprechend bekannten Codierverfahren, wie Quantisierung
bzw. Entropiecodierung, den Prädiktionsfehler codiert.
-
Der
codierte Prädiktionsfehler wird schließlich über
einen Übertragungsweg, der mit dem Pfeil P angedeutet ist,
an einen Decoder 4 übertragen. Der Übertragungsweg
kann dabei leitungsgebunden oder drahtlos sein. Im Decoder erfolgt
eine Decodierung des empfangenen Prädiktionsfehlers in
einem entsprechenden Decodiermittel 5. Ferner wird die
Prädiktion der Bildpunktwerte in einem Prädiktionsmittel 6 durchgeführt,
wobei die Prädiktion analog zum Prädiktionsmittel 2 basierend
auf Trajektorien abläuft. Die prädizierten Bildpunkte
werden dann mit dem decodierten Prädiktionsfehler korrigiert,
so dass bei verlustfreier Codierung der ursprüngliche Bildpunktwert
und bei verlustbehafteter Codierung ein approximierter Bildpunktwert
erhalten wird.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste
der vom Anmelder aufgeführten Dokumente wurde automatisiert
erzeugt und ist ausschließlich zur besseren Information
des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen
Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt
keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Nicht-Patentliteratur
-
- - Codierstandard
H.264/AVC [0004]
- - Standard H.264/AVC [0052]
