-
Die
Erfindung betrifft Verfahren zum Bearbeiten und Versenden, sowie
zum Empfangen und Bearbeiten von Daten. Weiterhin betrifft die Erfindung Sender
und Empfänger
zur Durchführung
der Verfahren.
-
In
Kommunikationssystemen werden Nachrichten zwischen Sender und Empfänger übertragen. Ein
spezielles Beispiel für
Kommunikationssysteme sind Funkkommunikationssysteme. Hier werden Nachrichten,
beispielsweise mit Sprachinformation, Bildinformation, Videoinformation,
SMS (Short Message Service), MMS (Multimedia Messaging Service) oder
anderen Daten mit Hilfe von elektromagnetischen Wellen über eine
Funkschnittstelle zwischen Sender und Empfänger übertragen. Bei den Funkstationen
kann es sich hierbei je nach konkreter Ausgestaltung des Funkkommunikationssystems
um verschiedenartige teilnehmerseitige Funkstationen, Repeater,
oder netzseitige Funkeinrichtungen wie Basisstationen oder Funkzugangspunkte
handeln. In einem Mobilfunkkommunikationssystem handelt es sich
bei zumindest einem Teil der teilnehmerseitigen Funkstationen um
mobile Funkstationen. Das Abstrahlen der elektromagnetischen Wellen
erfolgt mit Trägerfrequenzen,
die in dem für
das jeweilige System vorgesehenen Frequenzband liegen.
-
Mobilfunkkommunikationssysteme
sind oftmals als zellulare Systeme z.B. nach dem Standard GSM (Global
System for Mobile Communication) oder UMTS (Universal Mobile Telecommunications System)
mit einer Netzinfrastruktur bestehend z.B. aus Basisstationen, Einrichtungen
zur Kontrolle und Steuerung der Basisstationen und weiteren netzseitigen
Einrichtungen ausgebildet. Außer
diesen weiträumig
organisierten (supralokalen) zellularen, hierarchischen Funknetzen
gibt es auch drahtlose lokale Netze (WLANs, Wireless Local Area
Networks) mit einem in der Regel räumlich deutlich stärker begrenzten
Funkabdeckungsbereich.
-
Beispiele
für Informationen,
welche in Kommunikationssystemen übertragen werden, sind Bilder oder
Videos, wobei es sich bei letzteren um Sequenzen von Bildern handelt.
Aufgrund der hohen für
die Übertragung
von Bild- oder Videodaten benötigten Datenraten
werden insbesondere in Funkkommunikationssystemen geeignete Kodierverfahren
für die Bild-
oder Videodaten eingesetzt. Hierbei eignet sich die Verwendung von
skalierbaren Informationen, wobei bei der Übertragung von skalierbaren
Informationen die Basisinformation übertragen wird, und zusätzlich die
Basisinformation ergänzende
Informationen. Skalierbare Daten weisen somit die Eigenschaft auf,
dass sie in verminderter Qualität
bei dem Empfänger
vorliegen können,
indem der Empfänger
nur die Basisinformation oder die Basisinformation und einen Teil
der ergänzenden
Informationen dekodiert, und nicht die Basisinformation und alle
ergänzenden Informationen.
Die Skalierbarkeit der Bild- oder Videodaten kann sich auf mehrere
Skalierungsdimensionen beziehen, so z.B. auf die örtliche
Auflösung
einzelner Bilder.
-
Der
Erfindung liegt die Aufgabe zugrunde, effiziente Verfahren zur Bearbeitung
und Versendung oder Empfang von Daten aufzuzeigen. Weiterhin sollen
geeignete Vorrichtungen zur Durchführung der Verfahren vorgestellt
werden.
-
Diese
Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs
1, sowie durch Verfahren und Vorrichtungen mit Merkmalen von nebengeordneten
Ansprüchen
gelöst.
Vorteilhafte Ausgestaltungen und Weiterbildungen sind Gegenstand von
Unteransprüchen.
-
Gemäß dem ersten
erfindungsgemäßen Verfahren
zum Bearbeiten und Versenden von Daten liegen senderseitig Bilddaten
eines Bildes in einer ersten Auflösungsstufe und in einer zweiten
gegenüber der
ersten Auflösungsstufe
höheren
Auflösungsstufe vor.
Es wird mindestens ein Interpolationsparameter bestimmt zur Ermittlung
durch Interpolation von Bilddaten der zweiten Auflösungsstufe
aus Bilddaten der ersten Auflösungsstufe.
Zu mindest manche der Bilddaten der ersten und der zweiten Auflösungsstufe werden
gesendet, wobei die Versendung der Bilddaten der zweiten Auflösungsstufe
von dem mindestens einen bestimmten Interpolationsparameter abhängt. Weiterhin
wird eine Angabe des mindestens einen bestimmten Interpolationsparameters
gesendet.
-
Bei
den bearbeiteten Daten handelt es sich vorzugsweise um Videodaten,
d.h. um eine Folge aus Bildern. Ein Bild ist durch eine Mehrzahl
von Bilddaten darstellbar, hierbei kann es sich insbesondere um
die Zahlenwerte handeln, mit welchen die einzelnen Pixel des Bildes
belegt sind. Dem Sender, vorzugsweise einem Video- oder Bildkodierer,
liegen Bilddaten in zumindest zwei Auflösungsstufen vor. Die Auflösungsstufe
bezeichnet die Anzahl der Bildpunkte des Bildes, eine höhere Auflösungsstufe zeichnet
sich durch mehr Bildpunkte als eine niedrigere Auflösungsstufe
aus.
-
Senderseitig
wird mindestens ein Interpolationsparameter bestimmt. Unter Verwendung
des mindestens einen Interpolationsparameters können durch Interpolation Bilddaten
der zweiten Auflösungsstufe
aus Bilddaten der ersten Auflösungsstufe ermittelt
werden. Der mindestens eine Interpolationsparameter gibt eine Vorschrift
oder eine konkrete Ausgestaltung einer Vorschrift an, durch welche
die Ermittlung von Bilddaten der zweiten Auflösungsstufe aus Bilddaten der
ersten Auflösungsstufe
erfolgen kann. Hierbei ist es möglich,
dass neben dem mindestens einen Interpolationsparameter und den
Bilddaten der ersten Auflösungsstufe
weitere Größen in die
Ermittlung der Bilddaten der zweiten Auflösungsstufe einfließen, d.h.
die durch Interpolation ermittelten Bilddaten der zweiten Auflösungsstufe
müssen nicht
ausschließlich
aus Bilddaten der ersten Auflösungsstufe
ermittelt werden. Der mindestens eine Interpolationsparameter kann
sich auf das gesamte Bild der zweiten Auflösungsstufe beziehen, es ist
jedoch auch möglich,
dass der mindestens eine Interpolationsparameter lediglich zur Ermittlung
von Bilddaten eines Bereiches des Bildes der zweiten Auflösungsstufe
dient. Die Bilddaten der anderen Be reiche können z.B. durch andere Interpolationsparameter
ermittelt werden, oder auch ohne Verwendung von Interpolationsparametern
versendet werden.
-
Nach
der Ermittlung des mindestens einen Interpolationsparameters wird
zumindest ein Teil der Bilddaten der zweiten Auflösungsstufe
gesendet. Hierbei berücksichtigt
der Sender den mindestens einen bestimmten Interpolationsparameter,
vorzugsweise indem Bilddaten, welche durch Interpolation unter Verwendung
des mindestens einen bestimmten Interpolationsparameters ermittelt
werden können, nicht
gesendet werden. Der Umfang und die Zusammensetzung der Bilddaten
der zweiten Auflösungsstufe,
welche gesendet werden, hängen
somit von dem mindestens einen bestimmten Interpolationsparameter
ab.
-
Die
Versendung der Bilddaten und der Angabe des mindestens einen bestimmten
Interpolationsparameters erfolgt vorzugsweise per Funk, es können jedoch
auch andere Übertragungstechnologien angewandt
werden. Vorteilhaft ist es, wenn die Bilddaten und die Angabe des
mindestens einen bestimmten Interpolationsparameters in einer gemeinsamen
Nachricht gesendet werden, alternativ ist der Einsatz getrennter
Nachrichten für
die Bilddaten einerseits und die Angabe des mindestens einen bestimmten
Interpolationsparameters andererseits möglich.
-
In
Weiterbildung der Erfindung umfasst die Bestimmung des mindestens
einen Interpolationsparameters eine Auswahl aus einer Mehrzahl von
Interpolationsparametern, wobei bei der Auswahl eine Qualität von unter
Verwendung des mindestens einen Interpolationsparameters ermittelten
Bilddaten der zweiten Auflösungsstufe
berücksichtigt
wird. Die Auswahl des mindestens einen Interpolationsparameters
kann nach einem Algorithmus erfolgen, so z.B. gemäß einer
rate-distortion-Optimierung.
-
Bei
dem ersten erfindungsgemäßen Verfahren
zum Empfangen und Bearbeiten von Daten liegen empfängerseitig
empfangene Bilddaten eines Bildes in einer ersten Auflösungsstufe
vor. Min destens ein Interpolationsparameter wird bestimmt zur Ermittlung
durch Interpolation von Bilddaten des Bildes in einer zweiten gegenüber der
ersten Auflösungsstufe
höheren
Auflösungsstufe
aus Bilddaten der ersten Auflösungsstufe.
Der mindestens eine Interpolationsparameter wird bestimmt, indem
eine empfangene Angabe des mindestens einen Interpolationsparameters
ausgewertet wird. Der mindestens eine Interpolationsparameter wird
zur Ermittlung von Bilddaten der zweiten Auflösungsstufe aus Bilddaten der
ersten Auflösungsstufe
verwendet.
-
Oben
stehende allgemeine Ausführungen bezüglich das
erste erfindungsgemäßen Verfahrens zum
Bearbeiten und Versenden von Daten sind auf das erste erfindungsgemäße Verfahren
zum Empfangen und Bearbeiten von Daten übertragbar.
-
In
Ausgestaltung der Erfindung umfasst die Angabe des mindestens einen
Interpolationsparameters Informationen, welche ausschließlich den
mindestens einen Interpolationsparameter betreffen.
-
Dem
zweiten erfindungsgemäßen Verfahren zum
Bearbeiten und Versenden von Daten gemäß liegen senderseitig Bilddaten
eines Bildes in einer ersten Auflösungsstufe und in einer zweiten
gegenüber
der ersten Auflösungsstufe
höheren
Auflösungsstufe
vor. Es wird mindestens ein Interpolationsparameter bestimmt zur
Ermittlung durch Interpolation von Bilddaten eines ersten Bereiches
des Bildes in der zweiten Auflösungsstufe
aus Bilddaten der ersten Auflösungsstufe.
Der mindestens eine Interpolationsparameter wird bestimmt, indem
Informationen betreffend zumindest einen zweiten Bereich des Bildes der
zweiten Auflösungsstufe
und/oder betreffend zumindest einen Bereich des Bildes der ersten
Auflösungsstufe
ausgewertet werden. Zumindest manche der Bilddaten der ersten und
der zweiten Auflösungsstufe
werden gesendet, wobei die Versendung der Bilddaten der zweiten
Auflösungsstufe
von dem mindestens einen bestimmten Interpolationsparameter abhängt.
-
Oben
stehende allgemeine Ausführungen bezüglich das
erste erfindungsgemäßen Verfahrens zum
Bearbeiten und Versenden von Daten sind auf das zweite erfindungsgemäße Verfahren
zum Bearbeiten und Senden von Daten übertragbar.
-
Zur
Bestimmung des mindestens einen Interpolationsparameters werden
gemäß dem zweiten
erfindungsgemäßen Verfahren
zum Bearbeiten und Senden von Daten Informationen ausgewertet, welche
sich nicht auf den betrachteten ersten Bereich des Bildes der zweiten
Auflösungsstufe
beziehen, für welchen
der mindestens eine Interpolationsparameter bestimmt wird. Diese
Informationen können
sich auf einen oder mehrere andere Bereiche des Bildes der zweiten
Auflösungsstufe
beziehen. Zusätzlich oder
alternativ können
sich die Informationen auf einen oder mehrere Bereiche des Bildes
der ersten Auflösungsstufe
beziehen, d.h. auf den ersten Bereich der ersten Auflösungsstufe
und/oder auf einen oder mehrere andere Bereiche der ersten Auflösungsstufe.
-
Dem
zweiten erfindungsgemäßen Verfahren zum
Empfangen und Bearbeiten von Daten gemäß liegen empfängerseitig
empfangene Bilddaten eines Bildes in einer ersten Auflösungsstufe
vor. Es wird mindestens ein Interpolationsparameter bestimmt zur
Ermittlung durch Interpolation von Bilddaten eines ersten Bereiches
des Bildes in der zweiten Auflösungsstufe
aus Bilddaten der ersten Auflösungsstufe.
Der mindestens eine Interpolationsparameter wird bestimmt, indem
Informationen betreffend zumindest einen zweiten Bereich des Bildes
der zweiten Auflösungsstufe
und/oder betreffend zumindest einen Bereich des Bildes der ersten
Auflösungsstufe
ausgewertet werden. Der mindestens eine Interpolationsparameter
wird zur Ermittlung von Bilddaten des ersten Bereiches der zweiten
Auflösungsstufe
aus Bilddaten der ersten Auflösungsstufe
verwendet.
-
Oben
stehende allgemeine Ausführungen bezüglich das
zweite erfindungsgemäßen Verfahrens zum
Bearbeiten und Versenden von Daten sind auf das zweite erfindungsgemäße Verfahren
zum Empfangen und Bearbeiten von Daten übertragbar.
-
Mit
Vorzug umfassen die Informationen betreffend den zumindest einen
zweiten Bereich des Bildes der zweiten Auflösungsstufe und/oder betreffend
den zumindest einen Bereich des Bildes der ersten Auflösungsstufe:
- • Interpolationsparameter
für den
zumindest einen zweiten Bereich des Bildes der zweiten Auflösungsstufe
und/oder für
den zumindest einen Bereich des Bildes der ersten Auflösungsstufe, und/oder
- • Informationen
zur Kodierung und/oder Dekodierung des ersten Bereiches der zweiten
Auflösungsstufe
in Abhängigkeit
von einem Dekodierergebnis des zumindest einen zweiten Bereichs der
zweiten Auflösungsstufe,
wie z.B. den Intrakodiermodus, und/oder
- • eine
Blockgröße für den zumindest
einen zweiten Bereich der zweiten Auflösungsstufe und/oder für den zumindest
einen Bereich der ersten Auflösungsstufe,
wie z.B. eine Blockgröße für die Bewegungsschätzung und/oder
Bewegungskompensation oder eine Blockgröße für eine Transformation von Bilddaten
in den Frequenzbereich, und/oder
- • Informationen
betreffend die Kodierung und/oder Dekodierung des zumindest einen
zweiten Bereichs der zweiten Auflösungsstufe und/oder des zumindest
einen Bereichs der ersten Auflösungsstufe,
wie z.B. einen Blockmodus.
-
In
Ausgestaltung der Erfindung ist das Bild Bestandteil von Videodaten,
und zur Bestimmung des mindestens einen Interpolationsparameters
werden neben den Informationen betreffend zumindest einen zweiten
Bereich des Bildes der zweiten Auflösungsstufe und/oder betreffend
zumindest einen Bereich des Bildes der ersten Auflösungsstufe
weiterhin Informationen über
eine zeitliche Korrelation zwischen dem Bild und zumindest einem
anderen Bild verwendet.
-
Der
mindestens eine Interpolationsparameter kann insbesondere ein Filterverfahren,
charakterisiert beispielsweise durch Filterlänge und Filtergewichte, und/oder
eine Bildbereichsgröße und/oder eine
Regel zur Interpolation an einer Bildbe reichsgrenze umfassen. Eine
Regel zur Interpolation an einer Bildbereichsgrenze gibt vorzugsweise
an, wie die Bilddaten zu Zwecken der Interpolation an einer Bildbereichsgrenze
fortzusetzen sind.
-
Vorteilhaft
ist es, wenn zeitweilig das erste erfindungsgemäße Verfahren zum Bearbeiten
und Versenden von Daten und zeitweilig das zweite erfindungsgemäße Verfahrens
zum Bearbeiten und Versenden von Daten angewandt wird, oder in Bezug
auf einen oder mehrere Interpolationsparameter das erste erfindungsgemäße Verfahren
zum Bearbeiten und Versenden von Daten und in Bezug auf einen oder mehrere
andere Interpolationsparameter das zweite erfindungsgemäße Verfahrens
zum Bearbeiten und Versenden von Daten angewandt wird. Entsprechendes
gilt auch für
die erfindungsgemäßen Verfahren zum
Empfangen und Bearbeiten von Daten.
-
Die
erfindungsgemäßen Sender
und Empfänger
eignen sich insbesondere zur Durchführung der erfindungsgemäßen Verfahren,
wobei dies auch auf die Ausgestaltungen und Weiterbildungen zutreffen
kann. Hierzu können
sie weitere geeignete Mittel aufweisen. Die erfindungsgemäßen Sender
und Empfänger
können
durch mehrere miteinander verbundene Einrichtungen realisiert werden.
-
Im
Folgenden wird die Erfindung anhand eines Ausführungsbeispiels näher erläutert. Dabei
zeigen:
-
1 einen
Ausschnitt aus einem Funkkommunikationssystem,
-
2:
schematisch ein Interpolationsverfahren,
-
3:
eine Aufteilung eines Bildes in Blöcke.
-
1 zeigt
einen Ausschnitt aus einem Funkkommunikationssystem, welches einen
Kodierer ENCODER und einen Dekodierer DECODER umfasst. Der Kodierer
ENCODER kodiert Videodaten VIDEO, um diese dann per Funk als skalierbare
Videodaten SCLABLE VIDEO STREAM an den Dekodierer DECODER zu senden.
Während
im folgenden davon ausgegangen wird, dass die Übertragung zwischen dem Kodierer
ENCODER und dem Dekodierer DECODER per Funk erfolgt, ist die Erfindung
auch auf andere Übertragungstechnologien
anwendbar. Bei der skalierbaren Kodierung der Videosequenz VIDEO
werden die im folgenden beschriebenen Schritte durchgeführt, um
durch die skalierbaren Videodaten SCLABLE VIDEO STREAM gleichzeitig
mehrere räumliche
Auflösungsstufen
der Bilder der Videodaten VIDEO zu übertragen, ohne dass Informationen in
den verschiedenen Auflösungsstufen
mehrfach übertragen
werden:
Zuerst werden die Originalbilder der Videosequenz VIDEO,
in 1 beispielsweise in der Größe 4CIF (4 times Common Intermediate
Format, dies entspricht einer Bildgröße mit 704 × 576 Bildpunkten), unterabgetastet
und/oder tiefpassgefiltert, um Bilder niedrigerer Auflösungsstufen/Bildgrößen, in 1 CIF (Common
Intermediate Format, dies entspricht einer Bildgröße mit 352 × 288 Bildpunkten)
und QCIF (Quarter Common Intermediate Format, dies entspricht einer
Bildgröße mit 176 × 144 Bildpunkten), zu
generieren.
-
Die
4CIF, CIF und QCIF Videosequenzen werden im Schritt CODING getrennt
voneinander kodiert. Um die mehrfache Übertragung derselben oder ähnlicher
Informationen zu vermeiden und somit die Kodiereffizienz zu erhöhen, werden
kodierte Elemente, z.B. Bewegungsvektoren, Pixelwerte, Modusinformationen
wie z.B. Blockmodi, einer Auflösungsstufe von
der nächst
niedrigeren Auflösungsstufe
prädiziert.
D.h. es werden kodierte Elemente der Auflösungsstufe CIF aus kodierten
Elementen der Auflösungsstufe
QCIF berechnet, und kodierte Elemente der Auflösungsstufe 4CIF kodierten Elementen
der Auflösungsstufe
CIF. Bei der Prädiktion
der Pixelwerte eines Bildes wird eine Interpolation verwendet, bei der
aus den Pixelwerten des gleichen Bilder der niedrigeren Auflösungsstufe
die Pixelwerte der nächst höheren Auflösungsstufe
bestimmt werden.
-
Die
prädizierten
Werte werden dazu verwendet, senderseitig zu bestimmen, welche Daten
an den Dekodierer DECODER übertragen
werden müssen.
D.h. die skalierbaren Videodaten SCLABLE VIDEO STREAM enthalten
nicht die gesamten aufgrund der Kodierung CODING erzeugten 4CIF
und CIF Videosequenzen, sondern einen kleineren Umfang an kodierten
4CIF und CIF Daten, da der Dekodierer DECODER nicht übertragene
Daten durch Prädiktion
ermitteln kann. Der Kodierer ENCODER bestimmt somit pro Bild und
pro Auflösungsstufe
des Bildes ein Interpolationsverfahren, und wählt die betreffend dieses Bild
und diese Auflösungsstufe
an den Dekodierer DECODER zu versendenden Daten abhängig von
dem verwendeten Interpolationsverfahren aus. Je nach den empfängerseitigen
Qualitätsanforderungen
und Fähigkeiten
des Endgerätes kann
der Dekodierer DECODER Auflösungsstufen der
skalierbaren Videodaten SCLABLE VIDEO STREAM extrahieren und gegebenenfalls
nicht benötigte
Informationen höherer
Auflösungsstufen
auslassen bzw. nicht dekodieren.
-
Bei
der Interpolation müssen
neue Pixelwerte, d.h. die Pixelwerte des Bildes der höheren Auflösungsstufe,
aus den vorhandenen Pixelwerten, d.h. aus den Pixelwerten des gleichen
Bildes der niedrigeren Auflösungsstufe,
bestimmt werden. Dies geschieht in der Regel mittels Filterung,
wobei die zweidimensionale Filterung eines Bildes vorteilhafterweise
zur Reduzierung des Rechenaufwandes in zwei eindimensionale Filterungen,
d.h. in eine horizontale und eine vertikale Filterung, zerlegt wird.
Diese beiden Filterungen können
nacheinander berechnet werden. Eine eindimensionale Filterung ist
in 2 dargestellt, wobei in diesem Beispiels die Größe des Bildes
verdoppelt wird. Die Kreise der oberen Zeile der 2 entsprechen
den Bildpunkten des Bildes der niedrigeren Auflösungsstufe. Die Pixelpositionen der
niedrigeren Auflösungsstufe
werden zunächst um
Zwischenpixelpositionen mit dem Wert 0 ergänzt, in der mittleren Zeile
durch Nullen in Kreisen symbolisiert. Bei der Filterung werden die
Pixelwerte mit Filtergewichten, in der 2 mit –1/16, 0,
9/16, 16/16, 9/16, 0 und –1/16,
multipliziert und summiert. Durch die Sum mation der gewichteten
Pixelwerte des Bildes der niedrigeren Auflösungsstufe ergibt sich jeweils
ein Pixelwert des Bildes der höheren
Auflösungsstufe,
in der unteren Zeile der 2 durch Kreuze symbolisiert.
Dieses Vorgehen wird für
jedes Pixel der höheren
Auflösungsstufe
wiederholt, indem die Filtergewichte jeweils um eine Position verschoben
werden. Bei dem Beispiel der Filtergewichte gemäß 2 werden
für die
Pixel auf den Positionen des Bildes der niedrigeren Auflösungsstufe
die Pixelwerte der niedrigeren Auflösungsstufe in das Bild der höheren Auflösungsstufe übernommen.
-
In 2 ist
eine 4-tab Filterung dargestellt. Die Zahl 4 bezeichnet hierbei
die Anzahl der Filtergewichte, welche verwendet werden, im konkreten
Beispiel die Zahlen –1/16,
9/16, 9/16 und –1/16.
Weitere Beispiele für
Filter sind ein 2-tab Filter, beispielsweise mit den Filtergewichten ½ und ½, und
ein 6-tab Filter, beispielsweise mit den Filtergewichten 1/32, –5/32, 20/32,
20/32, –5/32
und 1/32.
-
Die
beschriebene Interpolation kann über den
gesamten Bildbereich erfolgen. Es ist jedoch auch möglich, ein
Bild in mehrere Bereiche aufzuteilen und für jeden Bereich die Filterung
zu berechnen. 3 zeigt beispielhaft eine solche
Aufteilung eines 16 × 16
Bereiches eines Bildes: dieser kann gemäß der zweiten Darstellung von
links in zwei gleich große 16 × 8 Blöcke aufgeteilt
werden, gemäß der dritten Darstellung
von links in zwei gleich große
8 × 16
Blöcke,
und gemäß der rechten
Darstellung in einen 8 × 8
Block, zwei 8 × 4
Blöcke,
zwei 4 × 8
Blöcke
und vier 4 × 4
Blöcke.
-
An
den Rändern
eines Bildes oder eines Blockes können für die Berechnung der Filterung
benötigte
Pixel außerhalb
des Bildes bzw. Blockes liegen. Eine als constant border extension
bekannte Möglichkeit
zur Behebung dieses Problems liegt darin, dass für die außerhalb des betrachteten Bereichs
gelegenen Pixel der Wert des Pixels am Bildrand verwendet wird.
Bei einer anderen als Mirroring bekannten Möglichkeit werden die Pixelwerte
an der Bild- oder Blockgrenze gespiegelt, und die se durch die Spiegelung
erzeugten Pixel werden zur Berechnung der Filterung verwendet.
-
Gemäß dem Stand
der Technik, beschrieben z.B. in
H. Schwarz, T. Hinz, D, Marpe,
T. Wiegand: „Further improvements
of the HHI proposal for SVC CE 1", M11398,
Palma, Spanien, Oktober 2004
verwendet der Kodierer abhängig vom
Bildtyp, welcher durch die zeitliche Korrelation verschiedener Bilder
festgelegt ist, ein bestimmtes festgelegtes dem Empfänger bekanntes
Interpolationsverfahren.
-
Gemäß der Erfindung
wählt der
Kodierer ENCODER für
jedes Bild und für
jede Auflösungsstufe des
Bildes geeignete Interpolationsparameter aus. Bei diesen Interpolationsparametern
handelt es sich um den Filter, die Blockgröße und die Regeln für die Erzeugung
von Pixelwerten an den Bild- und/oder Blockgrenzen. Beispiele für konkrete
Ausgestaltungen dieser Parameter sind oben aufgeführt, es
können
auch andere Ausgestaltungen zum Einsatz kommen. Es ist möglich, dass
der Kodierer ENCODER neben den genannten Interpolationsparametern
weitere bei der Interpolation verwendbare Größen auswählt. Die Auswahl der Interpolationsparameter
erfolgt adaptiv, d.h. die Interpolationsparameter sind abhängig vom
jeweils zu verarbeitenden Bild bzw. Bildbereich. Es werden nicht
für bestimmte
Bildtypen grundsätzlich
die gleichen Interpolationsparameter eingesetzt. Vielmehr variieren
die verwendeten Interpolationsparameter bei gleichem Bildtyp flexibel
mit dem konkreten zu versendenden Bild.
-
Zur
Auswahl geeigneter Interpolationsparameter wird vorzugsweise eine
Rate-Distortion-Optimierung durchgeführt, d.h. der Kodierer ENCODER vergleicht
die Qualität
von Bildern, welche durch die Verwendung verschiedener Interpolationsparameter erzeugt
werden, und setzt dies in Bezug zur für die Funkübertragung der Bilder unter
Verwendung dieser Interpolationsparameter benötigten Datenrate. Es werden
diejenigen Interpolationsparameter verwendet, welche bei gegebener
Datenrate das beste Bild ergeben bzw. welche bei gegebener Bildqualität die niedrigste
Datenrate benötigen.
Gegenüber
dem Stand der Technik, bei welchem die Interpolationsparameter starr
sind, wird hierdurch eine höhere
Qualität
bei gleicher oder niedrigerer Datenrate der Funkübertragung bzw. eine überproportional
erhöhte
Qualität
bei erhöhter
Datenrate erzielt.
-
Dem
Dekodierer DECODER müssen
die vom Kodierer ENCODER verwendeten Interpolationsparameter bekannt
sein, um aus den empfangenen Bilddaten einer Auflösungsstufe
Bilddaten der nächst
höheren
Auflösungsstufe
durch Interpolation ermitteln zu können. Hierzu kann der Kodierer
ENCODER dem Dekodierer DECODER die von ihm verwendeten Interpolationsparameter
explizit signalisieren. Bei der expliziten Signalisierung werden
die Interpolationsparameter an den Dekodierer DECODER als Seiteninformation übertragen.
Dies kann unabhängig
von gemäß dem Stand
der Technik verwendeten Syntaxelementen erfolgen. Vorteilhaft ist
es jedoch, gemäß dem Stand
der Technik verwendete Syntaxelemente zu erweitern, so z.B. durch
die Einführung
neuer Blockmodi. Bei der expliziten Signalisierung werden somit
von dem Kodierer ENCODER Informationselemente gesendet, welche ausschließlich der
Angabe der zu verwendenden Interpolationsparameter dienen. Der Dekodierer
DECODER kann diesen Informationselementen explizit und direkt die zu
verwendenden Interpolationsparameter entnehmen.
-
Alternativ
oder zusätzlich
zur expliziten Signalisierung kann der Dekodierer DECODER die zu verwendenden
Interpolationsparameter aus anderen Informationen ermitteln:
- • Zur
Ermittlung der Interpolationsparameter für einen bestimmten Bildbereich
können
andere Bildbereiche herangezogen werden:
- – Verwendung
der Interpolationsparameter anderer Blöcke:
Die Interpolationsparameter
für einen
Block eines Bildes können
aus Interpolationsparametern von einem oder mehreren anderen Blöcken des
gleichen Bildes berechnet werden. Auf diese Weise kann z.B. der
Kodierer ENCODER den Dekodierer DECODER explizit über die
Interpolationspara meter von zumindest einem Block eines Bildes informieren,
und der Dekodierer DECODER verwendet diese Interpolationsparameter
dann zur Berechnung von Interpolationsparametern anderer Blöcke des
gleichen Bildes.
- – Verwendung
des Intrakodiermodus:
Mit dem Intrakodiermodus teilt der Kodierer
ENCODER dem Dekodierer DECODER mit, dass Dekodierergebnisse eines
oder mehrerer Blöcke eines
Bildes zur Dekodierung eines anderen Blockes des gleichen Bildes
zu verwenden sind. Dies kann auf die Interpolationsparameter der
verschiedenen Blöcke übertragen
werden, so dass z.B. dann, wenn der Intrakodiermodus dem Dekodierer
DECODER anzeigt, dass das Dekodierergebnis eines ersten Blockes
eines Bildes zur Berechnung des Dekodierergebnisses eines zweiten Blockes
des gleichen Bildes zu verwenden ist, der Dekodierer DECODER die
Interpolationsparameter des ersten Blockes als Interpolationsparameter
des zweiten Blockes verwendet.
- • Zusätzlich zu
den o.g. Größen können zur
Ermittlung der Interpolationsparameter Informationen über die
zeitliche Korrelation von verschiedenen Bildern herangezogen werden:
- – die
Blockgröße für die Bewegungsschätzung und
-kompensation des zu kodierenden Bereiches,
- – die
Blockgröße für die Bewegungsschätzung und
-kompensation eines benachbarten bereits kodierten Bereiches oder
anderer bereits kodierter Bereiche des gleichen Bildes,
- – die
Blockgröße der Transformation,
d.h. für
die Überführung von
Bildpunkten in den Frequenzbereich, auf niedrigeren Auflösungsstufen
des zu kodierenden Bereiches oder anderer Bereiche des gleichen
Bildes,
- – Blockmodi
auf niedrigeren Auflösungsstufen
des benachbarten und zu kodierenden Bereiches,
- – Prädiktionsmodi.
-
Zur
Ermittlung der Interpolationsparameter können Kombinationen der oben
aufgeführten
Größen verwendet
werden. Bei der im letzten Absatz beschriebenen impliziten Signalisierung
emp fängt
der Dekodierer DECODER somit Informationen, welche sich nicht auf
die Interpolationsparameter des aktuell betrachteten Bildbereichs
beziehen. Der Dekodierer DECODER verwendet diese Informationen zur
Ermittlung der Interpolationsparameter. Werden die Interpolationsparameter
dem Dekodierer DECODER nicht explizit signalisiert, müssen der
Kodierer ENCODER und der Dekodierer DECODER die gleiche Ermittlungsvorschrift
für die
Bestimmung der Interpolationsparameter aus den hierzu verwendeten
Informationen verwenden. Wird beispielsweise der Intrakodiermodus
zur impliziten Signalisierung der Interpolationsparameter verwendet,
ermittelt der Kodierer ENCODER aus dem an den Dekodierer DECODER übertragenen
Intrakodiermodus die Interpolationsparameter und verwendet diese
Interpolationsparameter bei der Auswahl der an den Dekodierer DECODER
zu versendenden Bilddaten. Dem Dekodierer DECODER ist die Ermittlungsvorschrift
der Interpolationsparameter aus dem Intrakodiermodus bekannt, so
dass er die gleichen Interpolationsparameter verwendet wie der Kodierer
ENCODER.
-
Es
ist möglich,
dass die Interpolationsparameter voneinander abhängen. So ist es beispielsweise
vorteilhaft, bei kleinen Bereichen/Blockgrößen kurze Filter zu verwenden.
Existiert eine Abhängigkeit
zwischen verschiedenen Interpolationsparametern, so müssen bei
der expliziten Signalisierung nicht alle Interpolationsparameter
mitgeteilt werden. Auch ist es möglich,
einen oder mehrere der Interpolationsparameter fix zu halten, so
dass lediglich die Ausgestaltung der anderen Interpolationsparameter dem
Dekodierer DECODER signalisiert oder von dem Dekodierer DECODER
ermittelt werden muss.
-
Vorteilhaft
ist eine Kombination der beiden vorgestellten Verfahren, d.h. der
expliziten Signalisierung der Interpolationsparameter und der impliziten Signalisierung,
d.h. der Ermittlung der Interpolationsparameter durch den Dekodierer
DECODER aus anderen Informationen. Durch die Ermittlung der Interpolationsparameter
durch den Dekodierer DECODER wird die Menge der erforderlichen Seiteninformationen
reduziert, so dass mehr Funkressourcen zur Übertragung von Nutzinformationen
zur Verfügung
stehen. Bei Qualitätsverlusten
durch mangelhafte Interpolationsparameter aufgrund der Ermittlungsvorschrift
der Interpolationsparameter aus den anderen Informationen bei der
impliziten Signalisierung können
die Interpolationsparameter explizit signalisiert werden, um die
Qualität
im Sinne der Rate-Distortion-Optimierung zu erhöhen.