-
Die Erfindung betrifft eine Vorrichtung zur effizienten Kodierung von Fernsehsignalen.
-
Zur effizienten Kodierung mit Verringerung der Bitzahl pro Pixel ist ein System bekannt, das zwischen
den einzelnen Rahmen (Vollbildern) wirksam ist und bei dem ein dreidimensionaler, d. h. ein räumlich
zeitlicher Prozeß durchgeführt wird. Das Zwischenrahmen-Kodiersystem beinhaltet ein System zur
Bewegungsdetektierung sowie ein System zur Bewegungskorrektur. Die Bewegungserfassung basiert
bei diesem bekannten System auf dem Vorhandensein oder Fehlen einer Differenz zwischen den
Rahmen, wobei nur der Teil durch die Daten des vorhergehenden Rahmens ersetzt wird, in welchem
keine Rahmendifferenz auftritt, d. h. der Teil, in dem keine Bewegung stattfindet
-
Die Information über die Positionsbeziehung zwischen dem aktuellen Rahmen und dem vorhergehenden
Rahmen (Bewegungskorrekturbetrag) wird bei diesem bekannten System durch ein
Blockausgleichverfahren oder ein ähnliches Verfahren gewonnen. Das Bild in dem vorhergehenden Rahmen wird auf der
Basis dieses Bewegungskorrekturbetrags gesteuert und dadurch die Korrelation zwischen den Rahmen
hergeleitet. Das Blockausgleichsverfahren ist ein Verfahren, bei dem der Bildschirm in mehrere Blöcke
unterteilt wird und dann für jeden Block der Betrag und die Richtung der Bewegung gewonnen werden.
Für jeden Block werden dann der Bewegungsbetrag und Bewegungsrichtung übertragen.
-
Das mit Bewegungsdetektierung arbeitende Zwischenrahmen-Kodiersystem wirft bei Bildern, in denen
allgemeine Bewegung stattfindet, Probleme auf, weil dort zahlreiche bewegte Abschnitte auftreten und
der Kompressionsfaktor niedrig ist.
-
Das mit Bewegungskorrektur arbeitende Zwischenrahmen-Kodiersystem hat ebenfalls Nachteile, weil
dort durch die Unterteilung in Blöcke eine Verzerrung auftritt und das Kompressionsverhältnis relativ
niedrig ist, weil der Bewegungsbetrag für jeden Block übertragen wird.
-
Darüberhinaus haben beide Systeme den Nachteil, daß bei ihnen ein als "ungedeckter Hintergrund"
bezeichnetes Problem auftritt, das darin besteht, daß die Pixeldaten in dem ursprünglichen Bereich
gelöscht werden, wenn ein Objekt sich bewegt.
-
US-4 202 011 beschreibt eine Vorrichtung zur Kodierung von Fernsehsignalen, bei der bestimmte
Halbbilder nicht übertragen werden, sondern statt dessen der Fehler zwischen den Daten des Halbbildes
und eine einfache Interpolation aus benachbarten Halbbildern gesendet werden.
-
US-4 437 119 beschreibt ein adaptives Interface-Prädiktionssystem, bei dem Innerhalbbild-,
Zwischenhalbbild- und Zwischenrahmen-Prädiktionsverfahren angewendet und dann die Ergebnisse des jeweils
genauesten Verfahrens oder der genauesten Kombination übertragen werden.
-
Es ist ein Ziel der vorliegenden Erfindung eine Vorrichtung für eine effiziente Kodierung zu schaffen,
das einen im Vergleich zu herkömmlichen Vorrichtungen extrem großen Kompressionsfaktor
ermöglicht.
-
Ein weiteres Ziel der Erfindung ist die Schaffung einer Vorrichtung zur effizienten Kodierung, die
verschiedene auf eine Mehrzahl von bewegten Objekten zurückzuführende Bewegungsarten meistern kann,
indem sie verschiedene Arten von Korrekturen in Richtung der Zeit durchführt.
-
Ein weiteres Ziel der Erfindung besteht darin, eine Vorrichtung zur effizienten Kodierung zu schaffen,
in der Probleme wie ausgebleichte Kantenbereiche, ungedeckter Hintergrund oder dergleichen durch
verschiedene Arten von Korrekturen in zeitlicher Richtung ausgeschaltet werden.
-
Erfindungsgemäß ist eine Vorrichtung für die effiziente Kodierung von Fernsehsignalen vorgesehen
mit einer Speichereinrichtung zur Speicherung der Pixeldaten von mehreren vorhergehenden
Halbbildern des Fernsehsignals,
mit einer Parameter-Generatoreinrichtung zur Erzeugung eines Satzes von Parametern, die eine
lineare Kombination von Pixeldaten definieren, die von der Speichereinrichtung laufend gespeichert
werden, wobei diese lineare Kombination eine Approximierung der Pixeldaten des laufenden
Halbbildes darstellt,
mit einer Prädiktoreinrichtung zur Erzeugung von Pixeldaten eines prädizierten laufenden
Halbbildes nach Maßgabe der genannten durch die in der Speichereinrichtung gespeicherten Pixeldaten
bestimmten linearen Kombination,
wobei die Parameter-Generatoreinrichtung in Abhängigkeit von den von der Prädiktoreinrichtung
prädizierten Pixeldaten einen Satz von Parametern erzeugt, die so beschaffen sind, daß der Fehler
zwischen den Pixeldaten des prädizierten laufenden Halbbildes und den Pixeldaten des tatsächlichen
laufenden Halbbildes minimiert wird,
sowie mit einer Übertragungseinrichtung zur Übertragung der Parameter.
-
Bei der Erfindung beruht also die Vorhersage der laufenden Bewegung aus den Pixeldaten mehrerer
vorhergehender Halbbilder.
-
Da bei der erfindungsgemäßen Vorrichtung jede Bewegungsinformation einer Mehrzahl bewegter
Objekte in den vorhergehenden Pixeldaten enthalten ist, d. h. die Bewegungsprädiktoren mit verschiedenen
Richtungen und Geschwindigkeiten eine enge zeitliche Korrelation besitzen, ist es nicht erforderlich,
den Bewegungsbetrag zu übertragen, es genügt vielmehr, lediglich Parameter
(Prädiktions-Koeffizienten) für jedes Halbbild zu übertragen, so daß die durchschnittliche Anzahl der Bits pro Pixel
extrem klein gehalten werden kann. Da bei der Vorrichtung gemäß der Erfindung die
Bewegungskorrektur als zeitabhängige Änderung des Pegels der einzelnen Pixel behandelt wird, kann sie integral als
kinetisches Modell, z. B. als Bewegung mit konstanter Geschwindigkeit (die durch die Daten in den
beiden vorhergehenden Halbbildern ausgedrückt wird) oder als Bewegung mit konstanter
Beschleunigung (die durch die Daten in den drei vorhergehenden Halbbildern ausgedrückt wird) verarbeitet
werden.
Da diese Daten von der Richtung oder der Geschwindigkeit des Bewegungsvektors unabhängig
sind, genügt es, die Abweichungen von dem Bewegungsmodell zu korrigieren. Dadurch läßt sich der
Kompressionsfaktor erfindungsgemäß vergrößern. Da außerdem die zeitliche und die räumliche
Korrektur dreidimensional erfolgen, treten Probleme wie Blockverzerrung, ungedeckter Hintergrund usw.
nicht auf.
-
Die oben beschriebenen Ziele sowie weitere Ziele, Merkmale und Vorteile der Erfindung werden durch
die folgende ausführliche Beschreibung anhand der Zeichnungen weiter verdeutlicht
-
Fig. 1 zeigt das Blockschaltbild eines Ausführungsbeispiels der Erfindung,
-
Fig. 2 zeigt das Blockschaltbild einer Anordnung zum Empfang der durch die erfindungsgemäße
Vorrichtung kodierten Übertragungsdaten,
-
Fig. 3 und 4 zeigen schematische Diagramme zur Erläuterung des Ausführungsbeispiels der Erfindung.
-
Im folgenden sei anhand der Zeichnungen ein Ausführungsbeispiel der Erfindung beschrieben Fig. 1
zeigt die Anordnung eines Ausführungsbeispiels der Erfindung; dabei handelt es sich um die auf der
Sendeseite angeordnete Kodiervorrichtung. Fig. 2 zeigt die auf der Empfangsseite angeordnete
Dekodiervorrichtung.
-
Die Anordnung nach Fig. 1 besitzt eine Parameter-Identifizierstufe 1. Dieser werden die mit einer
vorbestimmten Abtastfrequenz digitalisierten Fernsehsignale, d. h. die Bilddaten des laufenden Halbbilds k
zugeführt. Auch die Bilddaten des vorhergehenden Halbbildes k-1, die Bilddaten des vor diesem
liegenden Halbbildes k-2 und die Bilddaten des vor diesem liegenden Halbbildes k-3 werden der
Parameter-Identifizierstufe 1 zugeführt. Diese Bilddaten bilden die Prädiktionsdaten. Die
Parameter-Identifizierstufe 1 identifiziert unter Verwendung dieser Prädiktionsdaten und der Daten im laufenden
Halbbild mit Hilfe eines Verfahrens der kleinsten Quadrate für jedes einzelne Halbbild fünfunddreißig
Parameter w&sub1; bis w&sub3;&sub5;, die jeweils aus beispielsweise 8 Bits bestehen. Die Parameter-Identifizierstufe 1
enthält eine Verzögerungsschaltung und eine Abtastverzögerungsschaltung zur Justierung der
räumlichen Positionsbeziehung. Die von der Parameter-Identifizierstufe 1 identifizierten Parameter w&sub1; bis
w&sub3;&sub5; bilden die Sendedaten. Die Parameter w&sub1; bis w&sub3;&sub5; sind Parameter in dem Halbbild k-1, das
gegenüber den Eingangsdaten um ein Halbbild verzögert ist.
-
Die Anordnung weist ferner eine Prädiktionsstufe 2 sowie Halbbildspeicher 3, 4 und 5 auf. Die
Prädiktionsdaten aus der Prädiktionsstufe 2 werden in die Halbbildspeicher 3 bis 5 eingeschrieben. Die
Bilddaten (Prädiktionsdaten) der vergangenen drei Halbbilder k-1, k-2 und k-3, die dem Halbbild k
vorangehen, werden in diesen Speichern gespeichert. Die Prädiktionsstufe 2 erzeugt den Prädiktionswert für
das laufende Pixel unter Verwendung der fünfunddreißig Prädiktionsdaten und der Parameter w&sub1; bis
w&sub3;&sub5;, die in der Nähe des zu prädizierenden Pixels liegen und in den letzten drei Halbbildern enthalten
sind. Zu diesem Zweck enthält die Prädiktionsstufe 2 mehrere Zeilen-Verzögerungsschaltungen und
mehrere Abtastverzögerungsschaltungen zur Justierung der räumlichen Positionsbeziehung.
-
Der Prädiktionswert bezüglich der Pixeldaten (Fig. 3A) in dem laufenden Halbbild k wird als lineare
Kombination aller fünfunddreißig Pixeldaten abgeleitet, die aus Daten der zehn benachbarten Pixel im
vorhergehenden Halbbild k-1, Daten (Fig. 3C) von fünfzehn benachbarten Pixeln in dem weiter
vorherliegenden Halbbild k-2 und Daten (Fig. 3D) von zehn benachbarten Pixeln des weiter
zurückliegenden Halbbilds k-3 bestehen.
-
In Fig. 3A bis 3D kennzeichnen die durchgezogenen horizontalen Linien die Zeilen, die in den
Halbbildern k und k-2 abgetastet werden. Die unterbrochenen horizontalen Linien kennzeichnen die Zeilen, die
in den Halbbildern k-1 und k-3 abgetastet werden. Die Zeile an der Stelle, an der sich die Pixeldaten
des laufenden Halbbildes befinden, ist mit y bezeichnet, die über der Zeile y liegende Zeile mit y+1 und
die über der Zeile y+1 liegende Zeile mit y+2. Die Zeilen unterhalb der Zeile y sind mit y-1 bzw. y-2
bezeichnet. In Fig. 3A bis 3D kennzeichnen die durchgezogenen weißen Linien die Abtastpositionen in
jedem Halbbild. Die Abtastposition, die um eine Abtastung vor der Abtastposition x der Pixeldaten im
laufenden Halbbild k liegt, ist mit x-1 bezeichnet, die Abtastposition, die um zwei Abtastungen vor der
Abtastposition x liegt, mit x-2. Die Abtastpositionen, die um eine bzw. zwei Abtastungen hinter der
Abtastposition x liegen, sind mit x+1 bzw. x+2 bezeichnet.
-
Die Prädiktionsdaten k (x, y) für das laufende Pixel werden durch die lineare Kombination
ausgedrückt, die auf der folgenden Gleichung basiert.
-
k(x,y)= w&sub1; x k-1 (x-2, y+1)+w&sub2;x k-1 (x-1, y+1)+w&sub3; x k-1 (x, y+1)+w&sub4; x k-1 (x+1, y+1)+
w&sub5; x k-1 (x+2, y+1) + w&sub6; x k-1 (x-2, y-1) + w&sub7; x k-1 (x-1, y-1) + w&sub8; x k-1 (x, y-1) +
w&sub9; x k-1 (x+1, y-1) + w&sub1;&sub0; x k-1 (x+2, y-1) +
w&sub1;&sub1; x k-2 (x-2, y+2) +w&sub1;&sub2; x k-2 (x-1, y+2) + w&sub1;&sub3; x k-2 (x, y+2) +
w&sub1;&sub4; x k-2 (x+1, y+2) +w&sub1;&sub5; x k-2 (x+2, y+2) + w&sub1;&sub6; x k-2 (x-2, y) + w&sub1;&sub7; x k-2 (x-1, y) +
w&sub1;&sub8; x k-2 (x, y) + w&sub1;&sub9; x k-2 (x+1, y) + w&sub2;&sub0; x k-2 (x+2, y) + w&sub2;&sub1; x k-2 (x-2, y-2) +
w&sub2;&sub2; x k-2 (x-1, y-2) + w&sub2;&sub3; x k-2 (x, y-2) + w&sub2;&sub4; x k-2 (x+1, y-2) +
w&sub2;&sub5; x k-2 (x+2, y-2) +
w&sub2;&sub6; x k-3 (x-2, y+1) + w&sub2;&sub7; x k-3 (x-1, y+1) + w&sub2;&sub8; x k-3 (x, y+1) +
w&sub2;&sub9; x k-3 (x+1, y+1) + w&sub3;&sub0; x k-3 (x+2, y+1) + w&sub3;&sub1;x x k-3t (x-2, y-1 +
w&sub3;&sub2; x k-3 (x-1, y-1) + w&sub3;&sub3; x k-3 (x, y-1) + w&sub3;&sub4; x k-3 (x+1, y-1) + w&sub3;&sub5; x k-3 (x+2, y-1).
-
Diese Prädiktionsgleichung besagt, daß der Prädiktionswert für das Pixel in dem laufenden Halbbild in
der Weise gewonnen wird, daß das benachbarte Pixel mit der stärksten Korrelation als repräsentativer
Wert herausgegriffen wird und die Korrektur in raumzeitlicher Richtung an diesem repräsentativen
Wert durchgeführt wird.
-
Die Parameter-Identifizierstufe 1 identifiziert die Parameter unter Verwendung der Prädiktionsdaten
mit Hilfe eines Verfahrens der kleinsten Quadrate. Und zwar ist der wahre Wert Ik eines bestimmten
Pixels im laufenden Halbbild ein Wert, dessen Differenz e zu dem Prädiktionswert k des aus der
obigen Gleichung gewonnenen Pixels entsprechend dem wahren Wert Ik hinzuaddiert wurde. Somit wird
die Differenz e zu k-Ik, und die Parameter w&sub1; bis w&sub3;&sub5;, die die Quadratsumme dieses Fehlerminimums
in bezug auf eine vorbestimmte Anzahl von Pixeln (nämlich alle Pixel in einem Halbbild) bilden,
werden berechnet.
-
Die größte Genauigkeit kann dann erreicht werden, wenn bei der Berechnung der Parameter w&sub1; bis w&sub3;&sub5;
mit einem Verfahren der kleinsten Quadrate alle Prädiktionspixel verwendet werden, die in einem
Halbbild enthalten sind, (z. B. 800·255 Prädiktionspixel für den Fall, daß in einer Zeile 800 Pixel
vorhanden sind und ein Halbbild aus 255 Zeilen besteht). Der Schaltungsumfang wird dann jedoch sehr
groß. Deshalb werden die Parameter w&sub1; bis w&sub3;&sub5; unter Verwendung einer vorbestimmten geringen
Anzahl von beispielsweise 300 repräsentativen Pixeln für jeweils eine Mehrzahl von Abtastproben
identifiziert.
-
Andererseits wird in dem Randbereich des Bildschirms, in dem keine Daten existieren, wie in Fig. 4
gezeigt, unterstellt, daß die gleichen Daten wie die Daten a bis h in dem Bildschirm auch außerhalb des
Bildschirms existieren und diese Daten substituiert werden sollen. Nun kann, wie durch die
unterbrochenen Linien in Fig. 4 angedeutet, die Identifizierung in dem Bereich durchgeführt werden, der um
eine Zeile und zwei Abtastproben innerhalb des Randbereichs des Bildschirms liegt.
-
Wie Fig. 2 zeigt, umfaßt die Dekodiervorrichtung zum Empfang der in der oben beschriebenen Weise
kodierten Sendedaten: vier Halbbildspeicher 7, 8 und 9 sowie eine Prädiktionsstufe 6, der die
empfangenen Parameter w&sub1; bis w&sub3;&sub5; sowie die Daten der letzten drei Halbbilder aus den Halbbildspeichern 7
bis 9 zugeführt werden. Die Prädiktionsstufe 6 liefert die Prädiktionsdaten, d. h. digitale
Fernsehsignale. Zur Dekodierung der digitalen Fernsehsignale auf der Empfangsseite werden vor der Übertragung
der Parameter w&sub1; bis w&sub3;&sub5; die Anfangsdaten dreier Halbbilder übertragen und in die jeweiligen
Halbbildspeicher 7 bis 9 eingeschrieben.
-
Die Pixeldaten der letzten zwei Halbbilder können in bezug auf das laufende Halbbild verwendet
werden. In diesem Fall wird ein kinetisches Modell mit konstanter Geschwindigkeit als dreidimensionales
kinetisches Modell ausgedrückt.
-
Im folgenden sei anhand eines Beispiels, bei dem ein Verfahren der kleinsten Quadrate angewendet
wird, die Identifizierung der Parameter w&sub1; bis w&sub3;&sub5; erläutert, die in der Parameter-Identifizierstufe 1
durchgeführt wird.
Die lineare Kombinationsgleichung zur Berechnung der Prädiktionsdaten k (x,y) läßt sich für den Fall
einer Prädiktion, bei der das gesamte laufende Halbbild betrachtet wird, durch folgende Determinante
ausdrücken:
-
Falls diese Determinante einfach durch eine Matrix und einen Vektor ausgedrückt wird, erhält man
-
= ·W,
-
worin ein Vektor (m·n)-ter Ordnung, eine (m·n, 35)-Matrix und W ein Vektor 35. Ordnung ist.
-
Andererseits ist ein Vektor I, der aus Daten (wahren Werten) in dem laufenden Halbbild besteht, die
entsprechend angeordnet sind, ein Vektor (m·n)-ter Ordnung. Es sei angenommen, daß e ein
differentieller Prädiktionsvektor (m·n)-ter Ordnung ist. Es gilt dann die Gleichung
-
I= +e= ·W+e
-
diese Gleichung wird zu
-
e = I- ·W.
-
Es werden diejenigen Parameter W hergeleitet, bei denen die Quadratsumme des differentiellen
Prädiktionsvektors zu einem Minimum wird. Diese Gleichung wird folgendermaßen modifiziert.
-
eTe = (I- W)T(I- W)
-
= ITI-IT W-WTt TI+WT T W
-
in der T eine transponierte Matrix ist.
-
In dieser Gleichung genügen die Parameter W, bei denen eTe zu einem Minimum wird, der folgenden
Gleichung, die mit Hilfe mathematischer Formeln abgeleitet ist:
-
δ(eTe)/δW=- TI+IT W=0
-
W + ( T )&supmin;¹ TI
-
Falls alle (m·n) Pixel in einem Halbbild nach dieser Gleichung behandelt werden, entsteht eine sehr
große Matrix mit (m·n, 35) Elementen, so daß dies nicht praktikabel ist. Deshalb wird obige
Gleichung zu einer Matrix und einem Vektor niedriger Ordnung modifiziert und dann verarbeitet. Und
zwar werden die (35, 35)-Matrix von (P = T· ) und der Vektor 35. Ordnung von (Q = T·I)
verwendet.
-
Die obigen Werte P und Q werden aus den Prädiktionsdaten aus den letzten drei Halbbildern erzeugt,
die der Parameter-Identifizierstufe 1 zugeführt werden. Die Parameter W werden nach der Gleichung
(P&supmin;¹·Q) berechnet.
-
Die vorliegende Erfindung führt eine Prädiktion der laufenden Bewegung aus den Pixeldaten mehrerer
zurückliegender Halbbilder durch. Da jede Bewegungsinformation einer Mehrzahl von bewegten
Objekten in den Pixeldaten enthalten ist, erübrigt sich die Übertragung des Bewegungsbetrages. Es genügt
vielmehr, wenn nur die Parameter (Koeffizienten für die Prädiktion) für jedes einzelne Halbbild
übertragen werden. Dadurch kann die durchschnittliche Anzahl von Bits pro Pixel extrem verringert
werden. Da die Bewegungskorrektur gemäß der Erfindung als zeitabhängige Änderung des Pegels jedes
Pixels behandelt wird, kann sie integral als kinetisches Modell verarbeitet werden, z. B. als Bewegung
mit konstanter Geschwindigkeit (die durch die Daten in den letzten beiden Halbbildern ausgedrückt
wird) oder als Bewegung mit konstanter Beschleunigung (die durch die Daten in den letzten drei
Halbbildern ausgedrückt wird). Da diese Daten nicht von der Richtung oder Geschwindigkeit des
Bewegungsvektors abhängen, braucht lediglich die Abweichung von dem Bewegungsmodell korrigiert zu
werden, so daß der Kompressionsfaktor durch die Erfindung vergrößert werden kann.
-
Da einerseits die zeitabhängige und räumliche Korrektur dreidimensional durchgeführt werden, treten
Probleme wie Blockverzerrung, ungedeckter Hintergrund und dergl. nicht auf.
-
Da außerdem das dreidimensionale kinetische Modell durch eine lineare Kombination ausgedrückt
wird, lassen sich die Parameter mit hoher Geschwindigkeit durch eine einfachere Hardware erzeugen
als in dem Fall, in dem sie durch eine nichtlineare Kombination höherer Ordnung ausgedrückt werden.