-
Das Gebiet der Erfindung sind Fernsehsysteme, insbesondere
Systeme zum räumlichen Fernsehen. Die Erfindung betrifft ein
Verfahren zur Mehrwegskodierung zum Kodieren digitalisierte
Bilder, insbesondere digitalisierter, räumlicher
Fernsehbilder.
-
Ein räumliches Fernsehsystem hat als Ziel die
Wiederherstellung der Raumempfindung auf einem Bildschirm, beispielsweise
auf einem Fernsehbildschirm, ausgehend von einer räumlichen
Analyse einer beobachteten Szene. Diese räumliche Analyse
liefert Bilder für das rechte Auge (rechte Sequenz) und Bilder
für das linke Auge (linke Sequenz) bei einer Videofrequenz von
beispielsweise 50 Hz mit zwei Halbbildern je Bild.
-
Die räumlichen Fernsehsysteme müssen sich wirtschaftlichen und
technischen Zwangsbedingungen unterwerfen. Räumliche
Fernsehsysteme müssen sich insbesondere in eine vorhandene Umgebung
von Fernsehsystemen einordnen. So muß ein räumliches
Fernsehsystem mit den Merkmalen der Übertragungsnorm (hierbei MAC-
Norm) kompatibel bleiben, und das übertragene Signal (das
kompatible Signal) muß auf einem herkömmlichen Fernsehbildschirm
unmittelbar sichtbar gemacht werden.
-
Um diese Zwangsbedingungen einzuhalten, können die Folgen der
linken und rechten Ursprungsbilder nur teilweise übertragen
werden, wobei der nicht übertragene Anteil im Dekodierer des
räumlichen Fernsehgerätes wieder hergestellt werden muß, um
eine räumliche Sichtbarmachung zu erhalten. Um eine sehr gute
Kompatibilität zu erreichen, kann man die Wahl treffen, nur
eine einzige Bildfolge (rechts oder links) zu übertragen, aber
es wird bevorzugt eine aus einer Multiplexierung der
Bildfolgen (links und rechts mit eine Verarbeitung zur Verbesserung
des kompatiblen Bildes) hervorgehende Bildfolge übertragen, um
die räumliche Wiederherstellung zu begünstigen.
-
Der Basisalgorithmus dieser Wiederherstellung ist ein
Bewegungsausgleichsalgorithmus, der auf die digitalisierten, in
Punktblöcke aufgespaltenen Fernsehbilder angewendet wird.
Dieser Algorythmus arbeitet korrekt für Blöcke mit geringer oder
mittlere Bewegung. Blöcke mit starker oder unregelmäßiger
Bewegung werden hingegen nicht gut wiederaufgebaut. Für diese
Blöcke mit starker oder unregelmäßiger Bewegung ist es daher
erforderlich, andere Verarbeitungswege einzusetzen, wie etwa
einen gefilterten Weg.
-
Es sind bereits Verfahren zur Mehrwegskodierung zum Kodieren
digitalisierter Fernsehbilder mit hoher Auflösung bekannt, in
denen die digitalisierten Bilder gleichzeitig in
unterschiedlichen Wegen verarbeitet werden, wobei insbesondere ein
Bewegungsschätzungsweg und ein gefilterter Weg vorhanden sind. Der
Bewegungsschätzungsweg liefert einen Bewegungsvektor je Punkt
block. Ein digitalisiertes Bild wird für jeden
Verarbeitungsweg mit Hilfe von Interpolationsfiltern für den gefilterten
Weg und mit Hilfe Bewegungsvektoren für den
Bewegungsschätzungsweg wieder aufgebaut. Dann werden für jeden Punkt
block die wiederaufgebauten Bilder mit dem Originalbild
verglichen, und der Verarbeitungsweg, der das beste Ergebnis
liefert, wird für die Übertragung des betrachteten Blocks
ausgewählt.
-
Diese Wahl "im nachhinein" (nach dem Wiederaufbau im Kodierer
für alle Verarbeitungswege) eines besonderen Verarbeitungswegs
ist allerdings für digitalisierte, räumliche Fernsehbilder
nicht brauchbar. Für die räumliche Darstellung werden die
Bilder nämlich nicht dort wieder aufgebaut, wo das Quellenbild
zur Verfügung steht, und folglich kann der Vergleich zwischen
einem wiederaufgebauten Bild und dem Quellenbild nicht in der
Lage, ein brauchbares Ergebnis zur Auswahl "im nachhinein" des
optimalen Verarbeitungswegs zu liefern. Dies liegt im
wesentlichen daran, daß die Erfassung der räumlichen Quellenbilder
bei 50 Hz erfolgt, während die Sichtbarmachung bei 100 Hz
erfolge.
-
Ziel der Erfindung ist daher ein neues Verfahren zur
Mehrwegskodierung zum Kodieren digitalisierter Fernsehbilder,
insbesondere digitalisierter, räumlicher Fernsehbilder, die eine
Auswahl "im voraus" eines speziellen Verarbeitungswegs auf der
Basis einer Entscheidung je Punktblock ermöglicht.
-
Ein weiteres Ziel der Erfindung besteht darin, ein solches
Verfahren vorzuschlagen, das den Bewegungsschätzungsweg
begünstigt, um eine gute Auflösung des räumlichen Bildes zu
erhalten.
-
Hierzu betrifft die Erfindung ein Verfahren zur
Mehrwegskodierung zum Kodieren digitalisierter Bilder, insbesondere
digitalisierter, räumlicher Fernsehbilder, wobei die digitalisierten
Bilder auf unterschiedlichen Wegen verarbeitet werden und
wenigstens ein Bewegungsschätzungsweg vorhanden ist, um
Kodierungsdaten der digitalisierten Bilder zu liefern, sowie ein
besonderer Verarbeitungsweg, der ausgehend von den
Kodierungsdaten ausgewählt wird, dadurch gekennzeichnet, daß bei dem
Bewegungsschätzungsweg ein digitalisiertes Eingangsbild in
Bildpunktblöcke aufgeteilt wird, um einen Bewegungsvektor je
Block und einen Fehler je Punkt des Blocks zu liefern und daß
für jeden Block ein Satz von Werten berechnet wird, die sich
auf einen Mittelwert EMB der Fehler des Blocks, eine
Durchschnittsabweichung ECM der Fehler des Blocks und eine
Amplitude Va des Bewegungsvektors des Blocks beziehen, um ausgehend
von dem genannten Satz von Werten den besonderen
Verarbeiungsweg auszuwählen, der dem Block zugeordnet ist.
-
Auf diese Weise ermöglicht das erfindungsgemäße
Kodierungsverfahren, eine Übertragung und einen Wiederaufbau über einen
kompensierten Weg oder über einen gefilterten Weg auszuwählen,
wobei diese Wahl ausschließlich auf den Ergebnissen des
Bewegungsschätzungswegs basiert. Wie nachfolgend deutlich wird,
wird die Wahl des Bewegungsschätzungswegs im Falle geringer
oder mittlerer Bewegungen oder bei relativ bedeutenden Fehlern
auf lediglich einigen Punkten eines Blocks begünstigt.
-
Weitere Merkmale und Vorteile der Erfindung werden anhand der
nachfolgenden Beschreibung eines Ausführungsbeispiels der
Erfindung unter Bezugnahme auf die Zeichnungen deutlich, wobei:
-
Fig. 1 den Inhalt von Folgen räumlicher Fernsehbilder zur
Erfassung, Übertragung und Sichtbarmachung darstellt,
-
Fig. 2 ein Ablaufdiagramm ist, auf dem bestimmte Stufen des
erfindungsgemäßen Mehrwegskodierungsverfahrens dargestellt
sind.
-
Wie Fig. 1 zeigt, liefert eine räumliche Bildquelle (zwei
Kameras) gleichzeitig eine linke Bildfolge 110 und eine rechte
Bildfolge 120, wobei die beiden Folgen die gleiche Parität
(625 Zeilen, 50 Hz, Zeilensprung der Ordnung 2) aufweisen.
-
Das Übertragungssignal 130 entspricht je Block entweder einer
zeitlichen Multiplexierung eines Halbbilds der linken Folge
mit einem Halbbild der rechten Folge (im Falle des
Bewegungsschätzungswegs) oder einer räumlichen Multiplexierung Punkt
für Punkt der Hälfte der Bildpunkte der linken Folge mit der
Hälfte der Bildpunkte der rechten Folge (im Falle des
gefilterten Wegs). Digitale Hilfsdaten werden beim Durchgang der
Quellenbilder in den Verarbeitungswegen erzeugt und parallel
mit den Bildern über den Übertragungsweg übertragen. Folglich
wird ausgehend von zwei Folgen von Quellenbildern eine einzige
Bildfolge (625 Zeilen, 50 Hz, Zeilensprung der Ordnung 2)
sowie digitale Hilfsdaten übertragen.
-
Bei der Sichtbarmachung werden die linken und rechten
Halbbilder abwechselnd mit 100 Hz verarbeitet, um eine rechte und
eine linke Bildfolge wiederaufzubauen. Um den räumlichen
Eindruck zu erhalten, wird jedes Auge für eine einzige Bildfolge
mit 50 Hz empfindlich gemacht, beispielsweise mit Hilfe von
polarisierenden Brillen. Auf der Abbildung sind zwei
Abbildungsfälle dargestellt, wobei sich bei dem einen, 140, ein
ungeradzahliges Halbbild der linken Bildfolge nach jedem Bild
mit 100 Hz wiederholt (625/100/2:1), und wobei sich bei dem
anderen, 150, ein ungeradzahliges Halbbild der linken
Bildfolge nach zwei Bildern mit 100 Hz wiederholt (625/100/4:2).
-
Nachfolgend wird das erfindungsgemäße Verfahren zur
Mehrwegskodierung unter Bezugnahme auf zwei Verarbeitungswege
beschrieben, und zwar einen Bewegungsschätzungsweg und einen
gefilterten Weg, wobei aber der Fachmann das erfindungsgemäße
Kodierungsverfahren leicht auf weitere Verarbeitungswege
erweitern kann. Nachfolgend wird unter "Bild" ein
"digitalisiertes Bild" verstanden.
-
Die Bilder der linken und rechten Folge werden über den
Bewegungsschätzungsweg verarbeitet, um die zu übertragenden
Kodierungsdaten zu liefern. wobei das Verfahren nachfolgend in
Erinnerung gerufen wird, obwohl es dem Fachmann bekannt ist.
-
Für die Punktblöcke der linken Bildfolge (von denen nur die
ungeradzahligen Halbbilder, die übertragen werden, sichtbar
gemacht werden), berechnet der Bewegungsschätzungsweg unter
Bezugnahme auf die geradzahligen Halbbilder der Bilder die
Bewegungsvektoren, wobei ein Bewegungsvektor für einen
Punktblock repräsentativ ist. Beim Wiederaufbau dieser
geradzahligen, nicht übertragenen Halbbilder liefert der
Bewegungsschätzungsweg
Fehler für jeden Punktblock, wobei jeder Fehler einen
Tonunterschied, der einer Grauwertskala entnommen wird,
zwischen einem wiederaufgebauten Punkt und einem Originalpunkt
eines Bilds der linken Folge entsprechen kann. Dagegen ist der
Wiederaufbau der Folge der linken Bilder über den gefilterten
Weg nutzlos, da er die Bestimmung der Fehler des Wiederaufbaus
nicht zuläßt.
-
Für die Punktblöcke der Folge der rechten Bilder (von denen
kein übertragenes Halbbild unmittelbar sichtbar gemacht werden
kann), ist die Verarbeitung des Sch&tzungswegs identisch mit
der vorstehend beschriebenen. Die Bewegungsvektoren werden an
der Stelle der ungeradzahligen Halbbilder der Quellenbilder
berechnet, und der Bewegungsschätzungsweg liefert einen Fehler
für jeden Punkt eines Blocks, der einen Tonunterschied
zwischen zwei getroffenen Punkten entspricht, die jeweils zu zwei
ungeradzahligen, aufeinanderfolgenden Halbbilder gehören. Hier
ist der Wiederaufbau der Folge der rechten Bilder über den
gefilterten Weg ebenfalls nutzlos.
-
Die bei dem erfindungsgemäßen Verfahren zur Mehrwegskodierung
eingesetzte Bewegungsschätzungsfunktion ist vorzugsweise die
als "PEL RECURSIVE" bezeichnete und in dem Artikel "New
technique in Pel recursive motion compensation" von D.R. WALKER &
K.R. RAO, veröffentlicht in "Proceedings ICC 84, Amsterdam,
Mai 14-17, 1984, S. 703-706", beschriebene Schätzungsfunktion.
Der Bewegungsschätzungsweg liefert nach der Aufteilung in
Segmente für jeden Punktblock der Quellenbilder einen
Bewegungsvektor und für jeden Punktblock einen Wiederaufbaufehler. Die
bevorzugte Größe des Punktblocks ist 8*8 Bildpunkte.
-
Bezugnehmend auf Fig. 2 berechnet man in dem
Bewegungssch&tzungsweg für jeden Bildpunktblock eine Wertemenge, die sich
auf einem Mittelwert EMB der Fehler des Blocks bezieht, 210,
eine Standardabweichung ECT der Fehler des Blocks, 230, eine
Durchschnittsabweichung ECM der Fehler des Blocks, 220, eine
Amplitude Va des Bewegungsvektors des Blocks, 270, ausgehend
von den folgenden Beziehungen:
-
und bei 280 wird dem betrachteten Block ein spezieller
Verarbeitungsweg (Bewegungsschätzungsweg oder gefilterter Weg)
zugeordnet, ausgehend von der Beobachtung dieser Wertemenge und
insbesondere ausgehend von deren Vergleich bezüglich
Schwellenwerten. Die Koordinaten Vx und Vy des Bewegungsvektors
werden in dem Bezugssystem bestimmt, dessen Ursprung der aktuelle
Punkt ist. Vx wird längs einer zu den Linien der Bilder
parallelen Achse und Vy in der dazu senkrechten Richtung
gemessen. Die maximal zulässige Verlagerung für Vx ist eine
Verlagerung von + oder - 16 Punkten auf der gleichen Linie und
zwischen dem vorhergehenden und dem folgenden Halbbild. Die für
Vy maximal zulässige Verlagerung ist eine Verlagerung + oder -
16 Linien zwischen dem vorhergehenden und dem folgenden
Halbbild.
-
Auf diese Weise vergleicht man den Mittelwert der Fehler EMB
mit einem ersten Schwellenwert S1 und mit einem zweiten
Schwellenwert S2, der größer ist als der erste Schwellenwert
S1.
Wenn der Mittelwert der Fehler EMB kleiner ist als der
erste Schwellenwert S1, 240, ist der ausgewählte
Verarbeitungsweg der Bewegungsschätzungsweg. Wenn der Mittelwert der
Fehler EMB zwischen den Schwellenwerten S1 und S2 liegt, 245,
und die Amplitude Va des Bewegungsvektors kleiner als ein
dritter Schwellenwert S3 ist, 275, ist der ausgewählte
Verarbeitungsweg der Bewegungsschätzungsweg. Der
Bewegungsschätzungsweg wird ebenfalls als Verarbeitungsweg ausgewählt, wenn
die Standardabweichung ECT der Fehler des Blocks kleiner als
der Mittelwert EMB der Fehler des Blocks ist, 260, oder wenn
die Standardabweichung ECT der Fehler des Blocks kleiner ist
als die Durchschnittsabweichung ECM der Fehler des Blocks ist,
265, vorzugsweise 1,4 mal ECM. Diese beiden letzten Fälle
bedeuten, daß nur einige Punkte des Blocks bedeutende Fehler
aufweisen. Wenn schließlich keiner der vorgenannten Fälle
eintritt, ist der ausgewählte Verarbeitungsweg oder gefilterte
Weg, da in diesem Falle starke oder unregelmäßige Bewegungen
des betrachteten Blocks vorliegen.
-
Um die Qualität des räumlichen Wiederaufbaus weiter zu
verbessern, berücksichtigt die letztendliche Wahl des
Verarbeitungswegs für einen Block die für die umgebenden Blöcke getroffene
Wahl, um die Wahl der Verarbeitungswege möglichst gleichmäßig
zu gestalten, damit schroffe und wiederholte Übergänge von
einem Verarbeitungsweg zum anderen vermieden werden.