DE19531004A1

DE19531004A1 - Verfahren und Vorrichtung zur wahrnehmungsoptimierten Übertragung von Video- und Audio-Daten

Info

Publication number: DE19531004A1
Application number: DE19531004A
Authority: DE
Inventors: Hans-E Korth
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 1995-08-23
Filing date: 1995-08-23
Publication date: 1997-02-27
Anticipated expiration: 2015-08-24
Also published as: DE19531004C2; US5914751A

Description

Die vorliegende Erfindung betrifft eine Vorrichtung und Verfahren zur wahrnehmungsoptimierten Übertragung von Audio- und Videosignalen.

Bei multimedialen Anwendungen wird die Bedeutung des Abspielens bewegter Bilder auf dem Computermonitor immer wichtiger.

Das Hauptproblem bei der Darstellung von Videobildern auf heutigen PC′s liegt in der Bandbreite des Busses im Hinblick auf die große Datenmenge, die zur Bilddarstellung notwendig ist. So braucht ein einzelnes Fernsehbild (640 × 400 Pixels) mit einer 24 Bit Farbtiefe einen Speicherbedarf von mehr als 1 Megabyte. Bei der europäischen Fernseh-Norm werden ca. 23 MB pro Sekunde benötigt. Dies zeigt deutlich, daß die Busse und die Festplatten heutiger PC′s diesen Datenmengen nicht gewachsen sind. Übertragungen von Video-Daten über ISDN mit einer Übertragungsrate von 64 Kilo-Bit pro Sekunde sind enge Grenzen gesetzt. Bildauflösung und Bildrate müssen herabgesetzt werden. Das gleiche gilt für Übertragung von Video-Daten über Telefonleitungen.

Im Hinblick auf die hohe Datenübertragungsrate hat man 3 Grundmethoden etabliert, um Video-Bilder auf eine PC-Plattform zu bringen.

Die erste Methode löst das Problem dadurch, daß das Videobild direkt auf dem Bildschirmfenster dargestellt wird, ohne daß es durch den PC Bus und Speicher übertragen wird.

Die zweite Methode basiert darauf, daß die Bandbreite des Busses durch den Einsatz von Super-Computern erhöht wird.

Die dritte Methode löst das Problem der hohen Datenübertragungsrate durch Datenkompression. Datenkompression zielt darauf ab, daß die Datenübertragungsrate ohne nennbaren Qualitätsverlust soweit reduziert wird, daß die bestehende Bandbreite des Busses voll ausgenutzt wird. Alle Datenkompressionsverfahren für die Bilddarstellung basieren auf der Erkenntnis, daß das Gehirn weniger Bildinformationen verarbeiten kann, als das menschliche Auge aufnimmt. Demzufolge kann die Datenkompression soweit durchgeführt werden, daß eine qualitative Reduzierung des Bildes für das Gehirn nicht wahrnehmbar ist. Hierbei werden weniger relevante Informationen bei der Datenübertragung einfach vernachlässigt.

Es gibt zwei Arten der Datenkompression, nämlich die verlustfreie und die verlustbehaftete Datenkompression.

Video- und Audiosignale enthalten redundante Informationen, die miteinander verbunden und verdichtet werden, ohne daß ein Qualitätsverlust des Bildes eintritt. Der Datenkompressionsfaktor liegt zwischen 1.5 : 1 und 3 : 1. Im Gegensatz dazu werden bei der verlustbehafteten Datenkompression Signalinformationen, die für die Wahrnehmung unwichtig sind, nicht weiter übertragen. Der Vorteil hier ist ein hoher Kompressionsfaktor. Der Nachteil liegt darin, festzustellen, was für die Wahrnehmbarkeit wichtig oder weniger wichtig ist. Was wichtig oder weniger wichtig ist wird von dem Kodierer/Dekodierer festgelegt. Der Kodierer kann die Datenkompression entweder nach einzelnen Bildern (Intraframe Compression) oder zwischen mehreren Bildern (Interframe Compression) oder in der Kombination beider Verfahren durchführen.

Bei der Datenkompression nach einzelnen Bildern existieren mehrere Techniken, die in ihrer Kombination bzw. ihrer Anordnung den Datenkompressionsfaktor und die Kompressionsqualität bestimmen. So gibt es als Kompressionstechniken unter anderem das Filtern, Farbentrennumwandlung, Scaling, Transformierung und Lauflängenkodierung.

Beim Filtern wird das Bild nicht direkt komprimiert, sondern statt dessen soll das Bild für die Datenkompression vorbereitet werden. Dies geschieht im Regelfall dadurch, daß hohe Frequenzen einfach eliminiert werden.

Bei der Farbentrennumwandlung steht die Erkenntnis im Hintergrund, daß das menschliche Auge Farbunterschiede schwerer wahrnehmen kann als Helligkeitsunterschiede. Deshalb wird das Bild in eine Luminance-Komponente und zwei Chrominance-Komponenten unterteilt. Die Chrominance-Komponenten werden dann mit einer geringeren Auflösung ausgewertet.

Beim Scaling werden die drei Parameter Auflösung, Farbtiefe und Bildrate geändert.

Die Transformation basiert auf der sogenannten DCTs: Kosinus-Transformation. Bei dieser Methode wird die Bildinformation in 8 × 8 Pixel Blöcke und hohe und tiefe Frequenzen unterteilt.

Bei der Lauflängenkodierung (Run-Length-Encoding) werden die Daten ohne Verlust an Informationen kodiert. Identische Bits werden durch Nummern (z. B. 1111222 durch 4132) ersetzt.

Bei der Datenkompression nach Bildsequenzen geht man von der Erkenntnis aus, daß bei laufenden Videobildern die größte Datenredundanz nicht im einzelnen Bild, sondern zwischen mehreren Bildern einer Sequenze liegt. Viele Pixels ändern sich von Bild zu Bild oft nur unmerklich oder überhaupt nicht, so daß nur die Unterschiede zwischen den einzelnen Bildern und nicht die einzelnen Bilder selbst kodiert werden müssen.

MPEG hat sich als Standard zur Datenkomprimierung und Dekomprimierung von Audio- und Videobildern, insbesondere von auf CD gespeicherten Bildern, international durchgesetzt. MPEG basiert auf der Kombination der oben beschriebenen Komprimierungsverfahren (Intraframe Compression und Interframe Compression). Mit MPEG kann eine Datenrate von 1.856.000 Bits pro Sekunde verarbeitet werden.

MPEG erfordert im Hinblick auf die Durchführung der Kosinus-Transformation eine hohe Rechenleistung. Ein weiterer Nachteil des MPEG Verfahrens liegt darin, daß die maximal erreichbare Kompression wegen der möglichen örtlichen und zeitlichen Kompression bei vorgegebener Auflösung und Bildrate begrenzt ist. Beim MPEG besteht zudem die Notwendigkeit, das Bild in regelmäßigen Abständen vollständig aufzubauen.

Es ist daher Gegenstand der vorliegenden Erfindung, eine Vorrichtung und Verfahren vorzuschlagen, bei dem die wahrnehmungsphysiologischen Aspekte des menschlichen Gehirns bei der Wahrnehmung von Bild- und Toninformationen in noch stärkerem Maße bei der Datenübertragung berücksichtigt werden, so daß die zu übertragende Datenmenge weiter reduziert und die Rechenleistung verringert werden kann, ohne daß sich die Bild- und Tonqualität merkbar verschlechtert.

Diese Aufgabe wird durch die Merkmale der unabhängigen Ansprüche gelöst. Weitere vorteilhafte Ausgestaltungen des erfindungsgemäßen Verfahrens sind in den Unteransprüchen niedergelegt.

Die Vorteile der vorliegenden Erfindung liegen in der wahrnehmungsoptimierten Priorisierung der zu übertragenden Bilddaten. Die Bildübertragung erfolgt so, daß die Wahrnehmung der Bildfolge, insbesondere die weitgehend unabhängige Erfassung von Helligkeit, Farbe, Konturen und Bewegung im Vordergrund steht. Durch Ausnutzen von Maskierungseffekten kann auch bei niederen Datenraten subjektiv hohe Videoqualität erreicht werden.

Die Bildauflösung ist bei dem vorgeschlagenen Verfahren lastabhängig. Im Rahmen der verfügbaren Bandbreite und der zu übertragenden Bildinformation werden vorrangig die signifikanten Bits großer Strukturen, nachrangig die niederwertigen Bits feiner Strukturen übertragen. Bei hoher Last erscheinen geänderte Bildelemente etwas vergröbert. Statische Bilder werden unverfälscht dargestellt. Reduktion der Daten erfolgt durch nachrangige Behandlung feiner Strukturen. Im Gegensatz zu Filtertechniken gehen Daten nur verloren, wenn die Übertragungskapazität erschöpft ist und eine Maskierung durch höherwertige Daten erfolgt.

Die vorliegende Erfindung basiert auf einer wahrnehmungsoptimierten Datenübertragung. Hierbei werden folgende physiologische Aspekte der Wahrnehmung von Bildinformationen durch das menschliche Gehirn in stärkerem Maße berücksichtigt als bei herkömmlichen Kompressionsverfahren. Optische Wahrnehmung stellt das Ergebnis der neuro-physiologischen Verarbeitungskette zwischen Netzhaut und Bewußtsein dar. Eine Vielzahl von Mechanismen sorgen dafür, daß trotz stark begrenzter Verarbeitungskapazität die Bildwahrnehmung innerhalb einiger 10 msec erfolgt. Während zwischen Bild und Bildinformation ein eindeutiger Zusammenhang besteht, erfaßt die Wahrnehmung nur den jeweils relevanten Teil der Bildinformation. Die Wahrnehmungsrelevanz nimmt mit zunehmender Informationsdichte ab (räumlich/zeitlich). Strukturen unterhalb des Wahrnehmungshorizontes können daher zeitlich verzögert übermittelt werden, ohne daß die Wiedergabequalität des Bildes wesentlich verschlechtert wird. Das Ziel einer Bildübertragung sollte es daher sein, die Abweichung von der Wahrnehmung des Originals möglichst gering zu halten. Diese neuro-physiologischen Vorgänge bei der Wahrnehmung von Bildern bilden die Ausgangsbasis für die vorliegende Erfindung.

Die vorliegende Erfindung läßt sich wie folgt kurz beschreiben:
Es wird ein Referenzbild aufgebaut. Dieses Referenzbild wird mit jedem neuen Folgebild abgeglichen, d. h. es werden Differenzbilder erzeugt. Die Differenzbilder enthalten die Bildunterschiede zwischen jedem Folgebild und dem Referenzbild. Die Bildelemente, die Bildunterschiede repräsentieren, erhalten eine Priorität. Je nach Rangfolge der Priorität werden diese Bildelemente zum Empfänger übertragen. Bildelemente werden durch Blöcke mit einer bestimmten Anzahl von Bit-Information repräsentiert. Kantenlänge und Bit-Anzahl des jeweiligen Blocks bestimmen die Priorität. Großer Block mit vielen Bits wird als wichtig in der Prioritätsreihenfolge eingestuft und wird zur Auffrischung des Hauptbildes übertragen. Kleiner Block mit wenig Bits hat eine geringe Priorität und wird mit einer geringeren Priorität berücksichtigt. Werden zum Beispiel pro Bildrate nur 100 Prioritäten berücksichtigt, werden die 101, 102 Priorität zurückgestellt und bei einer späteren Bildrate berücksichtigt, soweit nicht wichtigere Prioritäten berücksichtigt werden müssen. Die Priorisierung von zu übertragenden Bilddaten erlaubt auf relativ einfache Weise eine Datenreduzierung im Vergleich zum Stand der Technik. Denn bei den gängigen Komprimierungsverfahren (JPEG, MPEG) werden pro Bildrate alle Differenzbilddaten übertragen.

Das vorliegende Verfahren zur Durchführung der vorliegenden Erfindung setzt sich aus folgenden Schritten zusammen:

1. Das aktuelle Bild wird sowohl vom Sender als auch vom Empfänger gespeichert.
2. Das neue Bild wird als strukturiertes Differenzbild gespeichert. Dies erfolgt dadurch, das von jedem Pixel der Differenzwert zu seinem Ankerpixel in der übergeordneten Struktur erfaßt wird. Die Ankeradresse wird durch Nullsetzen von Bits der Pixeladresse erzeugt. Dadurch verringert sich im Mittel die Anzahl der zu übertragenden Bits pro Pixel.
3. Der Aufbau eines strukturierten Differenzbildes erlaubt eine schnelle Annäherung an das reale Bild: Untergeordnete Strukturen können mit dem Pixelwert des schon verfügbaren Ankerpixels dargestellt werden. Die Änderung eines Pixels bewirkt auch eine Änderung aller Pixel des dazugehörigen Blockes.
4. Der blockweise Aufbau des Differenzbildes bewirkt im realen Bild ein Zurücksetzen auf den Wert des übergeordneten Ankerpixels. Das Setzen von Blöcken ist auch sinnvoll, wenn sich der Aufwand zur Änderung gegenüber dem Zugriff auf einzelne Pixels verringert. Dies hängt von der Wahrscheinlichkeit des Auftretens von Strukturen ab, die sich aus der Änderung der drei Hauptpixel abschätzen läßt. Ändern sich die Bildwerte der 3 Hauptpixel (bei großen Strukturen müssen entsprechend mehr Pixel getestet werden) gegenüber dem aktuellen im gleichen Sinne und der gleichen Größenordnung, so ist der Block zu erneuern.
5. Durch Löschen von Blöcken lassen sich entwertete Bereiche schnell aus dem Bild entfernen. Pixel, deren Differenzbetrag sich gegenüber dem aktuellen Bild verringert hat oder deren Wert schon null war, gelten als entwertet. Entsprechendes gilt für Blöcke, bei denen alle Unterblöcke entwertet sind. Dabei ist neben der vollständigen auch eine selektive Löschung möglich, bei der nur niederwertige Bits zu Null gesetzt werden oder nur Pixel unterhalb einer bestimmten Strukturebene.
6. Prioritätssetzung zum Aufbau bzw. zur Anpassung des aktuellen Bildes: Die Abweichungen zwischen dem realen und dem aktuellen Bild werden nach Strukturebene und Anzahl der signifikanten Bits bewertet, um große und kontrastreiche Strukturen vorrangig zu erfassen. Die Priorisierung nach "Struktur und Bits" kann verfeinert werden, indem die niederwertigen Bits geringer bewertet werden, da diese in stärkerem Maße durch Bildrauschen bedingt sind.
7. Die so gefundenen Werte (Prioritäten) werden mit ihrer Adresse in einer Prioritätenliste festgehalten. Ist die Liste voll, so muß für jeden neuaufzunehmenden Kandidaten derjenige mit der geringsten Priorität ausscheiden. Die jeweils niedrigsten Werte innerhalb einer Prioritätsliste ermöglichen es, frühzeitig eine große Auswahl von Werten in kleinen Strukturen von der weiteren Suche auszuschließen.
8. Die Kandidaten werden auf unterschiedlichliche Weise kodiert: Hierzu wird eine nach Priorität geordnete identische Liste der Bildelemente beim Sender und Empfänger geführt. Ist ein Kandidat bereits in der Liste enthalten, so wird der Wert angepaßt. Hat sich die Priorität geändert, so muß das Bildelement neu eingeordnet werden. Bildelemente, deren Nachbarn in der Liste enthalten sind, werden als Lauflängencode in der Liste adressiert und mit ihrem Wert in der Liste eingeordnet. Die optimale Länge des LL-Codes kann optimiert werden entsprechend der Prioritätsebene und der Dichte der Werte höherer Priorität.
9. Zur Übertragung werden zunächst die LL-Codes der neuen Werte höherer Priorität gesendet. Darauf folgen die Werte mit Nachbarn. Schließlich werden verbleibende Bits aus der Liste abgerufen. Enthält ein Bildelement keine Information mehr, so bleibt es noch für eine Anzahl von Bildzyklen in der Liste. Auf diese Weise kann es zur Adressierung von Nachbarn dienen.
10. Die so aufbereiteten Daten werden übertragen. Die Daten werden dekodiert und beim Sender zur Aktualisierung des Bildspeichers genutzt.
11. Die empfangenen Kandidaten markieren die Blöcke des aktuellen Bildes, die auf den Bildschirm übertragen werden müssen. Nur diese Teile müssen neu geschrieben werden, was die Anforderungen an die interne Datenübertragung verringert. Nur bei Szenenwechsel und bei schneller Bewegung muß ein größerer Teil des Bildschirms neu beschrieben werden. In diesem Fall besteht die Möglichkeit, unerledigte Kandidaten bis zum nächsten Bildzyklus zu speichern.
12. Wenn der Wert eines Flächenelementes (z. B. Quadrat) geändert wird, so ist eine Glättung des Übergangs zu den Nachbarbereichen erforderlich um das Entstehen von Artefakten zu verhindern. Deshalb ist ein linearer Übergang zum Füllen des Flächenelementes zu erzeugen, so daß ein linearer Verlauf zwischen benachbarten Eckpunkten entsteht. Ist ein linearer Verlauf zwischen zwei Ecken nicht möglich, weil das benachbarte Feld unterteilt ist, so muß das Flächenelement vor der Glättung solange unterteilt werden bis ein solcher möglich wird.

Die vorliegende Erfindung wird anhand eines bevorzugten Ausführungsbeispiels dargestellt und erläutert, wobei

Fig. 1A und 1B den Bildspeicheraufbau für die vorliegende Erfindung beschreiben.

Fig. 2 die Erfindung an Hand eines Blockschaltbildes beschreibt.

Fig. 3 die der Erfindung zugrundeliegende wahrnehmungsoptimierte Kompression anhand einer Prinzipzeichnung beschreibt.

Fig. 1A zeigt einen Bildspeicher, der nach Zeilen und Spalten und Bit-Ebenen untergeordnet ist. Es werden Beispiele für das Zusammenfassen von Bildelementen zu Blöcken (benachbarte Bildelemente) und übergeordnete Blöcke dargestellt.

Die Blockbildung dient vor allem dazu, Adressierungsinformation bei der Einzelbildelementübertragung zu sparen. Wenn mehrere Pixel in einem Block zusammengefaßt werden, dann braucht der Block nur einmal adressiert zu werden. Der Block erhält als Bildwert den Ankerpixelwert. Die Priorität des Blockes ist um eine Priorität gegenüber der niedrigsten Priorität der im Block enthaltenen Bildelemente erhöht. Das gleiche gilt für benachbarte Blöcke, die zu einem größeren Block zusammengefaßt werden. Die Priorität des größeren Blockes erhöht sich um eine Priorität gegenüber der niedrigsten Priorität der enthaltenen Blöcke.

Demgegenüber zeigt Fig. 1B die Darstellung eines Adressraums. Der Adressraum ist wiederum eingeteilt in die Bit-Ebenen sowie die Anzahl der zur Adressierung in x und y Richtung nötigen Bits. Ein Beispiel für eine Prioritätszuordnung ist dargestellt, das eine Folge von Prioritäten nach Blockgröße und signifikanten Bits zeigt.

Bitebenen und Struktur-Prioritätsliste

Die Priorität für die einzelnen Bildelemente kann als die Summe von Struktur-Level und Bitebene definiert werden. Das bedeutet, daß ausgedehnte helle konturreiche Objekte mit einer hohen Priorität, während kleine konturschwache Details mit einer geringen Priorität berücksichtigt werden. In Fällen von ähnlicher Strukturgröße bestimmt die Helligkeit (Kontrast, Farbe) die Priorität. Jedes Paar von Struktur und Bit-Planebene erhält innerhalb der Prioritätsliste einen Prioritätswert. Für kleine Strukturen mit vielen Pixeln wird innerhalb der Prioritätsliste eine Untergruppe gebildet. Dies erlaubt eine Vereinfachung der Bildverarbeitung durch Überspringen nicht relevanter Daten. Daten mit geringer Priorität werden solange geprüft, solange keine höherwertigen Prioritäten vorhanden sind. Die Priorität innerhalb eines Strukturfeldes hängt von der Entfernung zwischen der Struktur und dem Bildschirmzentrum ab.

Um eine Zeichenkette zu übertragen, werden die Kandidaten mit der höchsten Priorität ausgewählt. Hierdurch wird die tatsächliche Struktur und Bit-Ebene-Level definiert. Basierend darauf kann eine Baumstruktur gebildet werden, welche Kandidaten von benachbarten Speicherzellen (z. B. Bit-Blocks, Unterstrukturen, Nachbarn) enthalten. Kandidaten innerhalb der Baumstruktur werden mit der Zugriffsinformation übertragen. Dieses Verfahren wird solange wiederholt, bis die Prioritätsliste erschöpft ist.

Zugriffsbaum

Ein Aussagemodell in Form einer Baumstruktur kann verwendet werden, um die Bildstruktur darzustellen. Folgende Aussagen können gemacht werden:

1. Von den Kandidaten mit der höchsten Priorität kann ein Maximum an Werten zugegriffen werden.
2. Ein Block mit Pixels kann ein Kandidat sein, wenn die benachbarten Ankerwerte einen Wert ungleich Null haben.
3. Ein benachbarter Block kann ebenfalls ein Kandidat sein, wenn die Pixel entlang der Grenze einen Wert ungleich Null haben.

Ein einfaches Testbit ist ausreichend um festzustellen, ob der Zugriff auf Kandidaten fortgesetzt werden kann oder nicht. Kandidaten, die nicht im Aussagemodell enthalten sind, müssen separat zugegriffen werden. Ein optimiertes Modell kann den Zugriffsaufwand verringern.

Fig. 2 zeigt die vorliegende Erfindung an Hand eines Blockdiagrammes. Die vorliegende Erfindung läßt sich in drei Verfahrensteile einteilen, nämlich in ein Bildanalyse-Verfahren, ein Kompressions- und ein Dekompressionsverfahren.

Bildanalyseverfahren

Die eingehenden Bilddaten werden digitalisiert und mit den Bilddaten eines Referenzbildes verglichen. Die Unterschiede zwischen dem eingehenden und dem Referenzbild werden auf ihre Priorität für die Wahrnehmung hin bewertet. Die Priorität hängt von der Helligkeits-Farbdifferenz sowie von der Größe des jeweiligen Bildblocks ab. Das Referenzbild wird in vorteilhafter Weise derart kodiert, daß jeder Punkt des Referenzbildes sich als Differenz zwischen Bildwert und einem Bildwert in einer übergeordneten Hierarchiestufe dargestellt ist. Folglich ergibt sich daraus eine Rangfolge von Prioritäten, die in einer Prioritätenliste aufgelistet werden.

Kompressionsverfahren

Das eingehende Bild - das mit dem Referenzbild verglichen werden soll - wird vorzugsweise in gleicher Weise wie das Referenzbild kodiert. Dies erfolgt dadurch, daß von jedem Pixel der Differenzwert zu seinem Ankerpixel in der übergeordneten Struktur erfaßt wird. Die Ankeradresse wird durch Nullsetzen von Bits der Pixeladresse erzeugt. Dies hat den Vorteil, daß die Anzahl der signifikanten Bits eines jeden Bildpunktes reduziert wird, so daß die zu übertragende Datenmenge reduziert wird. Außerdem lassen sich durch einfaches zu-Null-setzen Strukturen löschen. Es werden jetzt in der Reihe ihrer Prioritäten die in der Bildanalyse herausgefundenen Bilddifferenzen zusammen mit ihrer Adresse in einem Speicher (ADR/VAL) abgelegt. Ebenfalls gespeichert ist die Reihenfolge der Bilddifferenzen. Im Hinblick auf die zu übertragenden Bilddifferenzen-Bits und ihre Adressen wird der Speicherinhalt ADR/VAL zum Aufbau der zu übertragenden Bits ausgewertet. Dieselbe Information wird auch zur Auffrischung des Referenzbildes verwendet. Die übertragenen Bilddifferenzen-Bits werden aus dem Speicher gelöscht. Dadurch sinkt die Priorität des Bildelementes für die weitere Verarbeitung. Ist die Differenz zwischen dem eingehenden Bild und dem Referenzbild gleich null, so kann das Element einschließlich Adresse sowie Position der Bildfolge gelöscht werden. Liegen keine Differenzwerte vor, deren Prioritätswerte höher als die höchsten im Speicher niedergelegten Prioritäten sind, so können die zu den gespeicherten Werten zugehörigen Bildelemente verfeinert werden. Die Verfeinerung kann im Hinblick auf eine Unterstruktur - kleinere Blockgröße - sowie auf das Vorhandensein benachbarter Blöcke durchgeführt werden. Wenn sie vorhanden sind, so werden sie in den Speicher eingelesen und aus der Prioritätsliste gelöscht.

Dekompressionsverfahren

Beim Dekomprimieren werden der Speicher für Adresse und Werte bzw. Folge der Werte bzw. wieder aufgebaut oder ergänzt. Die so erhaltenen Differenzwerte werden zum Referenzbild addiert. Das Referenzbild wird einer Nachbearbeitung unterzogen, z. B. die Kanten nicht unterteilter Blöcke werden geglättet.

Erläuterung der Fig. 2

Encoder - analysiert Abweichung zwischen aktuellem Bild und dem Bild im D-S Speicher. Graphische Objekte werden nach Priorität geordnet. Die Adressfolge innerhalb der Objekte wird bestimmt. Bildelemente werden mit Adresse und Restbits gespeichert.

Decoder - analysiert Datenstrom zur Ergänzung des DSS. Rekonstruiert Adressfolge und Adressspeicher (nur beim Empfänger).

D-S Speicher - Bildspeicher mit hierarchischer Blockstruktur. Erlaubt dynamische Anpassung von Auflösung und Bittiefe, sowie Priorisierung von Bildelementen.

Integrator - erzeugt darstellbares Bild aus Wertes des DSS.

Prior - Prioritätsspeicher für graphische Objekte.

Folge - Speicher für Adressfolge innerhalb der Objekte.

Adr-Val - Bildelementadressen und Restbits.

Nach - Nachverarbeitung, z. B. Flächeninterpolation.

Fig. 3 zeigt die Kompression anhand einer Prinzipdarstellung.

Die Kompression läßt sich in folgende einzelne Schritte zerlegen:

1. Es kommt ein neues Videobild 1 von einer Videokamera; das Videobild wird im Speicher 1 abgespeichert.
2. Das Referenzbild ist im Speicher 2 abgelegt.
3. Die Ankeradresserzeugung erfolgt aus Pixeladresse durch Nullsetzen von Bits.
4. Die Bilddifferenzbildung erfolgt in örtlicher und zeitlicher Variation; örtliche Variation ergibt sich aus der Subtraktion von Ankerpixel mit Pixel.
5. Zeitliche Variation ergibt sich aus Vergleich Neubild 1 mit Referenzbild 2, basierend auf der örtlichen Variation.
6. Vorrangsspeicher 6 speichert Bilddifferenzen mit den Adressen.
7. Lokator 7 allokiert den Platz der entsprechenden Bilddifferenz im Vorrangsspeicher 6; der Lokator benötigt hierzu Informationen aus dem Prioritätsgenerator 8.
8. Der Prioritätsgenerator 8 vergibt die einzelnen Prioritäten; er bekommt Informationen aus der Blockanalyse 9 und vom Vorrangregler 10.
9. Der Vorrangregler 10 setzt höchste Priorität in den Vorrangspeicher 6.
10. Im Objektspeicher 11 werden die Werte und Adressen nach Prioritäten abgelegt. Das Übertragungs-Bit 12 steht in der Priorität an 1. Stelle im Objektspeicher 11.
11. Das Übertragungs-Bit 12 überträgt das wichtigste Bit, das am 1. Platz steht.
12. Restbyte aus dem Objektspeicher 11 wird in niedere Priorität verlagert.
13. Wird die Prioritätsgrenze 14 erreicht, aktivieren Vorrangregler 10 und Sequenzkontrolle 17 den Bitprozessor 15.
14. Der Bit-Prozessor 15 verbessert das Referenzbild 2 und stellt Bits zur Übertragung bereit.
15. Die Sequenzkontrolle 17 fügt, wo notwendig, Adressinformation in den Datenstrom mit ein.
16. Transferbuffer 18 für Übertragen oder Speichern der Zeichenkette für das erste Bild.
17. Bildbearbeitungszyklus 20 - zur Bearbeitung eines Einzelbildes.
18. Fortlaufende Bildadressierung zum Aufbau des Vorrangspeichers.
19. Selektive Adressierung zur Detailanalyse.

Die vorliegende Erfindung wurde bisher nur im Hinblick auf die Übertragung von Bilddaten dargestellt. Es liegt jedoch nahe, daß die wahrnehmungsoptimierte Übertragung von Video-Daten in analoger Weise auf die Übertragung von Audio-Daten übertragen werden kann. Hierbei werden als wahrnehmungsrelevante Informationen die Amplitude und die Größe der Änderung des Frequenzspektrums des Audio-Signals definiert. Ansonsten kann das für Video-Daten geschilderte Verfahren analog auf die Übertragung von Audio-Daten angewandt werden. Hinsichtlich der Hardware, die der vorliegenden Erfindung zugrunde liegt, läßt sich folgendes ausführen:

Prozessor

Das Kodieren und Dekodieren erfordern eine hohe Rechenleistung, die jedoch durch die selektive Auswahl von Bilddaten wieder reduziert werden kann.

Ein programmierter Prozessor mit der Leistung eines 80486 Prozessors wäre für die Ausführung der vorliegenden Erfindung ausreichend.

Speicher

Um ein 640 × 400 Byte-Bild zu speichern ist ein Buffer von 256 Kbyte erforderlich. Eine Tabelle für Farbkoordinaten-Umwandlung braucht ca. 64 Kbyte. Das Programm und die kleineren Daten-Buffer benötigen ca. 64 Kbyte zusätzlichen Speicherbedarf. Das heißt, daß das Programm auf einer einfachen DOS-Maschine laufen kann.

Bilddigitalisierer

Der Bilddigitalisierer sollte in der Lage sein, die erforderlichen Teile eines Bildes innerhalb der erforderlichen Zeit zum Systemspeicher zu senden. Ein Interface, das die Übertragung von 8 Mbyte von einer Speicherkarte erlaubt, erlaubt das Senden von 40 Kbtye von Daten innerhalb 5 Millisekunden.

Video-Monitor

Bildschirme mit einem Video-Bus werden keine Probleme haben, die Bildteile in Echtzeit zu übertragen. Der Bildschirm sollte jedoch in der Lage sein, TV-Bildqualität zu erzeugen.

Audio und andere Daten können in Echtzeit durch entsprechende Adapter-Karten verarbeitet werden.

Seriell-Adapter, Modem

Obgleich die beschriebene Video-Kodierungstechnik auf ISDN-Datenraten ausgerichtet ist, ist eine Übertragung mit geringer Bildqualität über ein serielles Interface und Modem möglich.

Claims

1. Verfahren zur wahrnehmungsoptimierten Übertragung von Videodaten, gekennzeichnet durch folgende Schritte:
Digitalisieren von Bilddaten eines Senders (Referenzbild)
Digitalisieren von Bilddaten eines Folgebildes eines Senders
Vergleichen Folgebild mit dem Referenzbild auf Bildunterschiede
Ordnen der Bildunterschiede nach wahrnehmungsrelevanten Bildinformationen in einer Prioritätsliste
Übertragen der Bildunterschiede in der Reihenfolge ihrer Priorität zu einem Empfänger
Aktualisieren des Bildes beim Empfänger und Sender.

2. Verfahren nach Anspruch 1 dadurch gekennzeichnet, daß das Bild und das Folgebild als strukturiertes Differenzbild gespeichert werden, in dem jeder Bildwert eines Pixels vom Bildwert eines Ankerpixels einer höheren Struktur subtrahiert ist, wobei die Ankeradresse durch Nullsetzen von Bits der Pixeladresse erzeugt wird.

3. Verfahren nach Anspruch 1 oder 2 dadurch gekennzeichnet, daß die Helligkeit- und Farbinformation eines Bildes getrennt verarbeitet werden.

4. Verfahren nach Anspruch 1 oder 2 dadurch gekennzeichnet, daß als wahrnehmungsrelevante Informationen Größe des Bildelementes, Helligkeits- und Farbdifferenz und Löschungsbedarf definiert sind.

5. Verfahren nach Anspruch 1 bis 4 dadurch gekennzeichnet, daß die Prioritätszuordnung für die Bildunterschiede im wesentlichen nach Größe des Bildelementes und der relevanten Anzahl der Bits erfolgt.

6. Verfahren nach Anspruch 1 bis 5 dadurch gekennzeichnet, daß jedem Bildelement (Bildunterschied) ein Bildwert und eine Priorität zugeordnet wird.

7. Verfahren nach Anspruch 1 bis 6 dadurch gekennzeichnet, daß benachbarte Bildelemente zu einem Block zusammengefaßt werden, wobei die Priorität des Blockes sich um eine Priorität gegenüber der niedrigsten Priorität der im Block enthaltenen Bildunterschiedspunkte erhöht.

8. Verfahren nach Anspruch 1 bis 7 dadurch gekennzeichnet, daß benachbarte Blöcke zu einem größeren Block zusammengefaßt werden, wobei die Priorität des größeren Blockes sich um eine Priorität gegenüber der niedrigsten Priorität der enthaltenen Blöcke erhöht.

9. Verfahren nach Anspruch 1 bis 8 dadurch gekennzeichnet,
daß auf der Sender- und der Empfängerseite eine Liste mit Prioritäten geführt wird,
daß für den Fall, daß die Prioritätsliste voll ist, für jede neuaufzunehmende Priorität die geringste Priorität aus der Prioritätsliste ausscheidet, oder
daß für den Fall, daß einem Bildunterschiedspunkt schon eine Priorität zugeordnet ist, entweder der Bildwert angepaßt wird oder dem Bildunterschiedspunkt eine neue Priorität innerhalb der Prioritätsliste zugeordnet wird.

10. Verfahren nach Anspruch 1 bis 9 dadurch gekennzeichnet, daß die Bildwerte der Bildunterschiedspunkte im Lauflängencode kodiert werden.

11. Vorrichtung zur wahrnehmungsoptimierten Übertragung von Video-Daten zur Durchführung eines Verfahrens nach Anspruch 1 bis 10 enthaltend zumindest
einen Analog-Digital-Wandler,
Speicher für die Speicherung des Referenzbildes, des Folgebildes, der Bildunterschiede mit den Adressen und Prioritätsliste,
einen Mikroprozessor zum Steuern, Einlesen und Kodieren der Videodaten,
Kodierer und Dekodierer.

12. Verfahren zur wahrnehmungsoptimierten Übertragung von Audiodaten gekennzeichnet durch folgende Schritte:
Digitalisieren eines Audio-Signals eines Senders (Referenz-Signal)
Digitalisieren eines Folge-Audio-Signals eines Senders
Vergleichen Folge-Audio-Signal mit Referenz-Signal auf Änderungen im Frequenzspektrum
Ordnen der Änderungen im Frequenzspektrum nach wahrnehmungsrelevanten Audio-Informationen in einer Prioritätsliste
Übertragen der Änderungen im Frequenzspektrum in der Reihenfolge ihrer Priorität zu einem Empfänger
Rekonstruieren des Audio-Daten-Signales auf der Empfänger- und der Senderseite.

13. Verfahren nach Anspruch 12 dadurch gekennzeichnet, daß das Audio-Signal in einer Form gespeichert wird, in dem jeder Audio-Wert einer bestimmten Adresse (Ausgangsadresse) vom Audio-Wert einer Adresse einer höheren Struktur subtrahiert wird, wobei die höhere Adresse durch Nullsetzen von Bits der Ausgangsadresse erzeugt wird.

14. Verfahren nach Anspruch 12 oder 13 dadurch gekennzeichnet, daß als wahrnehmungsrelevante Informationen Abtastlänge und Amplitudengröße definiert sind.

15. Verfahren nach Anspruch 12, 13 oder 14 dadurch gekennzeichnet, daß die Prioritätszuordnung für die Änderungen im Frequenzspektrum im wesentlichen nach Abtastlänge und Anzahl der Bits erfolgt.

16. Verfahren nach Anspruch 12 bis 15, dadurch gekennzeichnet, daß jeder Änderungspunkt im Frequenzspektrum einen Audio-Wert und eine Priorität zugeordnet bekommt.

17. Verfahren nach Anspruch 12 bis 16 dadurch gekennzeichnet, daß benachbarte Änderungspunkte im Frequenzspektrum zu einem Block zusammengefaßt werden, wobei die Priorität des Blockes sich um eine Priorität gegenüber der niedrigsten Priorität der im Block enthaltenen Änderungspunkte erhöht.

18. Verfahren nach Anspruch 12 bis 17 dadurch gekennzeichnet, daß benachbarte Blöcke zu einem größeren Block zusammengefaßt werden, wobei die Priorität des größeren Blockes sich um eine Priorität gegenüber der niedrigsten Priorität der enthaltenen Blöcke erhöht.

19. Verfahren nach Anspruch 12 bis 18 dadurch gekennzeichnet,
daß auf der Sender- und Empfängerseite eine Liste mit Prioritäten geführt wird,
daß für den Fall, daß die Prioritätsliste voll ist, für jede neuaufzunehmende Priorität die geringste Priorität aus der Prioritätsliste ausscheidet, oder
daß für den Fall, daß einem Änderungspunkt des Frequenzspektrums schon eine Priorität zugeordnet ist, entweder der Audio-Wert angepaßt wird oder dem Änderungspunkt des Frequenzspektrums eine neue Priorität innerhalb der Prioritätsliste zugeordnet wird.

20. Vorrichtung zur wahrnehmungsoptimierten Übertragung von Audio-Daten zur Durchführung eines Verfahrens nach Anspruch 12 bis 19 zumindest enthaltend
einen Analog-Digital-Wandler,
einen Speicher zur Speicherung des Referenzsignals, des Folge-Audio-Signals, der Änderungen im Frequenz-Spektrum mit den Adressen und der Prioritätsliste,
Mikroprozessor zum Steuern, Einlesen und Kodieren der Audio-Daten,
Kodierer und Dekodierer.

21. Datenträger zur Speicherung eines Computerprogramms zur Ausführung eines Verfahrens nach Anspruch 1 bis 10 und/oder Anspruch 12-19.