DE3828908A1 - Bilduebertragungssystem - Google Patents

Description

Die vorliegende Erfindung betrifft Bildübertra­ gungssysteme (wie Bildfunkübertragungssysteme) und Verfahren zum Codieren und Decodieren von Videosignalen für derartige Systeme.

Bildübertragungssysteme zum Videoconferencing und zur Videotelephonie erfordern die Übermittlung von Bildinformation mit geringer Bitrate, die typischerweise bei 64 kbit/s liegt. Die über derartige Systeme übertra­ gene Bildinformation muß eine akzeptable Auflösung von Bilddetails sowie eine akzeptable Frequenz bei der Aktualisierung und Aufbereitung, dem sogenannten Updating beim Empfänger ermöglichen. Aus diesem Grund können zu übertragende Bilder so dargestellt werden, daß sie zur Codierung als Aufeinanderfolge von Bildübertragungs­ rahmen oder -übertragungsblöcken, d. h. Teilbildern, die jeweils aus 288 Zeilen von 360 Pixeln oder Pels (picture elements = Bildelementen) mit einer Rate von zehn Rahmen oder Übertragungsblöcken pro Sekunde geeig­ net sind. Wenn die Helligkeit (Leuchtdichte) und Farbe jedes dieser Pixel überhaupt genau wiedergegeben werden soll und zurückgewinnbar sein sollen, würde eine volle Codierung der Aufeinanderfolge von Bildrahmen die Not­ wendigkeit einer Datenrate von 10 Mbit/s oder mehr be­ dingen. Es ist klar, daß nur ein sehr geringer Bruchteil dieser Daten über einen Kanal mit 64 kbit/s übertragen werden könnte.

Die Reduktion der Datenrate kann durch Ausnutzung von räumlicher oder örtlicher Redundanz innerhalb der individuellen Rahmen oder Blöcke und zeitlicher Redun­ danz zwischen aufeinanderfolgenden Rahmen oder Blöcken erzielt werden. Eine Art der vorteilhaften Nutzung der zeitlichen Redundanz besteht darin, jeden laufenden oder augenblicklichen Rahmen in Blöcken von 8 × 8 Pixeln zu zerlegen und bezüglich jedes derartigen Blockes in einem Bereich des darauffolgenden Rahmens in einem "Suchfenster" von beispielsweise ±7 auf dem unter Prüfung stehenden Block zentrierten Pixeln nach einem ähnlichen Block zu suchen, um irgendeine Bewe­ gung der Bildelemente zwischen den Rahmen zu identi­ fizieren. Dann kann ein Bewegungsvektor, der jeden Block einem ähnlichen Block im darauffolgenden Rahmen zuordnet (Mapping Vektor) mit jedem Block assoziiert werden, d. h. jedem Block zugeordnet werden. Diesem Schema folgend ist es möglich, den darauffolgenden Rahmen durch Translation von Blöcken vom augen­ blicklichen Rahmen entsprechend den assoziierten oder verknüpften Bewegungsvektoren zu rekonstruieren. Diese Technik ist beispielsweise von S. Kappagantula und K. R. Rao in IEEE Transactions on Communications, Volume Com-33, Nr. 9, September 1985, Seiten 1011 bis 1015 beschrieben worden.

Gemäß einem Merkmal der Erfindung wird ein Verfah­ ren zur digitalen Codierung von Bildelementbewegungen in Videosignalen zwischen Übertragungsrahmen oder -blöcken angegeben, bei dem diese Bewegung mit Bezug auf einen oder mehrere von mehreren vorhergehenden Rahmen oder Blöcken (Frames) erfolgt.

Weiterhin wird durch die Erfindung ein Bildüber­ tragungssystem angegeben, in welchem die Bewegung von Bildelementen zwischen Übertragungsrahmen so arrangiert oder aufbereitet wird, daß sie in codierten Signalen zur Übertragung unter Bezug auf einen oder mehrere mehrerer vorhergehender Rahmen dargestellt wird, so daß, wenn sich die Bildinformation innerhalb des Zeit­ intervalls, das durch die mehreren Rahmen dargestellt wird, wiederholt, diese Information nicht wieder, d. h. wiederholt, codiert zu werden braucht.

Bei einer existierenden Strategie zur Wieder­ herstellung (d. h. zur Fehlerbehebung) von Bildinfor­ mation für den Fall, daß eine Fehlerübertragungsrate einen vorgegebenen Schwellwert überschritten hat, besteht die Wiederherstellung typischerweise darin, daß die Decodiereinrichtung die Codiereinrichtung durch Setzen eines Kennzeichens dazu veranlaßt, die Übertragung mit dem ersten neuen, im Intramode codier­ ten Rahmen zu beginnen. Die Decodiereinrichtung hält den letzten fehlerfreien Rahmen, bis der neue Rahmen empfangen und decodiert worden ist. Damit jedoch mit dieser Wiederherstellungsstrategie eine subjektiv akzeptable Bildqualität verarbeitet werden kann, muß die Fehlerbitrate des Kanals gering sein.

Ist beispielsweise aufgrund von Einschränkungen bezüglich des Datenkanals die Datenrate gering, so weist diese existierende Fehlerbehebungsstrategie insofern Nachteile auf, daß ein einziger im Intramode codierter Rahmen oder Übertragungsblock im Vergleich zu im Intermode codierten Rahmen subjektiv schlecht ist. In Kombination mit einer niedrigen Rahmenrate bedingt dies eine schlechte Sequenzrekonstruktion während der Fehlerbehebung.

In einem durch die Erfindung angegebenen Bild­ übertragungssystem, in welchem zu übertragende Bild­ elemente in einem Rahmen mit Bezugnahme auf einen oder mehrere von mehreren (beispielsweise acht) vorherge­ henden Rahmen codiert werden, wird die Bildwiederher­ stellung nach Fehlern in der Übertragung unter Bezug auf einen oder mehrere dieser mehreren vorhergehenden Rahmen ausgeführt.

Ferner wird nach einem weiteren Merkmal der vorliegenden Erfindung ein Übertragungssystem ange­ geben, in welchem Änderungen (oder Wechsel) von Bild­ information zwischen Rahmen oder Übertragungsblöcken so arrangiert und aufbereitet werden, daß sie in codierten Signalen unter Bezug auf einen oder mehrere von mehreren vorhergehenden Rahmen dargestellt werden, wobei Einrichtungen zur Wiederherstellung von Bild­ information nach Übertragungsfehlern vorgesehen sind, die einen neuen (frischen) Rahmen unter Bezug auf einen oder mehreren dieser mehreren vorhergehenden Rahmen codieren.

Im folgenden wird die Erfindung an Hand der Figur, die die Funktionsweise des erfindungs­ gemäßen Systems schematisch darstellt, näher erläutert.

Vorhandene Auslegungen von Codier/Decodier-Anord­ nungen (Codex) erzielen Codiereinsparungen oder Codier­ ökonomie durch Codieren der Unterschiede zwischen aufeinanderfolgenden Rahmen oder Blöcken von Bildin­ formation, und darüber hinaus wird das Differenzsignal weiterhin reduziert, indem jede mögliche Bewegung von Bildelementen, die zwischen aufeinanderfolgenden Rahmen oder Blöcken erfaßt wird, durch sogenannte "side information" in Form von Bewegungsvektoren dargestellt oder wiedergegeben wird. Jeder Rahmen oder Block ist in Teilblöcke von beispielsweise 8 × 8 Pixel oder Pels aufgeteilt, und es wird eine Suche nach dem bestpassend­ sten oder abgestimmten Teilblock im vorhergehenden Rahmen innerhalb eines Suchfensters von beispielsweise 22 × 22 Pixeln oder Pels durchgeführt. Der am besten passende Teilblock liefert dann eine Anzeige jeglicher Bewegung von Rahmen zu Rahmen oder Block zu Block.

In der vorliegenden Anordnung wird die Suche nach dem bestpassendsten oder abgestimmten Teilblock in jedem von acht vorhergehenden Rahmen, die in einem Speicher 1 festgehalten bzw. gespeichert werden, durch­ geführt. Diese ausgeweitete Suche ergibt zweierlei Vorteile. Zunächst kann jedes Bildinformationselement im gerade vorliegenden Rahmen, welches eine Wiederholung eines Elements irgendeines der vorhergehenden acht Rahmen darstellt, effektiver codiert werden. Beispiels­ weise kann ein Element im gerade vorliegenden Rahmen bereits vier Rahmen zuvor vorgelegen haben, jedoch nicht in irgendeinem der dazwischenliegenden Rahmen. Somit kann dieses Element einfacher im Decodier­ prozeß aus dem vierten Rahmen wiedergewonnen werden, als daß es erforderlich ist, dieses Element wiederum zu codieren. Der zweite Vorteil liegt darin, daß Bewe­ gungen eines Bruchteils eines Pels oder Pixels eben­ falls effizienter codiert werden können, denn, wenn eine Bewegung mit einer Geschwindigkeit von einem halben Pel oder Pixel pro Rahmen vorliegt, so wird die Bildinformation des gerade vorliegenden Rahmens zwei Rahmen zuvor oder zurück vorgelegen haben, selbst wenn sie sich nicht im unmittelbar vorhergehenden Rahmen befand. Auf diese Weise kann zuvor nicht zugreif­ bare Bildinformation mit vollständiger Decodierbarkeit codiert werden und dazu verwendet werden, das Bild beim Decodieren zu erweitern und zu verbessern, oder die Codierung mit völliger Decodierbarkeit kann effizienter ausgeführt werden, um die Datenrate inner­ halb akzeptierbarer Grenzen zu halten.

Die Bewegungsvektorinformation in der vorliegen­ den Anordnung ist insofern dreidimensional, daß sie Horizontal-Vertikal- und zeitliche Komponenten auf­ weist, und zwar wegen der Hinzufügung von drei Bit (Dreibitwort) als gültige Zeitwertinformation, (die einen von acht Rahmen anzeigt). Aus diesem Grund kann die Informationsmenge, die zu übertragen ist, signifi­ kant reduziert werden, wenn eine gute Anpassung oder Übereinstimmung für einen Block von Pels oder Pixeln in irgendeinem der acht vorhergehenden Rahmen gefun­ den werden kann. Die verwendete Suchstrategie besteht in einer logarithmischen (3stufigen oder 3-Schritt-) Suche in jedem der acht Rahmen, gefolgt von einer Ent­ scheidung bezüglich der besten Anpassung oder Ab­ stimmung von jedem Rahmen. Die Korrelationsmaßnahme für die Teilblockabstimmung (Subblock-Matching) ist der mittlere Absolutfehler (MAE = Mean Absolute Error).

Zur Wiederherstellung bzw. Fehlerbehebung am Emp­ fänger setzt die Decodiereinrichtung der Codierein­ richtung ein Kennzeichen (Flag), um anzuzeigen, welcher Rahmen verlorengegangen ist, und die codiereinrichtung bestimmt daraufhin, welchen der vorhergehenden Rahmen, die in einem Speicher 2 festgehalten, d. h. gespeichert werden, falls überhaupt geeignete Rahmen vorhanden sind, sie zur Wiederherstellung bzw. Fehlerbehebung verwenden kann. Die Anzahl von vorhergehenden Rahmen, die ver­ wendet werden können, hängt von der Schleifenverzögerung ab, die wiederum selbst von der Übertragungsweg- oder Pfadverzögerung und den Verzögerungen der Codiereinrich­ tungs- und Decodiereinrichtungshardware und -software abhängt. Je größer die Schleifenverzögerung, um so größer ist die Anzahl von Rahmen, die am Decodierer verlorengehen werden.

Die Wiederherstellung nach Fehlern in der Über­ tragung kann unter Bezugnahme auf den zuletzt empfange­ nen ungestörten Rahmen der acht Rahmen ausgeführt werden.

Mit der beschriebenen Anordnung bzw. dem beschrie­ benen Verfahren können quantitative Signal/Rausch-Gewinne (-Verstärkungen) erzielt werden und insbesondere für Mund- und Armbewegungen subjektive Verbesserungen gewonnen werden.

Claims (6)

1. Verfahren zur digitalen Codierung von Videosignalen, in welchem Bewegung von Bildelementen zwischen Über­ tragungsrahmen mit Bezug auf einen oder mehrere von mehreren vorhergehenden Übertragungsrahmen codiert wird.

2. Bildübertragungssystem, in welchem Bewegung von Bildelementen zwischen Übertragungsrahmen so arrangiert wird, daß sie in codierten Signalen zur Übertragung mit Bezug auf einen oder mehrere von mehreren vorhergehenden Rahmen dargestellt wird, so daß, wenn sich innerhalb des durch die mehreren Rahmen dargestellten Zeitinter­ valls Bildinformation wiederholt, diese Information nicht wieder codiert zu werden braucht.

3. Bildübertragungssystem, in welchem Bildinformation in bezug auf eine Aufeinanderfolge von Übertragungs­ rahmen so arrangiert wird, daß sie zur Übertragung digital codiert wird, und in welchem an einer Empfangsstation des Systems Einrichtungen zur Speicherung von Bildinfor­ mation bezüglich mehrerer Übertragungsrahmen und eine Decodiereinrichtung vorgesehen sind, die empfangene codierte Bildinformation mit Bezug auf zumindest einen der mehreren Rahmen decodiert.

4. Bildübertragungssystem, in welchem Bildinformation in bezug auf eine Aufeinanderfolge von Übertragungsrahmen, die jeweils eine Anordnung von Pixeln umfassen, zur digi­ talen Codierung für die Übertragung arrangiert wird, in welchem an einer Übertragungsstation des Systems erste Einrichtungen zur Speicherung von Bildinformation in bezug auf mehrere dieser Rahmen und Einrichtungen zur Codierung von Bildübertragungsinformation im Hinblick auf irgendeinen Rahmen mit Bezugnahme auf zumindest einen von mehreren vorhergehenden, in den ersten Speichereinrich­ tungen festgehaltenen Rahmen vorgesehen sind, und in welchem an einer Empfangsstation des Systems zweite Einrichtungen zur Speicherung von Bildinformation in bezug auf mehrere dieser Rahmen und Decodiereinrichtun­ gen vorgesehen sind, die die empfangene codierte Bild­ information mit Bezugnahme auf zumindest einen von mehre­ ren, in den zweiten Speichereinrichtungen festgehaltenen, vorhergehenden Rahmen decodiert.

5. Bildübertragungssystem, in welchem zu übertragende Bildelemente in einem Übertragungsrahmen mit Bezug auf einen oder mehrere von mehreren vorhergehenden Rahmen codiert werden und in welchem die Bildwiederherstellung nach Fehlern in der Übertragung mit Bezug auf einen oder mehrere der vorhergehenden Rahmen ausgeführt wird.

6. Bildübertragungssystem, in welchem Änderungen von Bildinformation zwischen Übertragungsrahmen so arrangiert werden, daß sie in codierten Signalen unter Bezug auf einen oder mehrere von mehreren vorhergehenden Rahmen dargestellt werden, und in welchem Einrichtungen zur Wiederherstellung von Bildinformation nach Übertragungs­ fehlern durch Codieren eines neuen Rahmens mit Bezug auf einen oder mehrere dieser vorhergehenden Rahmen vorge­ sehen sind.