DE3036769C1

DE3036769C1 - Vorrichtung und Verfahren zum Codieren eines Videosignals

Info

Publication number: DE3036769C1
Application number: DE3036769A
Authority: DE
Inventors: Arun Narayan Matawan N.J. Netravali; John David Aberdeen N.J. Robbins
Original assignee: Western Electric Co Inc
Current assignee: AT&T Corp
Priority date: 1979-03-16
Filing date: 1980-02-25
Publication date: 1983-03-31
Also published as: CA1137216A; GB2060313A; JPS56500157A; CA1131349A; WO1980001976A1; US4218704A; GB2060313B

Description

DFD(x, ß'^x)

30

35

berechnet, wobei ΰ'~^} der anfangliche Verschiebungsschätzwert, £ die dem im Augenblick verarbeiteten Intensitätswert entsprechende Vektorstelle, DFD(x, ZV"¹) die Intensitätsdifferenz zwischen der Stelle χ im augenblicklichen Bild und der Stelle X-&"¹ im vorhergehenden Bild, die Zeit zwischen dem augenblicklichen Bild und dem vorhergehenden Bild und V /der Intensitätsgradient der verschobenen Stelle im vorhergehenden Bild sind.

3. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, daß die Vorrichtung ferner eine Arithmetikschaltung (133) zur Bildung eines Fehlersignals, das die Differenz zwischen jedem der Intensitätswerte und seinem vorhergesagten Wert angibt, sowie Steuerschaltungen (12, 136) zur Codierung so des Fehlersignals nur für eine erste Gruppe von Bildelementen aufweist, bei der das Fehlersignal einen Schwellenwert übersteigt.

4. Vorrichtung nach Anspruch 3, dadurch gekennzeichnet, daß die Vorrichtung ferner einen ersten Komparator (201) zur Bestimmung einer zweiten Gruppe von Bildelemtnten in Bewegungsbereichen und erste Schaltungen (111) zur Betätigung der Aktualisierungsschi.ltungen (109) nur in den Bewegungsbereichen aufweist.

5. Vorrichtung nach Anspruch 4, dadurch gekennzeichnet, daß die Vorrichtung ferner eine Formatiereinrichtung (140) zur Codierung von Daten aufweist, die die Stelle von Bildelementen in den ersten und zweiten Gruppen angeben.

6. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, daß die Voraussageeinrichtung folgende Bauteile aufweist:

einen Speicher (102) zur Speicherung von Intensitätswerten von Bildelementen im vorhergehenden Bild,

einen Interpolator (131) zur Aufnahme von gewählten, gespeicherten Intensitätswerten aus dem Speicher, und

zweite Schaltungen (106), die einen der Verschiebungsschätzwerte an den Speicher (102) geben, um bestimmte Intensitätswerte der gespeicherten Intensitätswerte auszuwählen, die Elementen des Bildes in einer durch den Verschiebungsschätzwert bestimmten Nachbarschaft entsprechen.

7. Verfahren zum Codieren eines Videosignals, das die Intensitätswerte von Bildelementen darstellt, entsprechend den Vorrichtungsansprüchen 1 bis 6, gekennzeichnet durch die Verfahrensschritte: Voraussagen des Intensitätswertes jedes der Bildelemente;

Erzeugen eines Fehlerwertes, der die Differenz zwischen jedem der Intensitätswerte und dem entsprechenden vorausgesagten Wert darstellt; Kombinieren des Fehlerwertes mit dem vorausgesagten Wert unter Erzeugung eines decodierten Intensitätswertes, wobei der Voraussage-Verfahrensschritt'folgende Schritte enthält: Speichern von decodierten Intensitätswerten von Bildelementen im vorhergehenden Bild (Rahmen) des Videosignals;

Auswählen geeigneter Bildelemente für die Voraussage aus Speichermitteln in Abhängigkeit von einem Schätzwert für die Verschiebung eines Bildobjektes;

Berechnen eines Anfangsschätzwertes für die Verschiebung und Aktualisieren des Anfangsschätzwertes der Bildverschiebung als Funktion von sich selbst.

8. Verfahren zur Codierung eines Videosignals nach Anspruch 7, gekennzeichnet durch die weiteren Verfahrensschritte:

Schätzen der Bildverschiebung eines Objektes zwischen einem ersten und einem zweiten Bild (Rahmen);

Vorhersagen der Intensität der Bildelemente im zweiten Bild, die das Objekt darstellen, auf der Grundlage der Intensität der Bildelemente im ersten Bild, die entsprechend dem Schätzwert verschoben worden sind, und

Codieren 1) den Fehlerwert, der die Differenz zwischen den Werten und deren vorausgesagten Werten angeben, wenn der Fehlerwert einen ersten Schwellenwert übersteigt, 2) der Bildelementstelle, die durch die Fehlerwerte dargestellt wird, und 3) der ' Bildelementstellen von Hintergrundelementen, die eine unterhalb eines zweiten Schwellenwertes liegende Bilddifferenz besitzen.

Die Erfindung betrifft eine Vorrichtung zum Codieren eines Videosignals, das die Intensitätswerte einer Vielzahl von Bildelementen darstellt, mit einer Voraussageeinrichtung zur Voraussage der Intensitätswerte von Bildelementen in einem augenblicklichen Bild des Signals unter Verwendung von Schätzwerten für Bildverschiebungen von Objekten zwischen dem augenblicklichen und einem früheren Bild und mit einer Verzögerungsschaltung.

Es ist bekannt, daß Femsehszenen mit Objekten, die genau zwischen sich bewegenden Bereichen und unbesich mehr oder weniger translatorisch bewegen, wirksa- decktem Hintergrund unterscheiden kann und auch im mer codiert werden können, indem die Intensitätsdiffe- Falle mehrerer, sich bewegender Objekte eine ausreirenzen zwischen Bildelementen im Bewegungsbereich chende Kompensation erzielt. Zudem läßt sich der mit Bezug auf Elemente im vorhergehenden Bild, die 5 Codierer ohne komplizierte oder aufwendige Schaltunauf geeignete Weise verschoben sind, berechnet und gen realisieren.

dann codiert werden. Auf ähnliche Weise können Das Wesen der Erfindung soll anhand der Figuren Unterschiede durch lineare Kombinationen von Bild- erläutert werden, elementen erzeugt werden. Dabei werden zwei Arten Es zeigen:

von Bildbereichen identifiziert, nämlich Bewegungsbe- ic Fig. 1 ein Blockschaltbild eines bewegungskompenreiche und Hintergrund'. Die Bildinformation wird sierten Codierers nach der Erfindung; codiert, indem die Adresse des Bildelements im Bewe- Fig. 2 ein Blockschaltbild der Segmentierungseingungsbereich, der durchschnittliche Betrag der Ver- richtung 112 in Fig. 1; Schiebung für eine Gruppe von Bildelementen im Fig. 3 ein Blockschaltbild der Formatierungseinrich-Bewegungsbereich und die Voraussage-Fehlerwerte für 15 rung 140 in Fig. 1; die Bildelemente des Bewegungsbereiches identifiziert Fig. 4 ein Blockschaltbild des Segmentdetektors und werden. Damit wird zwar der Wirkungsgrad der Codie- Codierers 120 in Fig. 3; rung verbessert, es ergeben sich jedoch Probleme Fig. 5 ein Blockschaltbild eines zweiten Ausfüh-Jadurch, daß die Schätzung der Verschiebung eine rungsbeispiels für einen bewegungskompensierten große Zahl von komplizierten Berechnvigen erfordert 20 Codierer, bei dem Bewegungsschätzwerte codiert wer- und der Schätzwert nicht genau ist, wenn eine große den;

Anzahl von sich bewegenden Objekten vorhanden war Fig. 6 ein Blockschaltbild einer Vorrichtung zur oder unterschiedliche Teile eines Objektes sich ver- Decodierung des Ausgangssignals des Codierers nach schieden bewegen. Zum anderen unterscheidet der Fig. 1;

Codierer nicht genügend zwischen echten, sich bewe- 25 Fig. 7 ein Blockschaltbild der Deformatierungseingenden Objekten und unbedeckten Hintergrundberei- richtung 602 in Fig. 6; chen. Fig. 8 ein Blockschaltbild eines Segmentdetektors

Mit der eingangs definierten Vorrichtung zum Codie- und Decodierers 704 in Fi g. 7.

ren eines Videosignals GJS-PS 36 32 865) soll die Bild- Ein Blockschaltbild eines ersten Ausführungsbeivoraussage verbessert werden für den Fall, daß eine 30 spiels für einen bewegungskompensierten Videocodie-Bildbewegung nur in einem begrenzten Teil des rer nach der vorliegenden Erfindung ist in Fig.ldarge-Gesamtbildes stattfindet. Dazu vergleichen Korrelato- stellt. Das Herz der Schaltung ist eine Verschiebungsren die Werte von einer bestimmten Stelle des Bildes Schätzwerteinrichtung und eine zugeordnete Voraussamit dem Wert jedes der angrenzenden Bereiche, wobei geeinrichtung, die zusammen mit 100 bezeichnet sind die Korrelationswerte aktualisiert werden und jeder 35 und auf einer Leitung 151 eine Voraussage/» für die InVergleich einen diskreten Wert erzeugt. Die diskreten tensität eines Bewegungsbereiches im augenblicklichen Wtrte werden dann mittels Integration und Selektion Bild (Rahmen) entsprechend einem Verschiebungsweiier verarbeitet. Schätzwert bilden, der die Stelle des gleichen Bereiches

Der Erfindung liegt die Aufgabe zugrunde, den Wir- zu einem vorhergehenden Zeitpunkt beschreibt, kungsgrad einer bewegungskompensierten Codierung *o Die von der Vorrichtung gemäß F ig.l erzeugten Vervon Videosignalen zu erhöhen. Schiebungsschätzwerte werden rekursiv auf den neue-

Diese Aufgabe wird gemäß der Erfindung dadurch sten Stand gebracht (aktualisiert). Zu diesem Zweck ist gelöst, daß eine Aktualisierungsschaltung vorgesehen eine Ein-Element-Verzögerungsschaltung 104 vorgeseist, die in Abhängigkeit von dem anfänglichen Schätz- hen, die den vorhergehenden Schätzwert ί¥~' an einen wert der Bildverschiebung die Intensitätswerte für die 45 Eingang eines Addierer 110 liefert, dessen zweites Ein-Bildelemente im früheren Rahmen speichert und daß gangssignal von einer Verschiebungsfehler-Berecheine das Bildelement repräsentierende Intensität zum nungseinrichtung 109 stammt. Diese letztgenannte Einwiederholten Aktualisieren des gespeicherten Schätz- richtung liefert einen Verschiebungsfehler oder Aktuwertes der Bilüverschiebung verarbeitet wird. alisierungswert von Ü'~\ der (i'-l)-ten, geschätzten

Weiterbildungen der Erfindung und ein Verfahren M Verschiebung während des Zeitintervalls [t-r, t], die zum Codieren von Videosignalen sind den Unteran- proportional ist zu Sprüchen zu entnehmen.

Im Gegensatz zum Stand der Technik macht die DFD(X_1n Ü ^X)V 1(X₀-[& ^l],t-f) (1)

Erfindung von einer rekursiven Technik Gebrauch, bei

der jeder Schätzwert der Bildverschiebung aktualisiert 55 wobei DFD(X₁₁, D°"') die verschobene Bilddifferenz ist, wird als Funktion eines früheren Schätzwertes mit den d. h. der Intensitätsunterschied zwischen der Vektor-Schätzwerten, die aus dem Wert der tatsächlichen Bild- stelle X„ (das Bildelement, das gerade verarbeitet wird) verschiebung konvergieren. Der Codierer trennt Bewe- im augenblicklichen Bild und einer Stelle-, die im vorgungsbereiche vom Hintergrund und ortet dann die hergehenden Bild (Rahmen) gegen X_a um den Vektor Bewegungsbereiche weiter als kompensierbar oder 60 D'"¹ verschoben ist, und wobei V/der Intensitätsgranicht kompensierbar ein. Für jedes Bildelement in nicht dient ist, gemessen an der verschobenen Stelle im vorkompensierbaren Bereichen wird de.- Voraussage-Feh- hergehenden Bild. [O''"'] ist der abgerundete oder auflerwert zur Übertragung codiert. Andererseits brauchen gerundete Wert vonTj*"', der die Berechnung des Grafür Bildelemente im Hintergrund und in den kompen- di?nten durch Interpolierung gespeicherter Intensitätssierbaren Bereichen Intensitätsdaten nicht codiert wer- 65 werte vereinfacht. Das Ausgangssignal des Addierers den, da diese Information im Decodierer genau rekon- 110 ist der neue Verschiebungsschätzwert Q, ebenfalls struiert werden kann. eine Vektorgröße.

Es wird also ein Codierer verfügbar gemacht, der Die Verschiebungsschätzwerte werden nur in dem

5 6

' Bildbereich, in dem eine Bewegung stattfindet, aktuali- durchgeführt, die beide Punktionen des vorhergehensiert. Zu diesem Zweck ist ein Schalter 111 zwischen den Verschiebungsschätzwertes sind, den Ausgang der Berechnungseinrichtung 109 und den Neben der Bereitstellung von benachbarten Intensi-Addierer 110 eingefugt. Der Schalter 111 wird unter tätswerten fur den Interpolator 107 liefert der Speicher Steuerung einer Segmentierungseinrichtung 112 5 102 außerdem eine Gruppe von geeignet gewählten Ingeschlossen, wobei die Einrichtung 112 Funktionen tensitätswerten an den Interpolator 131, um eine Vorausführt, wie unten beschrieben. Die Segmentierungs- aussage ρ zu erzeugen, die von dem augenblicklichen einrichtung 112 nimmt das Eingangsvideosignal auf Bildelement-Intensitätswert um einen möglichst kleieiner Leitung 101 auf. nen Fehler abweicht. Zu diesem Zweck kann der In-

Das Verschiebungsschätzwert-Ausgangssignal &~^] io terpolator 131 ebenso wie der Interpolator 107 ein üb-

der Verzögerungsschaltung 104 wird als Eingangssignal licher zweidimensionaler linearer Dreipunkt- oder Vier-

an erste und zweite Interpclatoren 131,107 und an einen punkt-Interpolator sein. Die Interpolation erfolgt für

Quantisierer 105 gegeben. Der Quantisierer kann den diejenige Stelle im vorhergehenden Bild, die durch den

Verschiebungsschätzwert entweder auf- oder abrunden Verschiebungsschätzwert identifiziert wird, da der In-

auf einen ganzzahligen Wert [&~\ der dann an den is tensitätswert an dieser Stelle möglichst genau mit der

Adresseneingang eines Bildspeichers 102 angelegt wird. Intensität des im Augenblick verarbeiteten Bildelemen-

Der Speicher 102 gibt dann auf Leitungen 106 eine tes übereinstimmen sollte.

Folge von gespeicherten Intensitätswerten für Bildele- Das Ausgangssignal des Interpolators 131 für den vormente in der Nachbarschaft der durch [& "'] angegebe- ausgesagten Intensitätswert wird an die Subtrahiernen Stelle aus. Der Speicher 102 kann eine angezapfte 20 schaltung 133 gegeben, die ein Fehlersignal ε bildet, das Verzögerungsleitung mit zugeordneten Steuerschaltun- die Differenz zwischen dem vorausgesagten Intensitätsgen sein, die so ausgelegt sind, daß in einer dem Fach- wert und dem tatsächlichen Intensitätswert des Einmann bekannten Weise Ausgangssignale an geeigneten gangsvideosignals auf der Leitung 101 ist. Dieser Diffe-Anzapfungen abgeleitet werden. renzwert wird an einen üblichen Quantisierer 134 ange-

Anhand der Intensitätswerte aus dem Speicher 102 25 legt.

und des Verschiebungsschätzwertes von der Verzöge- Entsprechend der vorliegenden Erfindung wird das rungsschaltung 104 leitet der Interpolator 107 zwei Grö- Fehlerausgangssignal ε des Quantisierers 134 über ßen ab, nämlich die Intensitätswerte 1(X- &~') an der einen Schalter 136 dessen Schaltstellung durch eine durch den Verschiebungsschätzwert angegebenen Bild- Segmentierungseinrichtung 109 gesteuert wird, an eine stelle und den Intensitätsgradienten V/(£-[/>'"'], 30 Kanal-Formatierungseinrichtung 140 gegeben. Wenn t - τ) an der verschobenen Stelle (nach Auf- oder der Schalter geschlossen ist, wird der quantisierte Vor-Abrundung) zum Zeitpunkt t - r, wobei r der Zeitab- aussagefehler c codiert. Wenn der Schalter jedoch für schnitt zwischen dem augenblicklichen Bild (Rahmen) Bildbereiche, die als kompensierbar oder Hintergrund und dem früheren, im Speicher 102 abgespeicherten bezeichnet werden, geöffnet ist, so wird der Werte nicht Bild (Rahmen). Beide Berechnungen werden durch 35 zum Empfänger übertragen, da dieser Wert gut anhand leicht zu übersehende, lineare Interpolation durchge- vorher codierter Werte rekonstruiert werden kann, führt. Der Gradientenwert wird direkt an die Berech- Das vorausgesagte Intensitätswert-Ausgangssignal nungseinrichtung 109 gegeben, während der Intensi- des Interpolators wird mit dem über den Schalter 136 tätswert an einen Eingang einer Subtrahierschaltung laufenden Fehlersignal in einer Addierschaltung 135 103 gelangt, deren anderes Eingangssignal das um ein 40 kombiniert, um einen rekonstruierten oder decodierten Zeilenintervali in der Verzögerungsschaltung 132 ver- Intensitätswert / = ρ + ε zu erzeugen. Dieser decodierte zögerte Intensitätswert-Eingangssignal des Bildspei- Wert wird wieder über einen Schalter 137 in den BiIdchers 102 ist. Es sei hier darauf hingewiesen, daß die speicher 102 gegeben, so daß die dort gespeicherten InVerzögerung um eine Zeile vorgesehen ist, da ein neuer tensitätswerte in geeigneter Weise für Bildelemente im Intensitätswert für das im Augenblick verarbeitete Bild- 45 Bewegungsbereich aktualisiert werden. Für Hinterelement noch nicht in den Speicher 102 eingegeben grund-Bildelemente (Bereich ohne Bewegung) läßt der worden ist. Man hätte den Wert des unmittelbar vorher- Schalter 107 jedoch das Ausgangssignal des Speichers gehenden Bildelementes durch Ersetzen der Verzöge- 102 auf der Leitung 138 wieder zu seinem Eingang rung von einer Zeile durch eine Verzögerung von einem zurücklaufen. Der Schalter 137 arbeitet gleichzeitig mit Element benutzen können. Diese Alternative führt ac dem Schalter 111 unter Steuerung der Segmentiejedoch zu Verarbeitungszeit-Einschränkungen fur die rung 109.

Vorrichtung, die durch Verwendung des längeren Zei- Entsprechend einem wichtigen Merkmal der Erfinlenintervalls vermieden werden können. Das Ausgangs- dung ist die Segmentiereinrichtung 109 so ausgelegt, signal der Subtrahierschaltung 103 ist die verschobene daß sie eine Codierung quantisierter Voraussagefehler-Bilddifferenz DFD an der durch &~^x angegebenen 55 wertet nur innerhalb des Bewegungsbereiches für nicht Stelle. Dieser Wert wird ebenfalls zur Verwendung bei kompensierbare Bildelemente zuläßt, die - wie noch der Bildung des in Gleichung (1) oben angegebenene definiert werden soll - diejenigen Bildelemente sind, Aktualisierungsausdruckes an die Berechnungseinrich- für welche die verschobene Bilddifferenz DFD einen tung 109 gegeben. Schwellenwert übersteigt, wodurch angezeigt wird, daß Die vorstehende Erläuterung der Verschiebungsbe- 60 eine bewegungskompensierte Voraussage nicht brauchrechnung läßt sich dahingehend zusammenfassen, daß bar ist. In diesen nicht kompensierbaren Fällen ist der ein Verschiebungsschätzwert für jedes Bildelement im Schalter 136 geschlossen, und der Fehlerwert wird zur Bewegungsbereich des Bildes erzeugt und jeder Schätz- Formatiereinrichtung 140 gegeben. Bei offenem Schalwert unter Verwendung des vorhergehenden Schätzwer- ter 136 gilt ε = 0, und der Speicher 102 nimmt entweder tes aktualisiert wird. Die zur Ermöglichung der Rekur- 65 den vorausgesagten Intensitätswert ρ (in Bewegungsbesion benutzte Rückkopplung wird durch die verscho- reichen) oder den gespeicherten Intensitätswert vom beneBilddifTerenzund einen Intensitätsgradientenwert vorhergehenden Bild (in Bereichen ohne Bewegung) als Eingangssignale für die Berechnungseinrichtung 109 auf. Die Segmentiereinrichtung 109 unterscheidet hier

wiederum zwischen Bewegungs- und Hintergrundbereichen, indem sie eine Bildfunktion (in diesem Fall die Bilddifferenz FDIF) mit einem Schwellenwert vergleicht.

Die Segmentiereinrichtung 112 ist als Blockschaltbild in F i g. 2 dargestellt. Sie enthält zwei Komparatoren 201 und 202, die je ein Eingangssignal mit einem vorgewählten Schwellenwert T₁ und T₁ vergleichen. Das Eingangssignal des !Comparators 201 ist die Intensitätsdifierenz zwischen jedem Bildelement und der räumlich entsprechenden Bildelementintensität des vorhergehenden Bildes, die durch die Subtrahierschaltung 210 berechnet wird. Eine Verzögerung um ein Bild kann durch eine getrennte Verzögerungsschaltung 205 bereitgestellt werden, oder es kann der Bildspeicher 102 für diesen Zweck verwendet werden. Die Intensitätsdifferenz ist das Bilddifferenzsignal FDIF, das bei bekannten Codierern mit bedingter Ergänzung verwendet wird. Wenn FDIF> T₁ ist, so ist ein Bewegungsbereich (MA von Moving Area) festgestellt, wodurch der Pegel auf der Leitung 203 erhöht wird. Wenn der Schwellenwert nicht überstiegen wird, so ist ein sich nicht bewegender oder Hintergrundbereich vorhanden. Das MA-Signal wird zur Steuerung der Schalter 111 und 137 in Fig. 1 benutzt. Es können auch andere, kompliziertere Verfahren zur Identifizierung von Bewegungsbereichen im Bild benutzt werden, wie dem Fachmann bekannt ist.

Das Eingangssignal des !Comparators 202 ist das nicht quantisierte, bewegungskompensierte Ausgangssignal des Addierers 133 in Fig. 1 für den Voraussagefehler ε. Wenn ε > T₁ ist und außerdem ein Bewegungsbereich festgestellt wurde, geht das Ausgangssignal UC des UND-Gatters 220 auf H, wodurch ein nicht kompensierbarer Bereich angegeben wird, für den ein Voraussagefehlerwert c übertragen werden muß. In diesem Fall verbindet der Schalter 136 den Ausgang des Quantisierers 134 mit der Kanal-Formatierungseinrichtung 140. Wenn der Vöraussagefehler den Schwellenwert nicht übersteigt, gelangt ein Fehlerwert ε = 0 als Eingangssignal an die Formatierungseinrichtung 140 und den Addierer 135.

Gemäß Fig. 3 nimmt die Kanal-Fonnatierungseinrichtung 140 in Fi g. 1 den quantisierten Voraussagefehler ε vom Quantisierer 134 auf der Leitung 301 auf, wenn der Schalter 136 geschlossen ist, sowie Steuersignale für den Bewegungsbereich (MA) und einen unkompensierbaren Bereich (UQ auf den Leitungen 203 bzw. 204 von der Segmentierungseinrichtung in Fig. 2. Die Formatierungseinrichtung hat den Zweck, Adresseninformationen zu codieren, die unterschiedliche Bildbereiche angeben, nämlich 1) Hintergrund, 2) kompensierbare Bereiche und 3) nicht kompensierbare Bereich^ und zwar unter Verwendung von Lauflängencodierverfahren, sowie den Zweck, die Voraussagefehlerwerte für die nichtkompensierbaren Bildelemente unter Verwendung einer Codierung mit variabler Länge zu codieren. Da drei unterschiedliche Arten von Bereichen beteiligt sind, muß außerdem ein Code übertagen werden, der die Art des Bildbereiches angibt

Da die statistischen Eigenschaften für die Lauflängen unterschiedlicher Arten von Bereichen verschieden sein können, kann die Formatierungseinrichtung gemäß F i g. 3 drei getrennte Codespeicher 304,305 und 306 enthalten, die je ein Vokabular von Lauflängen-Codewörtern enthalten, welche für eine bestimmte Laufiängenart verwendet werden: Der Speicher 304 enthält Lauflängen-Codierungen für Hintergrundbereiche, der Speicher 305 Lauflängen-Codierungen für nicht kompensierbare Bereiche und der Speicher 306 Lauflängen-Codierungen für kompensierbare Bereiche. Die Lauflänge oder die Länge des Segmentes, für das eine Lauflängencodierung stattfinden soll, wird durch einen s Segmentdetektor und Codierer 320 in Verbindung mit einem Lauflängencodierer 308 bestimmt. Der Segmentdetektor und Codierer nimmt die Steuersignale MA und UC auf und erzeugt auf eine noch zu erläuternde Weise ein Segment-Startsignal S auf der Leitung 340. Dieses ίο Signal gelangt an den Lauflängencodierer 308, der dann eine Lauflänge an jeden der Codespeichern 304 bis 306 liefert. Außerdem wird ein Segmentartsignal auf der Leitung 360 codiert und steuert gleichzeitig die Stellung eines Datenwählers 341, so daß der für den verarbeiteis ten Bereichstyp geeignete Lauflängencode auf der Leitung 342 zum Codierer 308 zurückübertragen wird. Im einzelnen nimmt der Wähler 341 die erste Stellung für Hintergrund-Bildelemente, die zweite Stellung für nicht kompensierbare Bildelemente und die dritte Stellung für kompensierbare Bildelemente ein. Die Lauf längen-Ausgangscodierungen des Codierers 308 werden in einem Puffer 310, bei dem das zuerst eingegebene Element wieder als erstes ausgegeben wird (FIFO), gespeichert, bevor sie in einen Ausgangspuffer 351 multiplexiert werden.

Der über den Schalter 136 in der Leitung 301 ankommende, quantisierte Voraussagefehlerwert ε gelangt an einen Codierer 314 variabler Länge, der ein üblicher Codierer sein kann. Die vom Codierer 314 erzeugten Codewörter variabler Länge werden in einen zweiten FIFO-Puffer 315 eingegeben, bevor sie wiederum über den Multiplexer 311 in den Puffer 351 gelangen. Da das Codewort T, das angibt, welcher Bereichstyp codiert wird, selbst ebenfalls übertragen werden muß, wird das Codewort Tauf der Leitung 360 an eine Segmentart-Puffer 316 angelegt, dessen Ausgangssignal ebenfalls über den Multiplexer 311 an den Puffer 351 gegeben wird. Die Arbeitsfolge des Multiplexers 311 wird durch eine Logikschaltung 361 gesteuert, die auf das vom 4C Detektor 320 erzeugte Segmentart-Codewort T anspricht. Im allgemeinen wechselt die Logikschaltung 361 zwischen dem Puffer 316 und dem Puffer 310, so daß ein Segmentart-Codewort von einem Lauflängencode gefolgt wird, der die Anzahl der aufeinanderfolgenden Bildelemente gleichen Typs angibt, d. h. Hintergrund oder kompensierbarer Bewegungsbereich. Wenn jedoch die Logikschaltung 361 ein Segmentart-Codewort feststellt, das einen nicht kompensierbaren Bereich angibt, so folgen dem Lauflängencode für dieso sen Bereich im Puffer 315 gespeicherte Codewörter variabler Länge, die die Voraussagefehlerwerte für jedes Bildelement dieses Bereichs angeben.

Ein Blockschaltbild des Segmentdetektors und Codierers 320 ist in Fig. 4 gezeigt. Die Signale für den Bewegungsbereich (MA) und den nicht kompensierbaren Bereich (UC) auf den Leitungen 203 und 204 werden je an ein Flippflop 402 bzw. 403 gegeben, die beide zu jedem Bildelement-Zeitpunkt durch einen Taktimpuls auf der Leitung 401 zurückgestellt werden. Die Ausgangssignale und Eingangssignale der Flipflops werden dann in einem Paar von Exklusiv-ODER-Gattern 404 und 405 verglichen. Wenn eines der Gatterausgangssignale auf tfist, so wurde ein Segment-Übergang festgestellt, und das Signal 5 wird über ein ODER-Gatter 406 und die Leitung 340 an den Lauflängencodierer 308 in Fig. 3 angelegt Der Detektor 320 enthält außerdem einen Codierer 410, der die Steuersignale MA und UC sowie das Signal S aufnimmt und ein geeignetes Seg-

mentart-Codewort Tauf der Leitung 360 erzeugt, das die Art des verarbeiteten Segmentes angibt. Ein Codewort wird jedesmal dann erzeugt, wenn das Signal S den Start eines neuen Segmentes angibt.

Wie oben angegeben, ist der Codierer gemäß Fig. 1 s so ausgelegt, daß er entsprechend der Erfindung Adresseninformationen codiert, die drei Arten von Bildbereichen betreffen, nämlich den Hintergrund, kompensierbare Bewegungsbereiche und nicht kompensierbare Bewegungsbereiche, sowie Voraussagefehlerwerte nur für Bildelemente im letztgenannten Bereich codiert. Im Codierer gemäß Fig. 1 stehen zwar Verschiebungsinfonnationen zur Verfugung, sie werden aber nicht codiert oder übertragen, da eine genaue Decodierung erreicht werden kann, wie nachfolgend beschrieben wird. Wenn es jedoch erwünscht ist, Verschiebungsdaten zusammen mit den Adressen und den Voraussagefehlerwerten zu codieren, so kann diese Abänderung leicht entsprechend der Darstellung in Fig. 5 erfolgen. In dieser Figur sind Elemente, die identisch mit denen in Fig. 1 sind, mit den gleichen Bezugszeichen versehen.

Da im Codierer berechnete Verschiebungsschätzwerte im Empfänger zur Verfugung stehen, kann die Verschiebungsberechnung im Codierer gemäß Fig. 5 auf die tatsächlichen Eingangsvideodaten gestützt werden, statt auf das rekonstruierte (decodierte) Intensitätswert-Ausgangssignal der Addierschaltung 135 oder die zurückgeführten Hintergrund-Intensitätswerte auf der Leitung 138, wie im Fall der Vorrichtung nach Fig. 1. Demgemäß ist die Zeilen-Verzögerungsschaltung 132 weggelassen, und das Intensitätswert-Eingangssignal der Subtrahierschaltung 103 wird direkt von der Eingangsleitung 101 abgeleitet.

Um die Möglichkeit zu schaffen, die Häufigkeit zu steuern, mit der Verschiebungsschätzwerte codiert werden, wird das Schätzwert-Ausgangssignal der Verzögerungsschaltung 104 an ein Register 501, gegeben, das ein Ausgangssignal nur dann liefert, wenn Taktimpulse an die Leitung 503 angelegt sind. Bei jedem Taktimpuls wird der im Register 501 gespeicherte Verschiebungsschätzwert an den Interpolator 131 und die Formatiereinrichtung 540 angelegt. Gleichzeitig wird der Verschiebungsschätzwert über den Quantisierer 502 an den Bildspeicher 504 gegeben, so daß der Bildspeicher geeignete Intensitätswerte verschobener Bildelemente an den Interpolator 131 anlegen kann. Wie beirr. Ausführungsbeispiel nach Fi g. 1 legt ein Quantisierer 105 kontinuierlich das Ausgangssignal der Verzögerungsschaltung 104 an den Bildspeicher 504 an, so daß das Intensitätswert-Eingangssignal des Interpolators 107 jeden rekursiv aktualisierten Verschiebungsschätzwert wiedergibt, statt nur diejenigen Schätzwerte, die durch Impulse auf der Leitung 503 ausgegeben werden. Natürlich muß beim Ausführungsbeispiel nach Fig. 5 die Formatiereinrichtung 540 auf geeignete Weise so abgeändert werden, daß sie die Verschiebungsschätzwerte und besondere, diese Werte angebende Flag-Wörter enthält. Diese Abänderung ist für den Fachmann übersehbar. Es sei außerdem daraufhingewiesen, daß die Verschiebungsschätzwerte selbst redundante Informationen enthalten, die unter Verwendung bekannter Kompressionsverfahren verringert werden können.

Die durch die Vorrichtung nach Fig. 1 codierten Bildintensitätsinformationen können mit einer als Blockschaltbild in Fig. 6 gezeigten Vorrichtung decodiert werden. Das codierte, über die Leitung 601 ankom mende Eingangssignal wird an eine Deformatier-Einrichtung 602 angelegt, die im einzelnen in Fig. 7 dargestellt ist und das ankommende Signal in Fehlerwerte auf der Leitung 603 und ein Bewegungsbereiche anzeigendes Signal MA auf der Leitung 604 auftrennt. Die Fehlerwerte werden an einen Eingang einer Addierschaltung 605 angelegt, deren anderer Eingang vorausgesagte Intensitätswerte ρ von der Leitung 606 aufnimmt Das Ausgangssignal der Addierschaltung 605 ist das decodierte Videosignal, das über einen Schalter 608 zurück zu einem Bildspeicher 607 gegeben wird. Die Stellung des Schalters 608 wird durch das Signal MA auf der Leitung 604 so gesteuert, daß das decodierte Intensitätswert-Ausgangssignal der Addierschaltung 605 im Bewegungsbereich des Bildes in den Speicher 607 eingegeben wird, daß aber der vorher gespeicherte Intensitätswert auf der Leitung 609 zurückgeführt wird, wenn das Signal MA auf L ist, wodurch ein Bildelement in einem sich nicht bewegenden oder Hintergrundbereich angegeben wird.

Die übrigen Bauteile in der Decodierschaltung nach Fig. 6 verwenden Verschiebungsschätzwert- und Voraussageverfahren, die mit denen vergleichbar sind, welche in der Vorrichtung nach F i g. 1 angewendet werden. Kurz gesagt, speichert das Verzögerungselement 610 den früheren Verschiebungsschätzwert &~^l, der durch das Ausgangssignal der Verschiebungsfehler-Berechnungsschaltung 611 gemäß der Gleichung (1) aktualisiert wird. Die Aktualisierung (unter Verwendung der Addierschaltung 620) findet jedoch nur im Bewegungsbereich statt, bei dem der Schalter 612 geschlossen ist.

Der in der Verzögerungsschaltung 610 gespeicherte Verschiebungsschätzwert wird über den Quantisierer 618 an den Speicher 607 gegeben. Der Quantisierer rundet den Verschiebungsschätzwert auf oder ab, um die Auswahl geeigneter Intensitätswerte aus dem Speicher zu ermöglichen. Diese Werte für Bildelemente in der Nachbarschaft der verschobenen Stelle Qr - [&'"']) werden auf den Leitungen 615 an den Interpolator 613 zusammen mit dem nicht quantisierten Wert von &~^l auf der Leitung 614 angelegt. Der Interpolator 613 wiederum berechnet den Intensitätswert an der verschobenen Stelle (x - [& ~']) und den Intensitätsgradienten an dieser Stelle: Der erstgenannte Wert wird von einer um eine Zeile verzögerten Version des augenblicklichen Bildelement-Intensitätswertes (über die Verzögerungsschaltung 616) in einer Subtrahierschaltung 617 subtrahiert, und die sich ergebende, verschobene Bilddifferenz DFD wird zusammen mit dem oben erwähnten Gradientenwert an die Verschiebungsfehler-Berechnungseinrichtung 611 angelegt. Gleichzeitig veranlaßt das Ausgangssignal des Quantisierers 618 den Speicher 607, Intensitätswerte von Bildelementen, die die verschobene Stelle χ — [& ~ ¹J umgeben, an den Interpolator 619 anzulegen, dem außerdem das nicht quantisierte Ausgangssignal &~^l der Verzögerungsschaltung 610 zugeführt wird. Der Interpolator 619 bildet den vorausgesagten Wert ρ an der verschobenen Stelle unter Anwendung einer üblichen, linearen Interpolation.

Die Fehlerwerte und das Bewegungsbereichssignal MA werden durch die Deformatiereinrichtung 602, die genauer in Fig. 7 gezeigt ist, vom ankommenden, codierten Eingangssignal getrennt Zu Anfang werden die Eingangsdaten auf der Leitung 601 in einem Puffer 701 gespeichert, dessen Ausgangssignal über einen Datenschalter 702 an einen Segmentdetektor und Decoder 704 gegeben werden. Die Ausgängssignale des

Detektors und Decoders 704 sind erste und zweite Steuersignale auf Leitungen 705 und 706, die zur Wiedergewinnung der Steuersignale UC bzw. MA verwendet werden. Die Deformatiereinrichtung und der Decoder gemäß Fig. 7 enthalten außerdem Logikschaltungen 703, die den Schalter 702 veranlassen, zwischen dem Detektor/Decoder 704 und einem Lauflängendecoder 708 abzuwechseln, derart, daß jeder Segment-TVp-Code zum Detektor/Decoder und jeder nachfolgende Lauflängencode zum Decoder 708 geführt wird. Wenn jedoch ein Segmenttyp-Codewort ankommt und einen nichtkompensierbaren Bereich angibt, veranlaßt die Logikschaltung 703 den Schalter 702, die entsprechenden Voraussagefehlerwerte an einen Decoder 709 für variable Länge zu geben, nachdem ein Lauflängencode für diesen Bereich an den Decoder 708 geführt worden ist

Die an den Decoder 708 gegebenen Lauflängen-Codewörter werden an eine Folge von Codespeichern 710-712 angelegt, die den Codespeichern 304-306 in F i g. 3 entsprechen. Im einzelnen ist der Speicher710 so ausgelegt, daß er Lauflängen in Hintergrundbereichen decodiert, der Speicher 711 ist so ausgelegt, daß er Lauflängen in nicht kompensierbaren Bereichen decodiert, und der Speicher 712 wird zur Decodierung von Lauflängen in kompensierbaren Bereichen verwendet. Ein Ausgangssignal vom jeweils richtigen Codespeicher wird durch die Stellung eines Datenschalters 713 gewählt, der durch das Segmentart-Codeausgangswort Tvom Schalter 702 auf der Leitung 707 gesteuert wird.

Für jede gegebene Lauflänge liefert der Decoder 708 eine entsprechende Folge von 1-Bits an die Takteingänge erster und zweiter Flipflops 714 und 715. Das Flipflop 714 wird durch das erste Steuerausgangssignal vom Detektor/Decoder 704 auf der Leitung 706 eingestellt, unü das Ausgangssignal dieses Flipflops ist das Steuersignal MA. Das Flipflop 715 wird durch das zweite Steuer ausgangssignal vom Detektor/Decoder 704 auf der Leitung 705 eingestellt, und das Ausgangssignal dieses Flipflops ist das Steuersignal UC.

Wenn ein nicht kompensierbares Segment festgestellt s wird, werden die Voraussagefehler-Codebits durch den Decoder 709 decodiert, der eine umgekehrte Funktion wie die des Codierers 314 in Fig. 3 ausfuhrt. Das Ausgangssignal des Decoders 709, das der Fehlerwert für jedes nicht kompensierbare Bildelement ist, wird in einem Puffer 716 gespeichert und zur Ausgangsleitung 603 gegeben, wenn der Schalter 717 durch das Ausgangssteuersignal UC vom Flipflop 715 geschlossen wird.

Der Segmentdetektor 704 kann entsprechend dem is Blockschaltbild in Fig. 8 aufgebaut sein. Segmentart-Codewörter Γ werden auf der Leitung 707 aufgenommen und an einen Decoder 801 gegeben, der die Umkehrung des Codierers 410 in Fig. 4 ist. Bei Erkennung eines Codewortes auf der Leitung 707 liefert der Decoder 801 Steuersignale UC und MA auf den Leitungen 804 bzw. 805, die der angegebenen Segmentart entsprechen. Diese Signale werden unter Takteinfluß in Flipflops 802 bzw. 803 gegeben, wenn das jeweilige Wort decodiert wird, und zwar mittel« eines Zeitsteuerungsimpulses auf der Leitung 806. Die Ausgangssi gnale der Flipflops 802 und 803 sind die oben erwähnten, ersten und zweiten Steuersignale.

Bei der obigen Erläuterung ist generell von dem Zeitintervall zwischen aufeinanderfolgenden Bildern (Rahmen) gesprochen worden. Es sei jedoch betont, daß der Zeitabstand zwischen Feldern ebenfalls benutzt werden könnte, oder auch irgendein anderes Zeitintervall zwischen unterschiedlichen Darstellungen einer Videoszene. Bei solchen Abänderungen würde der Wert von DFD so interpretiert, daß er die Intensitätsdifferenz bedeutet, die aufgrund der Verschiebung während des gewählten Zeitintervalls statt zwischen aufeinanderfolgenden Bildern auftritt.

Hierzu 6 Blatt Zeichnungen

Claims

Patentansprüche:

1. Vorrichtung zur Codierung eines Videosignals, das die Intensitätswerte einer Vielzahl von Bildetementen darstellt, mit einer Voraussageeinrichtung (100) zur Voraussage der Intensitätswerte von Bildelementen in einem augenblicklichen Bild des Signals unter Verwendung von Schätzwerten für Bildverschiebungen von Objekten zwischen dem augenblicklichen und einem früheren Bild und mit einer Verzögerungsschaltung, dadurch gekennzeichnet,

daß die Verzögerungsschaltung (104) einen Anfangsschätzwert für die Verschiebung speichert, daß eine Aktualisierungsschaltung (109, 107, 103, 132, 106) vorgesehen ist, die in Abhängigkeit von dem anfänglichen Schätzwert der Bildverschiebung (ß?~^l) die Intensitätswerte für die Bildelemente im früheren Rahmen speichert und daß eine das Bildelement repräsentierende Intensität zum wiederholten Aktualisieren des gespeicherten Schätzwertes der Bildverschiebung verarbeitet wird (Ausgang des Schalters 137).

2. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, daß die Aktualisierungsschal tungeh (109) so ausgelegt sind, daß sie einen Aktualisierungsausdruck proportional dem Produkt von