-
-
Beschreibung
-
Verfahren zur Videosignalcodierung Die Erfindung betrifft ein Verfahren
zur Videosignalcodierung gemäß dem Oberbegriff des Patentanspruchs 1.
-
Ein Verfahren der eingangs genannten Art ist z.B. bekannt aus DE-OS
20 62 922. Bei diesem Verfahren werden mittels eines Komparators die Bereiche eines
augenblicklichen Bildes in sich bewegende und sich nicht bewegende Bereiche aufgeteilt.
Jeder Punkt eines sich bewegenden Bereichs wird in Beziehung gesetzt zu geometrisch
verlagerten Punkten im vorhergehenden Bild, um die durchschnittliche Verlagerung
des sich bewegendes Bereiches zwischen dem vorhergehenden und dem augenblicklichen
Bild zu bestimmen.
-
Jeder Punkt in dem sich bewegenden Bereich wird mit einem
um
die durchschnittliche Verlagerung verschobenen Punkt im vorhergehenden Bereich verglichen,
um für jeden Punkt in dem sich bewegenden Bereich ein Differenzsignal zu erzeugen.
-
Aus dem Aufsatz "Picture coding with Motion Analysis for Low Rate
Transmission" (Conference Record Int. Conf. on Comm. 1982, Philadelphia, USA, Paper
No. 2G7) ist ein weiteres Verfahren bekannt, bei dem ein oder mehrere bewegte Objekte
in einer Bildszene erkannt werden. Für die bewegten Objekte wird ein repräsentativer
Bewegungsvektor berechnet und mit diesem ein die wahrscheinliche Bewegung berücksichtigendes
Schätzbild erzeugt.
-
Ein Nachteil der bekannten Verfahren ist, daß bei Spurkreuzungen bewegter
sich gegenseitig verdeckender Objekte, die Objekte nicht mehr getrennt werden können
und dadurch kein repräsentativer Bewegungsvektor berechnet werden kann. Ein weiterer
Nachteil der bekannten Verfahren ist, daß Kamerabewegungen, wie Schwenk und Zoom,
sich nicht von Objektbewegungen trennen lassen und dadurch ebenfalls keine korrekte
Bewegungsprädiktion der sich bewegenden Objekte möglich ist.
-
Der Erfindung liegt die Aufgabe zugrunde, den Stand der Technik zu
verbessern. Insbesondere soll ein Verfahren angegeben werden, mit dem es möglich
ist, auch bei Bildszenen mit Objektbewegungen und gleichzeitiger Kamerabewegung
ein die unterschiedlichen Bewegungen berücksichtigendes Schätzbild zu erzeugen,
so daß nur noch in den Bereichen, wo neuer Bildinhalt in der Szene sichtbar wird,
größere Abweichungen zwischen Schätzbild und aktuellem Bild auftreten und codiert
werden müssen.
-
Die Aufgabe wird durch die im Anspruch 1 angegebenen Merkmale gelöst.
Es ist nunmehr möglich, Bildübertragungen von sich bewegenden Objekten, insbesondere
sich im Bild kreuzender Objekte über schmalbandige Netze, wie z.B. das öffentliche
Fernsprechnetz, mit guter Auflösung zu übertragen. Da auch Kameraschwenks durch
einen Bewegungsvektor übertragen werden, ist dieses Verfahren mit Vorteil zur Überwachung
von Straßenkreuzungen oder bei der Überwachung von Rettungsarbeiten einsetzbar.
-
Vorteilhafte Weiterbildungen und Ausgestaltungen der Erfindung sind
in den Unteransprüchen angegeben.
-
Die Erfindung wird nun anhand von Zeichnungen und einem Ausführungsbeispiel
näher erläutert. Es zeigen im einzelnen: FIG. 1: Blockschaltbild einer Videosignalcodiereinrichtung
mit Bewegungsprädiktion FIG. 2: Blockschaltbild der empfangsseitigen Bilddecodiereinrichtung
FIG. 3 Blockschaltbild einer Videosignalcodiereinrichtungmit zweistufiger Bewegungsprädiktion
gemäß der Erfindung FIG. 4 Blockschaltbild der empfangsseitigen Videosignaldecodiereinrichtung
mit zweistufiger Bewegungsprädiktion.
-
In FIG. 1 ist zur einfacheren Erläuterung des erfindungsgemäßen Verfahrens
zunächst ein Blockschaltbild einer Videosignalcodiereinrichtung mit Bewegungsprädiktion
dargestellt, wie sie aus dem Aufsatz 2'Picture coding with Motion Analysis for Low
Rate Transmission" (Conference Record Int. Conf. on Comm. 1982, Philadelphia, USA,
Paper No. 2G7) bekannt ist. Die Codiereinrichtung besteht einerseits aus einem Prädiktor
mit Subtrahierglied 12, Quantisierer 13 zur Quantisierung von Bilddifferenzsignalen
D0m, einem Addierglied 15 zur Erzeugung eines rekonstruierten Bildes R aus dem Schätzbild
Sm und dem quantisiertem m Differenzsignalbild DO* des dem aktuellen Bild O voranm
gegangenen Bildes 0 und einem Schätzbildrechner E sowie m dem Kanalcodierer 14.
-
Andererseits ist zur Bewegungsprädiktion eine Separationseinrichtung
213 vorgesehen, die aus dem rekonstruierten Bild R und dem aktuellen Bild °m+1 die
Differenzbildsigm nale - im folgenden abgekürzt mit "Differenzt bezeichnet -berechnet
und durch Aufsuchen von änderungsfreien horizontalen und vertikalen streifenförmigen
Bildbereichen diejenigen Rechteckkoordinaten ermittelt1 die die Bildänderungsbereiche
in Gestalt von Fenster möglichst eng umgrenzen und beschreiben.
-
Die Einrichtung 213 ist über eine Steuersignalleitung mit einer Einrichtung
212 zur Ermittlung der Ecken verbunden.
-
In der Einrichtung 212 wird zunächst durch Anwendung eines lokalen
Konturoperators ein Gradientenbild erzeugt und anschließend werden mittels eines
Eckenoperators die Orte gekennzeichnet, in denen die Kontur ihre Richtung ändert.
-
Die Einrichtung 212 ist ebenfalls über eine Steuerleitung mit einer
Einrichtung 211 zur Bestimmung des Bewegungsvektors verbunden. In der Einrichtung
211 wird innerhalb der Fenster aus dem Ensemble von Verschiebungsvektoren ein repräsentativer
Bewegungsvektor ermittelt.
-
Die Steuerinformation für den Kanalcodierer 14 besteht aus dem in
der Separationseinrichtung 213 gefundenen Fensterkoordinaten und den in der Einrichtung
211 ermittelten, für jedes Fenster repräsentativen Bewegungsvektor. Vom Kanalcodierer
14 wird das vom Quantisierer 13 gelieferte verbleibende Fehlersignal DO* zusammen
mit der Steuerinm formation in einen kontinuierlichen seriellen Datenstrom codiert.
-
In FIG. 2 ist die empfangsseitige Videosignaldecodiereinrichtung zur
Rekonstruktion des vom Kanalcodierer nach FIG. 1 codierten Videosignals dargestellt.
Er umfaßt neben einem Kanaldecodierer 111 einen aus einem Schätzbildrechner 131
und einem Addierglied 112 bestehenden Prädiktor.
-
Der Kanaldecodierer 111 trennt den ankommenden Datenfluß in Videosignale
und in Steuersignale. Die abgeleitete Steuerinformation steuert den Schätzbildrechner
in gleicher Weise wie im Sender.
-
Zur zeitgerechten-Bildverarbeitung sind in der Codiereinrichtung (Fig.1)
die Verzögerungsglieder 11 und 42 und in der Decodiereinrichtung (Fig.2) das Verzögerungsglied
142 vorgesehen. Sie verzögern die Videosignale um jeweils eine Bilddauer.
-
Die bis hier erläuterte, zum Stand der Technik gehörende Codier- und
Decodiereinrichtung ist geeignet für Systeme, in denen sich höchstens ein sich bewegendes
Objekt in einer ruhenden Umgebung befindet. Bei einem zusätzlichen Kameraschwenk
oder bei zwei aufeinander sich zu bewegenden Objekten versagt das bekannte Verfahren
insbesondere, wenn sich die gegeneinander oder voneinander bewegenden Objekte teilweise
verdecken.
-
In FIG. 3 ist das Blockschaltbild einer Codierungseinrichtung zur
Durchführung des erfindungsgemäßen Verfahrens dargestellt. Das Ausführungsbeispiel
enthält eine zweistufige Bewegungsprädiktion. Die in FIG. 1 mit dem Bezugszeichen
211 bis 213 gekennzeichneten Baugruppen sind in FIG. 3 zur Einheit 21 zusammengefaßt.
In gleicher Weise ist die Einheit 22 kompakt dargestellt und dient wie die Einheit
21 zur Ermittlung der Fensterkoordinaten bewegter Bildteile, zur Ermittlung der
Ecken der bewegten Bildteile und zur Bestimmung des repräsentativen Bewegungsvektors.
-
Die Einheiten 21 und 31 realisieren die Bewegungsanalyse und Schätzbildberechnung
der ersten Prädiktionsstufe und die Einheiten 22 und 32 die der zweiten Stufe. Ein
Klassifikator 51 trifft fensterweise, also jeweils für einen durch ein Rechteck
umschriebenen sich bewegenden Bildbereich, die Auswahl über das beste Schätzbild
und steuert den Quantisierer 13 zur Unterdrückung irrelevanter Bewegungsvorgänge.
-
Die Häufigkeitsverteilung der Verschiebungsvektoren innerhalb eines
Fensters mit zwei unterschiedlich bewegten, sich teilweise verdeckenden Objekten
weist grundsätzlich einen mehrgipfeligen Verlauf auf. Zunächst wird in der
Einheit
21 ein repräsentativer Bewegungsvektor nur aus den Verschiebungsvektoren aus der
Umgebung des Hauptmaximums der Häufigkeitsverteilung abgeleitet, welches die dominante
Objektbewegung repräsentiert. Durch diese Vorgehensweise wird die Ableitung einer
Mischbewegung und damit ein starkes Fehlersignal über den ganzen Fensterbereich
vermieden. Statt dessen wird nur die Bewegung des dominanten Objektes ermittelt
und für die Prädiktion verwendet.
-
Allerdings wird dadurch ein erhebliches Fehlersignal an den Orten
nachrangiger Objektbewegungen hervorgerufen. Das erhöhte Fehlersignal in Bildbereichen
nachrangig bewegter Objekte ist jedoch vorteilhaft für die Bewegungsanalyse der
zweiten Stufe mit den Einheiten 22 und 32. Das Verfahren vollzieht sich nun in folgenden
Schritten: Zwischen dem aktuellen Bild Om+l und dem vorhergehenden rekonstruiertem
Bild Rm wird in der Einheit 21 ein erstes Differenzbild gebildet, die Bildänderungsbereiche
werden durch kleinste umschreibende Rechtecke (Fenster) eingegrenzt, innerhalb dieser
Rechtecke werden die Richtungsänderungen die Konturen der bewegten Objekte gesucht,
an den Orten dieser Richtungsänderungen wird der jeweilige Verschiebungsvektor bestimmt,
aus dem Ensemble von Verschiebungsvektoren werden innerhalb eines jeden Rechtecks
die Verschiebungsvektoren der dominanten Bewegung durch eine zweidimensionale Fensterfunktion
isoliert, aus den Verschiebungsvektoren wird ein repräsentativer Bewegugnsvektor
ermittelt, mittels des repräsentativen Bewegungsvektors wird aus dem vorhergehend
rekonstruiertem Bild Rm in der Einheit 31 ein ersten Schätzbild 51m+1 berechnet,
zwischen
aktuellem Bild °mfl und erstem Schätzbild Slm+l wird nun in der zweiten Stufe in
der Einheit 22 ein zweites Differenzbid gebildet und wie bereits beschrieben, ein
zweiter repräsentativer Bewegungsvektor für die zweitrangig bewegten Objekte ermittelt.
Die Einheit 32 berechnet hiermit ein zweites Schätzbild S2m.tl.
-
Da die Bilder bei Schwenk und Zoom der Aufnahmekamera den gleichen
Gesetzen der Zentralprojektion folgen wie die Abbildung bewegter Objekte, werden
derartige Bild-zu-Bild-Änderungen von der ersten Stufe der Codiereinrichtung mit
zweistufiger Bewegungsprädiktion zunächst als dominant erkannt und ausgewertet.
Die zweite Stufe berücksichtigt dann Relativbewegungen evtl. vorhandener bewegter
Objekte.
-
Im allgemeinen reicht eine zweistufige Bewegungsprädiktion aus. Extremfälle,
wie Spurkreuzung zweier Objekte mit teilweiser Verdeckung bei gleichzeitigem Schwenk
oder Zoom der Kamera würde eine dritte und unter Umständen eine vierte Stufe vorteilhaft
erscheinen lassen. Aufwand und Zweck entscheiden über die günstigste Anzahl der
zu verwendenden Stufen.
-
Nach Anwendung der beschriebenen Prädiktionstechnik verbleiben Fehlersignale
lediglich entlang der Randzonen der Änderungsbereiche und verteilte Fehler geringer
Amplitude.
-
Der größte Teil der verbleibenden Fehlersignale wird durch Bewegungsformen
verursacht, die durch einen Bewegungsvektor nicht beschreibbar sind, wie dies beispielsweise
für Bildszenen mit im Wind bewegten Blättern eines Baumes auftritt. Für die üblichen
Beobachtungsaufgaben werden derartige Bewegungsvorgänge als insignifikant betrachtet
und ihre Übertragung daher unterdrückt.
-
Eine Änderungsdetektion zwischen Originalbild °m+l und zweitem Schätzbild
S2 m+l liefert relativ kleine umschreibende Fenster, in denen zumeist ein einziger
Fehlersignaltyp auftritt. Es ist daher vorteilhaft, aus den drei ermittelten Schätzbildern
Rmg Slm+l und S2m+l für jedes Fenster das beste Schätzsignal auszuwählen, für jedes
Fenster einen Merkmalsvektor zu bestimmen und mit diesem eine Signifikanzklassifikation
im Klassifikator 51 durchzuführen. Als Eingangsdaten für den Klassifikator 51 stehen
das Originalbild Om+l' das vorhergehende rekonstruierte Bild Rm, die Schätzbilder
51mal S2m+1 und die in m+l den Einheiten 21 und 22 ermittelten Bewegungsdaten zur
Verfügung.
-
Zur Klassifizierung der Bildänderungsbereiche sind folgende Komponenten
des Merkmalsvektors wichtig: 1. Leistung des Differenzbildsignals nach der Bewegungsprädiktion
2. Betrag des repräsentativen Bewegungsvektors 3. Streuung des Bewegungsvektors
(durch Abweichungen zwischen geschätzter und tatsächlicher Bewegung) 4. Gewinn durch
die Bewegungsprädiktion 5. Leistung des Gradientenbildes 6. Liniengehalt des Gradientenbildes
Die Tabelle zeigt das Verhalten dieser Merkmale für typische Bewegungsformen. Die
Komponenten des Merkmalvektors sind bspw. in vier Stufen (0 bis 3) eingeteilt. Hierbei
bedeutet die Stufe 0 eine vernachlässigbar kleine und die Stufe 3 eine sehr große
Komponente. Zum Bewegungstyp 1 gehört beispielsweise ein fahrendes Auto, zum Bewegungstyp
2 ein gehender Mensch und zum Bewegungstyp 3 bewegtes
Laub. Die
Entscheidungs des Klassifikators 51 steuert den Quantisierer 13, der das Fehlersignal
in nicht signifikanten Fenstern unterdrückt. Die Tabelle zeigt, daß sich Merkmal
1 in gleicher Weise verhält wie Merkmal 3. Im allgemeinen genügt es daher, für die
Signifikanzklassifikation die Merkmale 1, 4, 5 und 6 zu verwenden.
-
Beweg.Typ 1 2 3 Merkmal gerichtet, gerichtet, ungerichtet, formstab.
nicht formstab. nicht formstab.
-
1 0 2 2-3 2 0-3 0-2 1 3 0 2 3 4 3 2 0-1 5 2 2 3 6 3 3 1 Eine rechteckförmige
Umschreibung (Fenster) der Bildänderungsbereiche ist nur eine grobe Annäherung an
die wirklichen Umrisse dieser Bereiche. Eine verbesserte Ausgestaltung der Erfindung
sieht daher vor, an den Bildänderungsbereich angepaßte kleinste umschreibende Vielecke,
beispielsweise Achtecke, zu verwenden.
-
- Leerseite -