DE69521966T2 - Einrichtung zur Kodierung eines Videosignales bei Anwesenheit eines Leuchtdichtegradienten - Google Patents

Description

• Die vorliegende Erfindung betrifft das Gebiet der digitalen Bildsignalverarbeitung und insbesondere eine Einrichtung zur Kodierung eines Fernsehsignals bei Anwesenheit eines Bildintensitäts-Gradienten, wie zum Beispiel eines Leuchtdichtegradienten bei einem Bildübergang oder sogenanntem Bild-Fading, zum Beispiel von einem normalen Bild zu einem Bild mit Schwarzwert oder umgekehrt.
• Eine Videofolge, wie sie zum Beispiel durch ein Fernsehsignal dargestellt wird, ist eine Folge von bewegungslosen Bildern oder sogenannten Standbildern, die in schneller Aufeinanderfolge dargestellt werden und einem Betrachter den Eindruck einer kontinuierlichen Bewegung vermitteln. Jedes Vollbild überträgt verschiedene Bildinformationen, und die für einen Bewegungseindruck notwendige hohe Vollbildrate resultiert oftmals in einem nennenswerten Betrag an zeitlich redundanten Informationen zwischen angrenzenden Vollbildern. Eine Kodierung mit Bewegungskompensation, eine Form einer Datenkomprimierung, ist eine Form einer Voraussagekodierung in einer zeitlichen Dimension, die häufig in dem Versuch zur Beseitigung einer derartigen zeitlichen Redundanz angewendet wird.
• Bei der Abwesenheit einer Szenenänderung von einem Vollbild zu dem nächsten erklärt eine Bildbewegung von einem Vollbild zu dem nächsten einen großen Teil der Intensitätsänderung von einem Vollbild zu dem nächsten. Bei einer bewegungskompensierten Kodierung mit Bildvoraussage wird das laufende Vollbild aus einem vorher kodierten Vollbild durch Abschätzung der Bewegung zwischen den beiden Vollbildern und durch eine Bewegungskompensation vorausgesagt. Die Differenz zwischen dem laufenden Vollbild und der Voraussage des laufenden Vollbilds wird allgemein als das (bewegungskompensierte) Restbild (residual image) bezeichnet, das dann kodiert wird. Die Energie in dem Restbild ist aufgrund der Beseitigung der zeitlich redundanten Informationen im allgemeinen wesentlich geringer als die Energie in dem Ursprungsbild. Die Kodierung der Restinformationen anstelle der Informationen des Ursprungsbildes ergibt eine wirkungsvollere Ausnutzung der für die Kodierung verfügbaren Datenbit.
• Die bewegungskompensierte Voraussagekodierung kann viele Formen annehmen. Eine bekannte Lösung basiert auf einer Block-Anpassung. In dieser Lösung wird das laufende Vollbild in eine vorgeschriebene Anzahl von rechteckigen Bereichen oder Blöcken aufgeteilt, und es erfolgt eine Suche für den Versatz in einem angrenzenden Vollbild, der die beste Anpassung zwischen den möglichen Blöcken in dem angrenzenden Vollbild liefert. Ein Bewegungsvektor mit zugeordneten Koordinaten x, y bildet den Zusammenhang zwischen dem Block in dem laufenden Vollbild und dessen beste Anpassung in dem angrenzenden Vollbild. Eine bewegungskompensierte (Restbild)-Kodierung ist ein Beispiel einer sogenannten inter-frame (von Vollbild zu Vollbild)-Kodierung. In Fällen, wo die bewegungskompensierte Restkodierung keine akzeptablen Ergebnisse liefert (z. B., wo die Voraussage nicht so gut ist, als wenn sich eine Szene von einem Vollbild zum nächsten ändert), können bessere Ergebnisse durch die sogenannte intra-frame (innerhalb eines Vollbildes)-Kodierung erzielt werden, wo die Videoinformationen des Vollbilds selbst ohne Bewegungskompensation kodiert werden.
• Verschiedene Typen einer Bild-Kodierung/Komprimierung, einschließlich einer sogenannten inter-frame bewegungbskompensierten Voraussagekodierung, wie oben erläutert, sind zum Beispiel beschrieben von Ang et al. in Video Compression Makes Big Gains, IEEE Spectrum, Oktober 1991. Insbesondere beschreibt dieser Artikel einen Video-Bewegungskoder vom Typ CCITT H.261 einschließlich Mitteln für eine intra-frame-Kodierung und einer inter-frame bewegungskompensierten Voraussage- Restkodierung, die kompatibel ist mit der vorgeschlagenem MPEG-Norm (Moving Pictures Expert Group) für die Bildkodierung (150/IEC 13818-2, November 1993). Die vorgeschlagene MPEG-Norm verwendet ebenfalls einen Bewegungskomprimier- Algorithmus mit inter- und intra-frame-Modi.
• Der Erfinder zu dieser Erfindung hat erkannt, daß unter bestimmten Bedingungen manche Bewegungsschätzer ausreichend ineffizient sind, ein sogenanntes Bild- "blockiness"-Artefakt zu erzeugen (ein wahrnehmbarer Unterschied im Detail zwischen ein Bild darstellenden Pixelblöcken). Ein derartiges Artefakt kann zum Beispiel durch Bewegungsschätzer, die mit einer sogenannten Mean Square Error or Means Absolute Error Verarbeitung arbeiten, aufgrund einer fehlerhaften Anpassung entstehen. Im einzelnen wurde erkannt, daß während eines Bildübergangs oder eines Bild- Fading von einem normalen Bild zu einem schwarzen Bild oder umgekehrt Änderungen von Vollbild zu Vollbild in dem Bildinhalt (Detail) nur durch hochverfeinerte Bewegungsschätzer genau angepaßt werden können. Diese Unfähigkeit, die Bilddetails von Vollbild zu Vollbild zu berücksichtigen, führt stattdessen zu einer Luminanzanpassung. Eine Luminanzanpassung erzeugt falsche Informationen von dem Bewegungsschätzer, da bei einem bewegungslosen Bild eine Luminanzänderung bei einem Übergang oder Fading fälschlicherweise eine Bewegung vortäuscht. In anderen Worten: Ein Luminanzgradient von Vollbild zu Vollbild bei einem Bildübergang kann fälschlicherweise bewirken, daß der Bewegungsschätzer annimmt, daß eine Bewegung vorliegt, da der Bewegungsschätzer nicht unterscheiden kann, daß sich das Bilddetail nicht geändert hat. Eine derartige Anpassung eines Luminanzgradienten erzeugt Störungen, unvoraussehbare Ergebnisse (z. B. "Bewegungsvektoren"), die für die Effizienz der Kodierung im wesentlichen nutzlos und schädlich sind.
• Einige Arten einer bewegungskompensierten Videosignalverarbeitung bewirken eine Ermittlung der Szenenänderung aufgrund einer Pegelauswertung, wie zum Beispiel beschrieben in der Patentanmeldung. GB 2 263 602. Die US-PS 5 404 174 betrifft ebenfalls eine Ermittlung einer Szenenänderung aufgrund einer Korrelation zwischen Bewegungsvektoren aufeinanderfolgender Bilder.
• Die Anwendung derartiger Kriterien ermöglicht keine effiziente Verarbeitung, um zum Beispiel Änderungen in einer Szene aufgrund eines Bildübergangs zu ermitteln.
• Es ist eine Aufgabe der vorliegenden Erfindung, ein verbessertes Verfahren und eine Einrichtung zur Verarbeitung eines ein Bild darstellendes Signals unter Berücksichtigung eines Bild-Intensitätsgradienten zu schaffen.
• Eine Einrichtung der vorliegenden Erfindung enthält ein Verarbeitungsnetzwerk für eine Bildbewegung, das auf das ein Bild darstellende Signal anspricht und Bewegungsvektoren erzeugt, gekennzeichnet durch einen auf das das Bild darstellende Signal ansprechenden Detektor zum Erzeugen eines Anzeigesignals, das einen Bildintensitäts-Gradienten über mehr als ein Halbbild darstellt, wobei das Anzeigesignal den Gradienten bezüglich eines größten Teils eines Halbbilds darstellt, und Mittel zum Zuführen des Anzeigesignals zu dem Verarbeitungsnetzwerk für die Bewegung, um die Bewegungsvektoren auf null zu setzen.
• Ein beanspruchtes Verfahren enthält folgende Schritte:
• - Einsatz eines Bildbewegungs-Prozessors zum Empfang des das Bild darstellenden Signals,
• - Erzeugung von Bewegungsvektoren für das das Bild darstellende Signal, wobei der Wert der Bewegungsvektoren durch ein Steuersignal beeinflußt wird,
• - Bildung der Summe der Differenzen der Pixelwerten zwischen einer vorbestimmten Anzahl von entsprechenden Segmenten von angrenzenden Vollbildern für jedes von zwei Paaren von angrenzenden Vollbildsegmenten,
• - Bestimmung eines Verhältnisses eines Bildintensitätsgradienten zu der Summe der Pixeldifferenzen von angrenzenden Vollbildern und
• - Erzeugung des Steuersignals derart, daß die Bewegungsvektoren einen Wert null aufweisen, wenn ein Bildübergang durch das im wesentlichen konstant bleibende Verhältnis angezeigt wird.
• Gemäß Prinzipien der vorliegenden Erfindung wurde hier erkannt, daß es in einem Videosignal-Verarbeitungssystem mit einer Bewegungskompensation nützlich ist, unter bestimmten Bedingungen den Bewegungsvektoren einen Wert von null zuzuordnen. Eine dieser Bedingungen wurde oben im Zusammenhang mit einem Bildin tensitäts-Gradienten beschrieben, wie er im allgemeinen bei einem Bildübergang vorliegt, wo herausgefunden wurde, daß auf null gesetzte Bewegungsvektoren die beschriebenen sogenannten "blockiness"-Artefakte verringern oder beseitigen. Das Nullsetzen der Bewegungsvektoren ist außerdem in Situationen nützlich, wo ein Bewegungsschätzer eine Bewegung ungeeignet detektiert. Das kann auftreten, wenn ein Bewegungsschätzer keine spezielle Prüfung für einen (0,0)-Vektor für ein unbewegtes Bild oder Standbild oder Ruhebereiche oder unbewegte Bereiche eines Vollbildes bewirkt.
• Eine beschriebene Einrichtung setzt Bewegungsvektoren auf null, wenn eine Änderung in der Szenenintensität detektiert wird, zum Beispiel ein Bildübergang von normal auf schwarz oder umgekehrt oder ein Übergang von einer normalen Szene zu einer anderen. Für diesen Zweck wird eine Folge von drei angrenzenden Vollbildern ausgewertet. Jedes Vollbild wird in eine gleiche Anordnung von Segmenten aufgeteilt. Die Summe der Absolutwerte der Differenzen zwischen gleich-positionierten Pixeln in Segmenten aus angrenzenden Vollbildern wird für jedes von zwei Paaren von angrenzenden Vollbildsegmenten gewonnen. Das Verhältnis der Summen der absoluten Pixeldifferenzen wird gewonnen. Ein Übergang wird angezeigt, wenn das Verhältnis für eine vorgeschriebene Anzahl von Segmenten konstant bleibt.
In der Zeichnung:
• Fig. 1 ist eine bildliche Darstellung einer Folge von Vollbildern zur Erläuterung eines Algorithmus zur Anzeige des Vorliegens eines Bildübergangs.
• Fig. 2 ist ein Blockschaltbild eines Videokoders mit einer Bewegungsverarbeitung und einem System gemäß Prinzipien der vorliegenden Erfindung.
• Fig. 3 ist ein Flußdiagramm eines Algorithmus zur Detektierung eines Bildübergangs.
• Fig. 4 zeigt eine Folge von zeilen-verschachtelten Vollbildern, von denen jedes ungeradzahlige und geradzahlige Halbbilder enthält, die durch die im Zusammenhang mit Fig. 1 beschriebene Lösung für die Detektion eines Übergangs verarbeitet werden können.
• Fig. 1 zeigt eine Folge von drei angrenzenden Vollbildern, die in diesem Beispiel nicht-verschachtelte Zeilen enthalten. Die folgende Erläuterung bezieht sich ebenfalls auf eine Folge von nicht-verschachtelten Vollbildern, von denen jedes ungeradzahlige und geradzahlige Halbbilder enthält, wie im folgenden erläutert wird. Das Vollbild 3 ist ein laufendes Vollbild, das sich in dem Vorgang der Kodierung, zum Beispiel durch die Vorrichtung gemäß Fig. 2, befindet, wie später erläutert wird. Das Vollbild 2 geht unmittelbar dem Vollbild 1 zeitlich voran, und das Vollbild 3 geht unmittelbar dem Vollbild 2 zeitlich voran. Jedes Vollbild ist in diesem Beispiel in eine identische Anordnung von 12, mit "A" bis "L" bezeichneten horizontalen Segmenten aufgeteilt. Es können vertikale Segmente, Blöcke oder andere geometrische Anordnungen angewendet werden. Jedes Vollbild enthält in bekannter Weise mehrere Bildpixel P. Die Anzahl der Segmente ist nicht kritisch, solange genügend Segmente oder Bereiche eines Bildes geliefert werden, um das Auftreten eines Bildübergangs entsprechend den Anforderungen eines gegebenen Systems zuverlässig anzuzeigen. In dieser Darstellung enthält das Vollbild 3 den größten Übergang (zum Beispiel von einem Normalbild zu Schwarz), und das Vollbild 1 enthält den geringsten Übergang in den drei Vollbildern in Folge.
• Es wurde ermittelt, daß eine Analyse von drei aufeinanderfolgenden Vollbildern ausreicht, die Anwesenheit eines Bildübergangs anzuzeigen. Speichereinheiten für drei Vollbilder, die in diesem Zusammenhang benötigt werden können, können zu Videokodern von dem anhand der Fig. 2 beschriebenen Typ gehören, oder die Vollbild- Speichereinheiten können unabhängig davon vorgesehen sein. Speichereinheiten für mehrere Vollbilder findet man häufig in Videokodern zur Vorverarbeitung von Vorgängen, wie zum Beispiel in Aufnahme- oder Vorfilterungs-Vorgängen. Die folgende Erläuterung erfolgt anhand einer Analyse von einander entsprechenden Segmenten "A" in jedem der drei angrenzenden Vollbilder. Die aus dieser Analyse gewonnenen Differenzinformationen dienen zur Bildung eines Verhältnisses SA. Dieser Verhältniswert zeigt, wenn er mit den auf ähnliche Weise berechneten Verhältnissen für alle anderen Segmente verglichen wird, an, ob ein Bildübergang vorliegt oder nicht. Der im folgenden beschriebene Vorgang ist durch das Flußdiagramm von Fig. 3 dargestellt. Das Flußdiagramm von Fig. 3 enthält die Verarbeitung von zeilenverschachtelten Vollbildern, wie im folgenden erläutert wird.
• Als ein erstes Beispielwivird eine Situation mit einem Übergang auf Schwarz wie folgt betrachtet
• Ein Übergangs-Faktor "a" hat einen willkürlichen Wert, ist jedoch kleiner als eins, da er die Verringerung der Größe eines Pixels oder Segments von einem Vollbild zu dem nächsten anzeigt, wenn das Bild vom Normalzustand auf Schwarz übergeht. In der Praxis ist die Änderung des Helligkeitswertes ein guter Indikator für den Betrag der Änderung in der Pixel-Intensität während des Übergangs. Diese Übergangs- Folge (1....a....a²) ist nicht vorbestimmt, jedoch als ein Beispiel gezeigt, wie der Übergang vom Vollbild 1 (Übergangs-Faktor gleich eins, kein Übergang) über das Vollbild 2 zu dem Vollbild 3 (maximaler Übergang) erfolgen kann. Dieser Betrag des Übergangs steigt bei dem Übergang vom Vollbild 1 über das Vollbild 2 zu dem (laufenden) Vollbild 3 an.
• In Fig. 1 wird für einander entsprechende Segmente A in den Vollbildern 1 und 2 die Differenz zwischen den Intensitätswerten der gleich lokalisierten Pixel in den einander entsprechenden Segmenten angrenzender Vollbilder ermittelt. Es wird dann der Absolutwert jeder Pixeldifferenz gebildet. Diese Absolutwerte werden dann addiert und bilden einen Vollbild-Differenzwert DIFF&sub1;&submin;&sub2;. Ein ähnlicher Vorgang wird bei den Vollbildern 2 und 3 angewendet, um einen Vollbild-Differenzwert DIFF&sub2;&submin;&sub3; zu bilden. Schließlich wird das Verhältnis des Vollbild-Differenzwertes IDIFF&sub2;&submin;&sub3; zu dem Vollbild-Differenzwert DlFF&sub1;&submin;&sub2; gebildet. Es läßt sich zeigen, daß das Vollbild- Differenzverhältnis für dieses Beispiel gleich einem Wert ist, der dem Wert "a" in der oben dargestellten Übergangsfolge entspricht. Dieses Differenzverhältnis für Segmente "A" zwischen den Vollbildern 1, 2 und 3 ist mit SA bezeichnet. Ein ähnlicher Vorgang wird für die übrigen Segmente B-L angewendet, um die Differenzverhältnisse SB-SL zu erhalten.
• Ein Bildübergang wird angezeigt, wenn der berechnete Wert "a" des Vollbild- Differenzverhältnisses zwischen den Bildsegmenten A-L im wesentlichen konstant bleibt. Jedoch muß der Verhältniswert nicht für alle Segmente im wesentlichen gleich sein. Entsprechend den Anforderungen eines bestimmten Systems kann es für eine vorbestimmte Anzahl von Segmenten, zum Beispiel 80%-90%, oder eine größere Menge ausreichend sein, gleiche Verhältniswerte zu bilden. Diese Zahl kann ein Parameter des Algorithmus sein, zusammen mit einem Schwellwert zur Entscheidung, ob oder ob nicht ein berechnetes Verhältnis gleich dem Wert "a" ist. Diese vorbestimmte Zahl ist auch ein Maß für die Möglichkeit, daß eine Bildbewegung während der Übergangsfolge vorliegen kann.
• Wenn zum Beispiel während eines Übergangs viel Bewegung vorliegt und nur 40%- 50% der Segmente denselben Verhältniswert aufweisen, wird das Übergangs- Detektiersystem anzeigen, daß kein Übergang stattgefunden hat. In diesem Fall wird es, selbst wenn ein Übergang stattfindet, für den Koder als unerwünscht angesehen, die Bewegungsvektoren auf null zu setzen, da ein großer Prozentsatz der kodierten Blöcke eine Bewegung enthalten kann. Auf null gesetzte Bewegungsvektoren werden in diesem Fall nicht benutzt, da die Anwendung von Nicht-Null- Bewegungsvektoren nützlich ist. Ein Wert für das Vollbild-Differenzverhältnis von null oder ungefähr null ist zum Beispiel eine Anzeige dafür, daß kein Übergang stattgefunden hat. Im einzelnen: Wenn der Wert DIFF für die Vollbild-Differenz für jedes einzelne Segment (oder eine vorbestimmte Anzahl von Segmenten) gleich null oder nahe null ist, kann der Algorithmus einen Zustand ohne Übergang angeben. Dieses Kriterium wird verhindern, daß ein unbewegtes oder nahezu unbewegtes Bild als ein Übergangsbild erklärt wird.
• Ein Übergang von Schwarz zu einer normalen Szene ist die Umkehrung des Vorgang für den Übergang auf Schwarz und würde ähnlich durchgeführt. Es sei zum Beispiel ein Übergang von Schwarz zu einem normalen Bild betrachtet, wo sich der Übergangfaktor über den Ablauf einer Vollbildfolge von "a" auf "b" folgendermaßen ändert:
• In diesem Fall ist der Faktor "a" kleiner als eins, und der Faktor "b" ist kleiner als eins, jedoch größer als der Faktor "a". Wie in dem anderen Beispiel ist diese Übergangs-Folge nicht vorbestimmt, erläutert jedoch ein anderes Beispiel, wie der Übergang vom Vollbild 1 (Übergang beginnt) über die Vollbilder 2 und 3 bis zum Vollbild 4 (Übergang auf ein normales Bild ist beendet) erfolgen kann. Die Differenzwerte DIFF&sub1;&submin;&sub2; und DIFF&sub2;&submin;&sub3; werden für jedes Segment bestimmt, und die Verhältnisse der Vollbild-Differenzen SA-SL werden, wie oben erläutert, berechnet, Es läßt sich zeigen, daß das Differenzverhältnis für dieses Beispiel gleich einem Wert "a(1-b)/(1-a)" ist. Ein Bildübergang wird angezeigt, wenn dieser Wert über alle oder eine vorbestimmte Anzahl von Bildsegmenten A-L im wesentlichen konstant bleibt, wie bereits oben erläutet Analoge Ergebnisse ergeben sich im Falle eines Übergangs von Normal auf Schwarz, wo sich der Übergangsfaktor ändert.
• Zur Vereinfachung der Zeichnung zeigt Fig. 1 den Übergangs-Detektiervorgang an drei Vollbildern. Jedoch besteht in einem zeilenverschachtelten System jedes Vollbild aus einem ungeradzahligen Halbbild und einem geradzahligem Halbbild, wie allgemein bekannt. In einem derartigen Fall würden die oben beschriebenen Differenzverhältnisse für die Folge der ungeradzahligen und geradzahligen Halbbilder getrennt berechnet. Zum Beispiel würde das Differenzverhältnis SA(odd) der ungeradzahligen Halbbilder berechnet als
• wobei "odd" für ungeradzahlig steht. Dabei ist DIFF&sub2;&submin;&sub3;(odd) die Summe der absoluten Pixeldifferenzen zwischen dem ungeradzahligen Halbbild des Vollbilds 2 und dem ungeradzahligen Halbbild des Vollbilds 3. DIFF&sub1;&submin;&sub2;(odd) ist die Summe der absoluten Pixeldifferenzen zwischen dem ungeradzahligen Hallbild des Vollbilds 1 und dem ungeradzahligen Halbbild des Vollbilds 2. Es erfolgt ein Vergleich von SA(odd) mit SB(odd)...bis zu SL(odd), um festzustellen, ob die Verhältnisse für eine vorbestimmte Anzahl von Segmenten im wesentlichen konstant bleiben. Auf ähnliche Weise werden die Differenzverhältnisse der geradzahligen Halbbilder berechnet und SA(even) wird mit SB(even)...bis zu SL(even) berechnet. Dabei steht "even" für geradzahlig. Dieser getrennte Halbbildvergleich ermöglicht es der Einrichtung, den Übergang an den Bildrändern zu detektieren.
• Fig. 4 zeigt eine Folge von zeilenverschachtelten Vollbildern 1, 2 und 3, von denen jedes aus einem ungeradzahligen Halbbild und einem geradzahligen Halbbild besteht. In diesem Beispiel ändert sich der Übergangsfaktor für die Folge der ungeradzahligen Halbbilder von a&sub1; auf a&sub2; usw., während sich der Übergangsfaktor der Folge von geradzahligen Halbbildern durch einen Differenzfaktor von b&sub1; auf b&sub2; usw. ändert. In dieser Art des Halbbild-Übergangs werden die ungeradzahligen und geradzahligen Differenzverhältnisse (SA...) getrennt berechnet und verglichen.
• Als ein Ergebnis des beschriebenen Algorithmus wird ein Steuersignal zur Anzeige gebildet, ob ein Bildübergang stattgefunden hat oder nicht. Dieses Steuersignal wird in vorteilhafter Weise von einem Videosignal-Koder dazu benutzt, die Signalverarbeitung zu ändern, wie im Zusammenhang mit der zu MPEG kompatiblen Video (Fernseh)-Signalverarbeitung und dem in Fig. 2 dargestellten Datenkomprimiersystem beschrieben wird.
• In dem Beispiel von Fig. 1 unterliegen die entsprechenden Vollbild/Halbbild- Segmente einer Verarbeitung, in der die Summe der Absolutwerte der Pixeldifferenzen zwischen zusammenliegenden Pixeln in angrenzenden Halbbildern erzeugt wird.
• Es können andere Arten der Verarbeitung benutzt werden, abhängig von den Anforderungen einer bestimmten Einrichtung. Es könnte zum Beispiel für einander entsprechende Segmente in angrenzenden Halbbildern der Absolutwert der Pixel in jedem Segment gebildet werden, dann für jedes Segment addiert werden. Danach würde die Hallbilddifferenz der Summen ermittelt. Die Differenz (im Gegensatz zu der absoluten Differenz) zwischen einander entsprechenden, zusammenliegenden Pixeln in angrenzenden ungeradzahligen oder geradzahligen Halbbildern ähnlicher Parität kann ebenfalls in dem Vorgang für die Übergangs-Detektierung benutzt werden.
• In der Einrichtung von Fig. 2 stellt ein Eingangs-, zu MPEG kompatibler digitaler Datenstrom die Bildpixeldaten eines laufenden, zu verarbeitenden Vollbildes dar. Die Eingangsdaten werden durch einen Eingangs-Vollbildpuffer 20 gespeichert. Aus dem Puffer 20 gelesene Daten werden über ein Differenziernetzwerk 22 und einen Multiplexer 24 einer Einheit 26 für eine diskrete Cosinustransformation (DCT = Discrete Cosine Transform) zugeführt. Die Wirkungsweise der Einheiten 22 und 24 wird im folgenden im Zusammenhang mit den Aspekten der Bewegungsverarbeitung der Einrichtung von Fig. 2 erläutert. Die durch die Einheit 26 durchgeführte diskrete Cosinustransformation ist eine hinreichend bekannte Lösung zur wirkungsvollen und effizienten Verringerung der räumlichen Redundanz eines Videosignals durch Umsetzung eines Eingangssignals im Zeitbereich in ein diskretes Frequenzspektrum darstellende Koeffizienten. Jeder Transformationskoeffizient stellt zum Beispiel einen Block mit 8 · 8 Pixeln dar.
• DCT-Transformationskoeffizienten von der Einheit 26 werden durch die Einheit 28 quantisiert, durch die Einheit 30 mit variabler Länge kodiert und durch einen Ausgangspuffer 32 gespeichert, bevor sie einer Vorwärts-Fehlerkorrektur (FEC = forward error correction) durch die Einheit 36 unterworfen werden. Der Inhalt (Füllung) des Puffers 32 wird durch eine Raten-Steuereinheit 34 überwacht, die ein Ausgangs- Steuersignal liefert, das zur adaptiven Änderung der Quantisier-Parameter (z. B. Schrittgröße der Quantisierung) des Quantisierers 28 benutzt wird. Durch diese Anordnung wird die Bitrate des Datenstroms so gesteuert, daß die mittlere Eingangsrate zu dem Puffer 32 im wesentlichen konstant ist. Ein Unterlauf oder Leerwerden und ein Überlauf des Puffers werden weitestgehend vermieden, und es wird eine im wesentliche konstante Puffer-Ausgangsbitrate erreicht. Das Ausgangssignal von dem Prozessor 36 wird in geeigneter Weise verarbeitet, zum Beispiel durch Filterung und Modulation, bevor es einem Ausgangskanal zugeführt wird.
• Die Blöcke 40-54 von Fig. 2 bilden zusammen mit den Blöcken 22-28 eine bekannte Anordnung eines DPCM-Bewegungs-Schätzungs/Kompensations-Koders. Eine Einrichtung dieser Art ist beschrieben in den obengenannten Artikeln von Ang et al., Video Compression Makes Big Gains. Gemäß den Prinzipien der vorliegenden Erfindung ist ein Bild-Übergangs-Detektor 70 zum Erzeugen eines Übergangs- Indikatorsignals vorgesehen. Dieses Signal wird nach einer Analyse einer Folge von angrenzenden Halbbildern erzeugt, wie es anhand der Fig. 1 beschrieben wurde, und wird den Steuereingängen der Modus-Steuereinheit 54 und dem Bewegungsschätzer 48 zugeführt. Zusätzlich werden durch den Bewegungsschätzer 48 gebildete Bewegungsvektoren MV einem Steuereingang des Modus-Prozessors 54 zugeführt.
• Der Bewegungsprozessor arbeitet entweder in einem intra-frame-Kodiermodus oder in einem Voraussageinter-frame-Kodiermodus. Bei der intra-frame-Kodierung wird das Videosignal selbst kodiert. Bei der inter-frame-Kodierung wird das Signal eines Restbildes kodiert, das die Differenz zwischen dem laufenden Vollbild und der Voraussage des laufenden Vollbildes darstellt. Wenn die Voraussage gut ist, wird eine inter-frame-Kodierung angewendet und im allgemeinen bevorzugt, weil weniger Vollbild-Informationen kodiert werden müssen. Bei der Voraussagekodierung wird der Wert eines Pixels aufgrund seiner Vorgeschichte vorausgesagt. Der vorausgesagte Wert wird von dem laufenden Wert des Pixels subtrahiert und bildet einen Fehler oder einen Rest, der kodiert und übertragen wird. Ein Empfänger addiert den empfangenen Rest zu seiner eigenen Voraussage, um den richtigen laufenden Pixelwert zu bekommen. Die folgende Beschreibung geht davon aus, daß eine Voraussageinter-frame-Kodierung angewendet wird.
• Bei dem Vorgang der Bewegungsverarbeitung werden quantisierte Restbild-Daten von der Einheit 28 durch die Einheit 40 invers quantisiert und durch eine Einheit 42 invers DCT-transformiert, bevor sie einer Addierstufe 44 zugeführt werden. Ein anderer Eingang der Addierstufe 44 empfängt ein vorausgesagtes Bild, das in der im folgenden beschriebenen Weise gebildet wird. Ein rekonstruiertes Vollbild ergibt sich aus einer Kombination des Restbildes und des vorausgesagten Bildes an den Eingängen der Addierstufe 44. Die Rekonstruktion wird benötigt, weil die inter-frame- Verarbeitung eine Voraussagekodierung anwendet, die fordert, daß sich der Koder an das Verhalten des Dekoders anpaßt, um zu vermeiden, daß das rekonstruierte Bild von dem Dekoder von dem ursprünglichen Eingangsbild abweicht. Das rekonstruierte Bild wird durch einen Vollbildspeicher 46 gespeichert. Der Bewegungsschätzer 48 empfängt ein laufendes Vollbild von dem Ausgang des Eingangspuffers 20 und ein rekonstruiertes Vollbild von dem Vollbildspeicher 46. Unter Anwendung eines Untersuchungsfensters vergleicht der Bewegungsschätzer 48 jeden (z. Bsp. 8 · 8) Pixelblock des laufenden Vollbildes mit Pixelblöcken des vorher rekonstruierten Bildes von dem Speicher 46. Für jeden Pixelblock wird ein Bewegungsvektor (MV) zur Anzeige der relativen Lagen der (Versatz zwischen) besten Anpassung zwischen den Blöcken in den laufenden und den rekonstruierten Bildern erzeugt. Die Bewegungsvektoren werden durch die Einheit 30 kodiert und dann zu dem Empfänger übertragen.
• Die Bewegungsvektoren von der Einheit 48 werden ebenfalls zu der Bewegungskompensations-Einheit 50 geliefert, die vorausgesagte (in der Lage eingestellte) Blöcke von dem Speicher 46 in Abhängigkeit von jeweils zugeordneten Bewegungsvektoren von dem Schätzer 48 liefert. Dieser Vorgang erzeugt ein vorausgesagtes Bild mit (zum Beispiel 8 · 8) bewegungskompensierten Blöcken von dem rekonstruierten Vollbild. Die Differenz zwischen dem vorausgesagten Bild und dem laufenden Eingangsblock, das Restbild, wird durch die Subtrahierstufe 22 gebildet. Das Restbild wird transformiert, quantisiert, kodiert und zu einem Empfänger/Dekoder übertragen, wie oben beschrieben wurde. Der Dekoder bewirkt die inverse Funktion der Koder-Funktion. In einem inter-frame-Betriebsmodus verwendet der Dekoder die aus einem Dekoder mit variabler Länge extrahierten Bewegungsvektoren, um die Lagen der vorausgesagten Pixelblöcke zu liefern.
• Der Koder von Fig. 2 enthält außerdem ein Paar von Multiplexern (MUXs) 24 und 52 und einen zugehörigen Prozessor 54 für einen inter/intra-Halbbild-Modus. Jeder MUX hat ein Paar von Eingängen zum Empfang von zu schaltenden Eingangssignalen, bezeichnet mit "0" und "1 ". Der Eingang "0" des MUX 24 empfängt das laufende Eingangssignal, und der Eingang "0" des MUX 52 empfingt einen festen Vorspannungswerk, zum Beispiel den Wert mit der logischen "0". Die Eingänge "1" der MUXs 24 bzw. 52 empfangen das Signal des Restbildes und das vorausgesagte Bildsignal. Der Modus-Prozessor 54 spricht auf die Bewegungsvektoren (MV) an und ermittelt, ob eine inter-frame oder eine intra-frame-Verarbeitung angewendet werden sollte. Wenn die bewegungskompensierte Voraussage gut ist, sendet der Modus- Prozessor 54 ein Signal zu den Steuereingängen der MUXs 24 und 52, um eine inter-frame-Verarbeitung zu ermöglichen. In diesem Fall leitet der MUX 52 das vorausgesagte Bildsignal von der Einheit 50 zu der Addierstufe 44, und der MUX 24 wird in die Lage versetzt, das Signal des Restbildes zu der DCT-Einheit 26 und den folgenden Einheiten zu übertragen. Umgekehrt ermöglicht das Signal von dem Modus- Prozessor 54, wenn die Voraussage nicht gut ist, eine intra-frame-Verarbeitung. In diesem Fall wird die Information des laufenden Vollbildes selbst und nicht das Signal des Restbildes zu der DCT-Einheit 24 und den darauffolgenden Kodiereinheiten übertragen, und das Signal des vorausgesagten Bildes wird von der Addierstufe 44 entkoppelt. Die Entscheidung, ob oder ob nicht eine Voraussage gut ist, basiert auf einer Vielfalt von Faktoren, die sich entsprechend den Anforderungen einer bestimmten Einrichtung ändern, wie zum Beispiel der Bildqualität und der Anzahl an benötigten Bit.
• Das von dem Modus-Prozessor 54 zu der DCT-Einheit 26 übertragene Signal instruiert die Einheit 26, entweder das in der Bewegung vorausgesagte Fehlersignal (inter-Kodierung) zu kodieren oder einen Makroblock des ursprünglichen Bildes ohne eine bewegungsgeschätzte Voraussage (intra-Kodierung) zu kodieren. Der Modus- Prozessor 54 liefert im wesentlichen an die DCT-Einheit 26 einen Block für die Verarbeitung. Die Entscheidung über die inter/intra-Kodierung basiert auf der Effizienz der Kodierung, die in verschiedenen Wegen ermittelt werden kann. Grundsätzlich ist diese Entscheidung abhängig von der Anzahl der Bit, die zur Kodierung eines Makroblocks bei einem gegebenen Qualitätswert benötigt werden, und dem Qualitätswert bei einer gegebenen Anzahl von Kodierbit. Die Bewegungsvektoren zeigen an, aus welchem Bildbereich das Differenzsignal abzuleiten ist. Die intra-Kodierung kann als eine Standard-Kodierungsentscheidung benutzt werden, wenn eine gleiche Effizienz der Kodierung zwischen der intra- und der inter-Kodierung angezeigt wird. Ein vorbestimmter Schwellwert kann bei der Entscheidung für eine Standard-intra- Kodierung angewendet werden.
• Der Modus-Prozessor 54 empfängt außerdem ein Übergangs-Indikator-Steuersignal von dem Übergangs-Detektor 70, der so arbeitet, wie es anhand der Fig. 1 beschrieben wurde. Der Übergangs-Detektor 70 kann drei Vollbild-Speichereinheiten zum Speichern der oben beschriebenen Folge von drei Vollbildern, digitale Signal- Verarbeitungsschaltungen zur Unterscheidung von ähnlich angeordneten Segmentpixeln in angrenzenden Vollbildern, eine Schaltung zur Bildung der Absolutwerte der Pixeldifferenzen, eine Schaltung zur Addition der Absolutwerte und eine Dividierschaltung zur Bildung des Verhältnisses der addierten Differenzen von angrenzenden Vollbildern enthalten. Ein geeigneter Speicherbetrag kann vorgesehen werden, wie er zur Durchführung dieser Funktionen benötigt wird. Diese Bauteile sind zur Vereinfachung der Zeichnung nicht dargestellt.
• Kurz gesagt: Die Einheit 70 liefert eine Anzeige des Bildübergangs durch eine Analyse einer Folge von drei angrenzenden Vollbildern und bildet ein Verhältnis der Summe von absoluten Pixeldifferenzen über die Folge der drei Vollbilder. Wenn bei einem Bildübergang ein Leuchtdichtegradient detektiert wird, instruiert der Übergangs- Indikator den Bewegungsschätzer 48, die Werte der Ausgangs-Bewegungsvektoren für alle Vollbilder, für die ein Übergang detektiert wird, auf null (d. h. die Koordinaten 0,0) zu setzen. Das Nullsetzen der Bewegungsvektoren kann durch bekannte Lösungen erfolgen, wie zum Beispiel durch den Bewegungsschätzer, der eine nicht vorhandene, räumliche Verschiebungen darstellende Codes mit variabler Länge erzeugt. Abwandlungen dieses Ergebnisses können in hierarchischen Bewegungsschätzer-Einrichtungen benutzt werden, die Bewegungsvektoren bei einem bestimmten Wert wie grob, fein oder Halb-Pixel setzen. Der geänderte Ausgang des Bewegungsschätzers 48 wird in bekannter Weise durch Makroblock-Entscheidungs- Netzwerke in dem Modus-Prozessor 54 verarbeitet und ausgewertet. Die Entscheidungsschaltungen sollten vorzugsweise leicht in Richtung einer Entscheidung für eine intra-frame-Kodierung vorgespannt sein. Wenngleich eine inter-frame-Kodierung dieselbe Anzahl oder geringfügig weniger Kodierbit als die intra-frame-Kodierung benötigen würde, würde die inter-Kodierung mehr sichtbare Kodier-Artefakte erzeugen.
• Wenn sich herausstellt, daß die auf null (0,0) gesetzten Bewegundsvektoren keine gute Anpassung bilden, wird der Prozessor 54 bewirken, daß das System in einem Modus mit einer intra-frame-Kodierung arbeitet. Wenn jedoch auf null gesetzte Bewegungsvektoren eine gute Anpassung aufweisen, was typisch ist für ein Bildübergang mit einer geringen oder keiner Bewegung, liefert der Schätzer 48 ein gutes Ergebnis, und die Einheit 54 instruiert die Einrichtung, eine inter-frame-Kodierung durchzuführen.
• Es wurde ermittelt, daß während eines Bildübergangs eine Änderung in der Amplitude (Leuchtdichte) von Vollbild zu Vollbild im allgemeinen bedeutungsvoller ist als eine auf Bewegung beruhende Änderung. Es hat sich gezeigt, daß die Zuordnung eines Wertes null (0,0) zu Bewegungsvektoren bei der Anwesenheit von Übergang sehr gute Ergebnisse liefert. Das Nullsetzen der Bewegungsvektoren bei der Anwesenheit von Übergang verringert auch in vorteilhafter Weise die für die Kodierung benötigte Anzahl an Bit und kann dazu dienen, den Kodiervorgang einer bestimmten Einrichtung zu ändern, zum Beispiel zwischen einer inter- und einer intra-frame- Kodierung. Bewegungsvektoren einer bewegten Szene werden nicht kodiert, wenn ein Übergang detektiert und entschieden wird, daß nur ein kleiner Prozentsatz des Bildes eine Bewegung enthält, zum Beispiel 10% oder weniger, und daß Leuchtdichteänderungen von Vollbild zu Vollbild keine Bewegungsvektoren verursachen.
• Einrichtungen für eine Bewegungsverarbeitung, die sich häufig in Konsumerprodukten anfinden, können nicht verfeinert genug sein, um zwischen einer tatsächlichen Bewegung und einem Bildintensitäts-Gradienten wie zum Beispiel einem Leuchtdichtegradienten über mehrere Vollbilder zu unterscheiden. Diese Einrichtungen können derartige Gradienten als "Bewegung" wahrnehmen und falsche Bewegungsvektoren erzeugen. Die Effizienz der Kodierung wird verbessert, wenn die Einrichtung zur Bewegungsverarbeitung darüber informiert wird, daß ein derartiger wahrgenommener "Bewegungsvektor" tatsächlich einen Wert (0,0) hat, wie oben beschrieben, wodurch Kodierbits nicht für falsche Bewegungsvektoren vergeudet werden.

Claims (6)

1. Einrichtung zum Verarbeiten eines ein Büd darstellenden Signals mit:

einem Verarbeitungsnetzwerk (40, 42, 44, 46, 48, 50) für eine Bildbewegung, das auf das ein Bild darstellende Signal anspricht und Bewegungsvektoren erzeugt,

gekennzeichnet durch

einen auf das das Bild darstellende Signal ansprechenden Detektor (70) zum Erzeugen eines Anzeigesignals, das einen Bildintensitäts-Gradienten über mehr als ein Halbbild darstellt, wobei das Anzeigesignal den Gradienten bezüglich eines größten Teils eines Halbbilds darstellt, und

Mittel zum Zuführen des Anzeigesignals zu dem Verarbeitungsnetzwerk für die Bewegung, um die Bewegungsvektoren auf null zu setzen.

2. Einrichtung nach Anspruch 1, gekennzeichnet durch

einen Bildsignal-Koder, der auf das das Eingangsbild darstellende Signal und die Bewegungsvektoren anspricht.

3. Einrichtung nach Anspruch 1, wobei

das das Bild darstellende Signal eine Komponente eines Fernsehsignals ist, dadurch gekennzeichnet, daß

das Anzeigesignal einen Luminanzgradienten darstellt, der zu einem Bildübergang über mehrere Halbbilder gehört.

4. Einrichtung nach Anspruch 1, dadurch gekennzeichnet, daß das Verarbeitungsnetzwerk für die Bildbewegung mit einem Signalweg verbunden ist, der ein Eingangs-Verarbeitungsnetzwerk, ein Differenziernetzwerk (22), einen Zwischenprozessor (26) und einen Ausgangsprozessor (36) in der genannten Reühenfolge enthält, wobei das Verarbeitungsnetzwerk für die Bewegung folgendes enthält:

einen inversen Zwischenprozessor (40, 42) mit einem mit dem Signalweg verbundenen Eingang und einem Ausgang,

ein Kombiniernetzwerk (44) mit einem mit dem Ausgang des inversen Zwischenprozessors verbundenen Eingang und einem Ausgang,

einen Speicher (46) mit einem mit dem Ausgang des Kombiniernetzwerkes verbundenen Eingang und einem Ausgangsnetzwerk,

einen Bewegungsschätzer (48) mit einem mit dem Signalweg verbundenen Signaleingang, einem Steuereingang zum Empfangen des Anzeigesignals von dem Detektor (70), einem mit dem Ausgangsnetzwerk des Speichers verbundenen Eingang und einem Bewegungsvektor-Ausgang und

ein Bewegungskompensations-Netzwerk (50) mit einem mit dem Ausgangsnetzwerk des Speichers (46) verbundenen Eingang, einem mit dem Bewegungsvektor- Ausgang des Bewegungsschätzers (48) verbundenen Eingang und einem Ausgang, der mit einem Eingang des Differenziernetzwerks (22) und einem Eingang des Kombiniernetzwerkes (44) verbunden ist.

5. Einrichtung nach Anspruch 4, gekennzeichnet durch:

einen Prozessor (54) für einen inter/intra-Modus mit einem Eingang, der mit dem Bewegungsschätzer-Ausgang des Bewegungsschätzers (48) verbunden ist, einem zum Empfangen des Anzeigesignals von dem Detektor (70) und einen mit dem Signalweg verbundenen Ausgang.

6. Verfahren zum Verarbeiten eines ein Bild darstellenden Signals mit in mehrere Bildsegmente aufgeteilten Vollbildern mit folgenden Schritten:

Einsatz eines Bildbewegungs-Prozessors zum Empfang des das Bild darstellenden Signals,

Erzeugung von Bewegungsvektoren für das das Bild darstellende Signal, wobei der Wert der Bewegungsvektoren durch ein Steuersignal beeinflußt wird,

Bildung der Summe der Differenzen der Pixelwerten zwischen einer vorbestimmten Anzahl von entsprechenden Segmenten von angrenzenden Vollbildern für jedes von zwei Paaren von angrenzenden Vollbildsegmenten,

Bestimmung eines Verhältnisses eines Bildintensitätsgradienten zu der Summe der Pixeldifferenzen von angrenzenden Vollbildern und

Erzeugung des Steuersignals derart, daß die Bewegungsvektoren einen Wert null aufweisen, wenn ein Bildübergang durch das im wesentlichen konstant bleibende Verhältnis angezeigt wird.