DE69928494T2

DE69928494T2 - Videosignalkompression

Info

Publication number: DE69928494T2
Application number: DE69928494T
Authority: DE
Inventors: James Michael Petersfield KNEE
Original assignee: Snell and Wilcox Ltd
Current assignee: Snell Advanced Media Ltd
Priority date: 1998-01-22
Filing date: 1999-01-22
Publication date: 2006-08-03
Anticipated expiration: 2019-01-23
Also published as: GB2333657A; EP1051851A1; ATE311074T1; AU2178499A; GB9801382D0; EP1051851B1; US7477691B1; WO1999038328A1; JP2002502161A; GB2333657B; JP4410414B2; AU760510B2; DE69928494D1

Description

Die Erfindung bezieht sich auf die Videosignalkompression.
In einem wichtigen Beispiel betrifft die Erfindung den MPEG-2-Videosignalkompressionsstandard, ISO/IEC 13818-2, durch den sie auf jedes Videokompressionssystem angewendet werden kann, das zur Verschlechterung neigt, wenn die Codierung und Decodierung kaskadenartig angeordnet sind.
Es ist bereits die Verwendung eines Signals, das einen MPEG-Bitstrom begleitet und das Informationen über den Bitstrom für die Verwendung in einem dahinterliegenden Prozess, z. B. die erneute Codierung eines decodierten MPEG-Bildes, transportiert, offenbart worden (WO-A-9535628). Dieses Signal wird parallel bereitgestellt und auf einem geeigneten Seitenkanal gesendet, damit es ein dekomprimierte Signal von einem Kompressionsdecodierer zu einem nachfolgenden Codierer begleitet.
Wo die Ausrüstung spezifisch für die Verwendung mit einem derartigen Signal konstruiert worden ist, kann ein beträchtlicher Vorteil gewonnen werden, wobei viele der Probleme, die vorher den kaskadenartig angeordneten Codierungs- und Decodierungsprozessen zugeordnet gewesen sind, beseitigt oder gebessert werden, indem in einem dahinterliegenden Codierungsprozess Schlüsselinformationen verwendet werden, die die davorliegende Codierung und Decodierung betreffen.
In WO-A-9803017 sind Techniken offenbart, die diese Vorteile teilweise oder ganz auf Anordnungen ausdehnen, die Ausrüstung enthalten, die nicht für die Verwendung mit einem derartigen Signal spezifisch konstruiert ist. Spezifisch enthalten diese Techniken des Einbetten des Informationssignals in das Videosignal, sodass es transparent durch einen Videoweg hindurchgehen kann.
Es ist eine Aufgabe dieser Erfindung, eine verbesserte Vorrichtung und verbesserte Prozesse zu schaffen, die die Vorteile nicht nur in einer kaskadenartig angeordneten Aufzeichnungsoperation, sondern in einer primären Codierungsoperation bieten.
Eine derartige primäre Codierungsoperation wird normalerweise auf ein Videosignal angewendet, das vorher nicht komprimiert worden ist.
Demzufolge besteht die vorliegende Erfindung in einem Prozess und in einem System, wie sie im Anspruch 1 bzw. 13 dargelegt sind.
Die Codierungsentscheidungen können die folgenden Informationen enthalten: die Bildabmessungen; die Vollbildrate; die Bildstruktur (vollbildcodiert oder halbbildcodiert); den Bildtyp (I, P oder B); ob die Makroblöcke intracodiert sind oder die Vorhersage verwenden; ob die Vorwärts-, Rückwärts- oder bidirektionale Vorhersage verwendet wird; die Bewegungsvektoren; den Transformationstyp; die Sichtbarkeitsgewichtungsmatrizen des Quantisierers; den Quantisiererschritt; die Bitrate und den Pufferzustand eines dahinterliegenden Decodierers.
In dieser Beschreibung wird der Begriff Informationsbus verwendet, um die Informationen bezüglich einer Codierungsoperation darzustellen, wobei die Informationen ein decodiertes Signal, ein teilweise decodiertes Signal oder ein noch zu codierendes Signal begleiten. Weitere Einzelheiten können unter Bezugnahme auf WO-A-9535628 gefunden werden. Der Informationsbus ist vorzugsweise innerhalb eines Videosignals eingebettet, wie z. B. in WO-A-9803017 offenbart ist.
Die Erfindung wird nun beispielhaft unter Bezugnahme auf die beigefügte Zeichnung beschrieben, worin:
1 ein Blockschaltplan eines Kompressions-Vorprozessors gemäß einer Ausführungsform dieser Erfindung ist;
2 ein Blockschaltplan eines Kompressions-Vorprozessors gemäß einer zweiten Ausführungsform dieser Erfindung ist; und
3 ein Blockschaltplan ist, der drei alternative server-gestützte Prozesse gemäß dieser Erfindung veranschaulicht, die von den durch den Vorprozessor nach 1 oder 2 bereitgestellten Informationen Gebrauch machen.
In 1 wird am Eingangsanschluss 100 ein Videosignal, das vorher nicht codiert worden ist, dargestellt, wobei es zu einem MPEG2-Codierer 102 weitergeleitet wird. Der Codierer nimmt eine der Formen an, die in WO-A-9535628 offenbart sind, wobei er außer dem MPEG-Ausgang einen Informationsbusausgang besitzt, an dem eine Darstellung der im Codierer getroffenen Codierungsentscheidungen erscheint. Diese Codierungsentscheidungen können die folgenden Informationen enthalten: die Bildabmessungen; die Vollbildrate; die Bildstruktur (vollbildcodiert oder halbbildcodiert); den Bildtyp (I, P oder B); ob die Makroblöcke intracodiert sind oder die Vorhersage verwenden; ob die Vorwärts-, Rückwärts- oder bidirektionale Vorhersage verwendet wird; die Bewegungsvektoren; den Transformationstyp; die Sichtbarkeitsgewichtungsmatrizen des Quantisierers; den Quantisiererschritt; die Bitrate und den Pufferzustand eines dahinterliegenden Decodierers.
Der Informationsbus wird dann für den Durchgang in Kaskade auf einem Videoweg mit dem Eingangsvideosignal verbunden. Es sollte angegeben werden, dass das Videosignal am Ausgang keiner Verarbeitung, abgesehen von einer Verzögerung in einer geeigneten Kompensationsverzögerung 104, unterzogen worden ist.
Es gibt eine Vielzahl bevorzugter Arten, in denen der Informationsbus das Videosignal begleiten kann. Der Informationsbus kann z. B. im niedrigstwertigen Bit des Farbdifferenzanteils eines 10-Bit-ITU-R-Rec.-656-Signals nur innerhalb des aktiven Videobereichs transportiert werden. Dies schafft eine Rohbitrate von 10,368 Mbit/s für den Informationsbus. Es wird darauf geachtet, zu sichern, dass das Vorhandensein dieser zusätzlichen Informationen keine sichtbaren Verschlechterungen des Videosignals verursacht und dass die als '10 Bits' festgesetzte Studioausrüstung in der Tat für alle zehn Bits des Signals transparent ist, wenn keine Mischung oder andere Verarbeitung ausgeführt wird. In anderen Implementierungen könnte der Informationsbus im 8. oder 9. Farbdifferenzbit, im 10., 9. oder 8. Luminanz-Bit oder irgendeiner Kombination des Obigen transportiert werden. Die Verwendung des 8. Bits würde außerdem für Systeme geeignet sein, die frühere Versionen des Rec.-656-Standards verwenden, in denen nur die 8-Bit-Darstellung verfügbar ist.
Ein weiteres Beispiel ist eine Erweiterung des obigen Zugangs, in dem jeder Teil des digitalen Videosignals (nicht nur das niedrigstwertige Bit) modifiziert wird, indem die Informationsbusdaten zu dem Video in einer derartigen Weise hinzugefügt werden, dass ein dahinterliegender MPEG-Codierer unbeeinflusst sein würde.
Es ist außerdem möglich, den Informationsbus in einem zusätzlichen Datenkanal zu transportieren, der in den Austastperioden des Rec.-656-Signals transportiert wird. Es würde notwendig sein, zu sichern, dass die Studioausrüstung diese Informationen unverändert weiterleitet, wenn keine Mischung oder andere Verarbeitung ausgeführt worden ist.
Ein noch weiteres Beispiel besteht darin, den Informationsbus als einen digitalen AES/EBU-Audiokanal zu senden. Dieser würde durch einen Reservekanal im Audioweg der Studioausrüstung geleitet. Es würde notwendig sein, zu sichern, dass das Umschalten dieses speziellen Audiokanals zusammen mit dem Videoumschalten ausgeführt würde, selbst wenn der Hauptaudiokanal (die Hauptaudiokanäle) unabhängig vom Video umgeschaltet werden könnten.
2 zeigt eine ausführlichere Konfiguration eines Kompressions-Vorprozessors gemäß der vorliegenden Erfindung. Ein Informationsbus-Generator 202 empfängt das Eingangsvideosignal und erzeugt einen 'Skelett'-Informationsbus, der die Bild-, GOP- und Sequenzraten-Informationen bezüglich des Eingangsvideosignals, z. B. die Bildgröße, das Seitenverhältnis, den Halbbild-/Vollbild-Codierungstyp und den Bildtyp, enthält. Das Videosignal und der Skelett-Informationsbus werden zu einer Bewegungsschätzeinrichtung 204 geleitet. Diese erzeugt Bewegungsvektor-Kandidaten, die auf den Informationsbus gesetzt werden. Eine Vorhersage-Auswahleinrichtung 206 empfängt sowohl das Videosignal als auch den Informationsbus und wählt zwischen den verschiedenen Bewegungsvektor-Kandidaten aus. Sie wählt außerdem aus, welche Vorhersagebetriebsart (Halbbild, Vollbild, vorwärts, rückwärts, bidirektional usw.) für jeden Makroblock verwendet werden soll. Die Vorhersage-Auswahleinrichtung 206 führt ferner die Inter-/Intra-Auswahl und die DCT-Typ-Auswahl aus.
Der Informationsbus am Ausgang der Vorhersage-Auswahleinrichtung 206 enthält alle Entscheidungen, die für die Erzeugung eines MPEG-Bitstroms notwendig sind, abgesehen von denjenigen bezüglich der Quantisierung. Diese werden wie folgt bereitgestellt.
Ein "unintelligenter" Codierer 208 wirkt, geführt durch die auf dem Informationsbus dargestellten Codierungsentscheidungen, auf das Videosignal. Ein Bitraten-Controller 210 empfängt den codierten Bitstrom und steuert die Quantisierung im unintelligenten Codierer, um die Ausgangsbitrate auf eine fiktive Bitrate zu bringen, die die wahrscheinliche Ausgangsrate eines dahinterliegenden Codierers darstellt. Dann setzt der unintelligente Codierer die Quantisiererinformationen, die verwendet werden, um einen Bitstrom mit der gewünschten fiktive Bitrate zu erzeugen, auf den Informationsbus.
Soweit ist das, was in 2 beschrieben worden ist, zu einem MPEG-Codierer, basierend auf dem Informationsbus, wie in den Veröffentlichungen gezeigt ist, auf die früher Bezug genommen worden ist, völlig gleich. In dieser Anmeldung wird jedoch der Bitstrom nicht verwendet, wobei nur der endgültige Informationsbus am Ausgang des Codierers 208 erscheint.
Dieser Informationsbus wird dann unter Verwendung von Techniken verarbeitet, die in WO-A-9803017 beschrieben sind. Kurz, der Informationsbus wird zu einem Informationsbus-Codierer 212 weitergeleitet, der die Codierung mit variabler Länge, die Paketierung und die Zuordnung der Zeitstempel ausführt. Dies stellt eine zweckmäßige Form der Kompression im Wesentlichen unter Verwendung der MPEG2-Syntax dar. In der Tat kann der Informationsbus in einer Form als der MPEG2-Bitstrom minus die DCT-Koeffizienten betrachtet werden.
Es gibt verschiedene Möglichkeiten für das Format eines Informationsbussignals entsprechend seiner zeitlichen Beziehung mit dem Videosignal, das es begleitet. Die Formatierung wird durch den Informationsbus-Formatierer 214 ausgeführt. Beispiele der möglichen Formate für das Informationsbussignal sind wie folgt:

(i) Ein Signal mit fester Bitrate, das aber eine variable Anzahl von Bits pro Bild enthält und ohne Rücksicht auf die Synchronisation mit dem Videosignal übertragen wird. In der Praxis könnte das Signal eine variable Bitrate besitzen, es könnte aber durch die Verwendung von Stopfbits so gebildet werden, dass es einen Kanal mit fester Bitrate belegt.
ii) Ein Signal mit fester oder variable Bitrate, das (von der Bitstrom-Reihenfolge zur Anzeigereihenfolge innerhalb der GOP-Struktur) umgeordnet und zeitlich verschoben ist, sodass der Informationsbus für jedes Bild mit dem Videosignal für dieses Bild gleich zeitlich gesteuert ist.
iii) Eine Mischung der zwei, bei der der Informationsbus selbst asynchron ist, wobei jedoch ein kleiner Schlitz für irgendwelche mit dem Bild verriegelten Daten reserviert ist; dieser würde z. B. Kopien von time_code und picture_type transportieren.
iv) Ein Signal mit fester Bitrate, das umgeordnet und zeitlich verschoben ist, wie in der obigen zweiten Option beschrieben ist, das aber außerdem so angeordnet ist, dass die Makrorateninformationen für jeden Makroblock mit dem Videosignal, das dem Makroblock entspricht, gleich zeitlich gesteuert sind.

Dann wird der formatierte Informationsbus zu einem Kanaladapter 216 weitergeleitet, der den Informationsbus anpasst, damit er das Videosignal (das in der Kompensationsverzögerung 218 verzögert worden ist) in irgendeiner der Arten begleitet, die beispielhaft unter Bezugnahme auf 1 beschrieben sind. Folglich bettet in einem bevorzugten Beispiel der Kanaladapter 216 den formatierten Informationsbus in das niedrigstwertige Bit des Farbdifferenzanteils eines 10-Bit-ITU-R-Rec.-656-Signals nur innerhalb des aktiven Videobereichs ein.
In einer Modifikation der in 2 veranschaulichten Anordnung könnten zwei oder mehr unintelligente Codierer 208 und zugeordnete Bitraten-Controller 210 parallel arbeiten, jeder mit einer anderen Bitrate, die den Bereich der voraussichtlichen künftigen Anforderungen abdeckt. Die mit jeder Bitrate erzeugten Quantisiererinformationen könnten im Informationsbus aufgezeichnet werden.
In einer weiteren Alternative könnte der Bitraten-Controller 210 entfernt sein, wobei der unintelligente Codierer oder die unintelligenten Codierer 208 mit einem festen Quantisierer oder festen Quantisierern arbeiten könnten. Die für jeden Makroblock erzeugte resultierende Anzahl der Bits könnte dann im Ausgangsinformationsbus aufgezeichnet werden.
3 zeigt, wie ein Vorprozessor gemäß dieser Erfindung im Zusammenhang mit einem für unkomprimierte Videosignale konstruierten Server verwendet werden könnte. Der Vorprozessor arbeitet, wie oben beschrieben worden ist, um einen Informationsbus zu einem digitalen Videosignal hinzuzufügen. Das resultierende Video- + Informationsbus-Signal wird auf einen Server geschrieben. Es werden dann drei Beispiele gezeigt, wie das Signal dahinter verwendet werden könnte, um Bitströme zu erzeugen.
In jedem Beispiel wird das Signal vom Server gelesen und zu einem Informationsstrom-Decodierer gesendet, der die resultierenden Video- und Informationsbus-Signale zu einem unintelligenten Codierer weiterleitet.
Im ersten Beispiel folgt der unintelligente Codierer 1 einfach den ankommenden Video- und Informationsbus-Signalen und erzeugt einen Bitstrom mit der Bitrate (oder einer ausgewählten Bitrate der Bitraten), die durch den Vorprozessor erzeugt worden ist (sind).
Im zweiten Beispiel arbeitet der unintelligente Codierer 2 mit einer neuen Bitrate. Die Quantisiererinformationen auf dem Informationsbus werden ignoriert und durch die durch den lokalen Bitraten-Controller berechneten Quantisiererinformationen ersetzt.
Im dritten Beispiel macht der (verbesserte) unintelligente Codierer 3 sowohl vom lokalen Bitraten-Controller als auch von den vom Informationsbus decodierten Quantisierer- oder Bitzahl-Informationen Gebrauch, um die Leistung des Codierers zu verbessern. Effektiv wird der bekannte Vorteil der Codierung mit zwei Durchläufen erhalten, d. h. der Voranalyse und einem zweiten Durchlauf durch den Bitraten-Steuerprozess.
Jede der zweiten zwei Konfigurationen könnte als ein Teil eines Bitstrom-Schalters oder eines anderen Bitstrom-Prozessors verwendet werden, in dem es notwendig ist, die Bitrate und die Belegung des Codierer-Puffers zu steuern.
Während die Verwendung eines Informationsbusses, der effektiv der MPEG-Strom minus die DCT-Koeffizienten ist, äußerst zweckmäßig ist, gibt es andere Optionen, um die Codierungsentscheidungen darzustellen. Es könnte ein Bereich von Formaten verwendet werden und es könnten verschiedene Kompressionstechniken verwendet werden. Außer den Codierungsentscheidungen können außerdem nützliche statistische Informationen vom Codierungsprozess transportiert werden.
Es wird angegeben, dass die vorliegende Erfindung nicht auf die MPEG2-Kompression eingeschränkt ist. Sie könnte mit einer umfassenden Vielfalt von Kompressionstechniken oder sogar mit einer Mischung von Techniken verwendet werden, obwohl in diesem Fall die Verarbeitung des decodierten Informationsbusses signifikant komplizierter sein würde, da sie die Neuinterpretation der Codierungsbetriebsart-Informationen für ein anderes Kompressionsschema umfassen würde.
Es sollte selbstverständlich sein, dass diese Erfindung lediglich durch Beispiele beschrieben worden ist und dass verschiedene weitere Modifikationen möglich sind, ohne vom Umfang der Erfindung abzuweichen.

Claims

Videosignal-Prozess, der die folgenden Schritte umfasst: Eingeben eines Eingangsvideosignals; in einem Codierungsschritt Analysieren des Eingangsvideosignals und Treffen von Kompressionscodierungsentscheidungen, die einem dahinter liegenden Codierer ermöglichen, den Codierungsentscheidungen zu folgen und das Eingangsvideosignal mit einer durch die Codierungsentscheidungen bestimmten Bitrate durch Kompression zu codieren; Bilden einer Darstellung der Codierungsentscheidungen; Ausgeben des Eingangsvideosignals auf einem Videoweg, der einen Video-Server enthält; und dahinter Empfangen der Darstellung und des Eingangsvideosignals vom Videoweg und durch Kompression Codieren des Eingangsvideosignals in Übereinstimmung mit den Codierungsentscheidungen.
Prozess nach Anspruch 1, bei dem die Darstellung der Codierungsentscheidungen einen Informationsbus umfasst, in dem die Codierungsentscheidungen im gleichen Format, in dem sie in dem komprimierten Bitstrom dargestellt werden, der den Ausgang der dahinter liegenden Kompressionscodierungsoperation bildet, dargestellt werden.
Prozess nach Anspruch 1 oder Anspruch 2, bei dem die Analyse Informationen bezüglich Bildgröße und -typ erzeugt.
Prozess nach einem der vorhergehenden Ansprüche, bei dem die Analyse die Erzeugung von Bewegungsvektor-Kandidaten umfasst.
Prozess nach Anspruch 4, bei dem die Analyse die Auswahl eines Bewegungsvektors aus den Bewegungsvektor-Kandidaten für jeden Makroblock des Bildes umfasst.
Prozess nach Anspruch 5, bei dem die Analyse die Auswahl einer Makroblock-Vorhersagebetriebsart umfasst.
Prozess nach einem der vorhergehenden Ansprüche, bei dem die Analyse eine Bitratensteuerung und das Treffen von Quantisiererentscheidungen, die für die Aufrechterhaltung der ausgewählten Bitrate geeignet sind, umfasst.
Prozess nach Anspruch 5, bei dem mehrere Bitraten ausgewählt werden und mehrere Quantisiererentscheidungen getroffen werden.
Prozess nach einem der vorhergehenden Ansprüche, bei dem das Videosignal so modifiziert wird, dass es die Darstellung der Codierungsentscheidungen trägt, indem wenigstens ein niedrigerwertiges digitales Element des Videosignals moduliert wird.
Prozess nach Anspruch 9, bei dem das niedrigerwertige digitale Element das niedrigstwertige Bit des Farbdifferenzanteils eines 10-Bit-Videosignals umfasst.
Prozess nach einem der Ansprüche 1 bis 8, bei dem die Darstellung zusammen mit dem Videosignal in einem zusätzlichen Datenkanal transportiert wird, der in den Austastperioden des Videosignals transportiert wird.
Prozess nach einem der Ansprüche 1 bis 8, bei dem die Darstellung neben dem Videosignal in einem Audiokanal transportiert wird.
System, das eine Kompressions-Vorverarbeitungsvorrichtung und einen Video-Server umfasst, wobei die Kompressions-Vorverarbeitungsvorrichtung einen Eingangsanschluss, um ein Eingangsvideosignal zu empfangen; Codierungsmittel, um das Eingangsvideosignal zu analysieren und um Kompressionscodierungsentscheidungen zu treffen, die einem dahinter liegenden Codierer ermöglichen, den Codierungsentscheidungen zu folgen und das Eingangsvideosignal mit einer Bitrate, die durch die Codierungsentscheidungen bestimmt ist, durch Kompression zu codieren; Mittel, um die Codierungsentscheidungen zu verarbeiten, und Ausgangsanschlussmittel, um das Eingangsvideosignal auszugeben, um es zusammen mit den verarbeiteten Codierungsentscheidungen auf einem Videoweg zum Video-Server zu schicken, umfasst.
System nach Anspruch 13, bei dem die Mittel zum Analysieren einen Codierer umfassen.
System nach Anspruch 13 oder Anspruch 14, bei dem die Mittel zum Verarbeiten der Codierungsentscheidungen eine Darstellung der Codierungsentscheidungen in Form eines komprimierten Video-Bitstroms, der keine Transformationskoeffizienten enthält, schaffen.
System nach einem der Ansprüche 13 bis 15, bei dem die Ausgangsanschlussmittel zum Ausgeben des Eingangsvideosignals zusammen mit den verarbeiteten Codierungsentscheidungen dazu dienen, ein oder mehrere niedrigerwertige digitale Elemente des Eingangsvideosignals zu modulieren.
System nach Anspruch 16, bei dem das niedrigerwertige digitale Element das niedrigstwertige Bit des Farbdifferenzanteils eines 10-Bit-Videosignals umfasst.
System nach einem der Ansprüche 13 bis 15, bei dem die Ausgangsanschlussmittel dazu dienen, die verarbeiteten Codierungsentscheidungen in einem zusätzlichen Datenkanal, der in den Austastperioden des Videosignals transportiert wird, auszugeben.
System nach einem der Ansprüche 13 bis 15, bei dem die Ausgangsanschlussmittel dazu dienen, die verarbeiteten Codierungsentscheidungen in einem Audiokanal neben dem Videosignal auszugeben.