DE69835211T2 - Umschaltung zwischen komprimierten videobitströmen - Google Patents

Umschaltung zwischen komprimierten videobitströmen Download PDF

Info

Publication number
DE69835211T2
DE69835211T2 DE69835211T DE69835211T DE69835211T2 DE 69835211 T2 DE69835211 T2 DE 69835211T2 DE 69835211 T DE69835211 T DE 69835211T DE 69835211 T DE69835211 T DE 69835211T DE 69835211 T2 DE69835211 T2 DE 69835211T2
Authority
DE
Germany
Prior art keywords
coding
switching
bitstream
input
coded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE69835211T
Other languages
English (en)
Other versions
DE69835211D1 (de
Inventor
John Peter BRIGHTWELL
John Stephen DANCER
Nicholas Philip Guildford TUDOR
Dominic Nicholas WELLS
Hartwig Oliver WERNER
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
British Broadcasting Corp
Original Assignee
British Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by British Broadcasting Corp filed Critical British Broadcasting Corp
Publication of DE69835211D1 publication Critical patent/DE69835211D1/de
Application granted granted Critical
Publication of DE69835211T2 publication Critical patent/DE69835211T2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/24Systems for the transmission of television signals using pulse code modulation
    • H04N7/52Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23424Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation

Description

  • Da komprimierte Video-Bitströme in zunehmendem Maße ihren Weg in die Programmkette finden, sind Verfahren zu ihrer Manipulation erforderlich. Eines der wichtigsten Verfahren schafft die Möglichkeit, zwischen zwei komprimierten Signalen umzuschalten. Diese wird normalerweise zum Cutten von Programmen benötigt und umfasst ein Umschalten zwischen verschiedenen "Aufnahmen", wovon jede ein Abschnitt eines Bitstroms sein wird. Dies kann in Echtzeit oder nicht in Echtzeit geschehen. Ein Schalten ist außerdem für die Continuity/Darbietung erforderlich, wobei ein Umschalten zwischen verschiedenen Studios oder anderen Quellen eingeschlossen ist, oder für das lokale/regionale "Opt-out", d. h. ein Schalten von einem Netzsignal zu regionalen oder lokalen Programmen oder Werbesendungen.
  • Ein Schalten von analogen Videosignalen oder von nicht komprimierten digitalen Signalen lässt sich relativ einfach ausführen, da geeignete Zeitpunkte zum Schalten (hier "Schaltpunkte" genannt) in regelmäßigen Abständen auftreten, üblicherweise während der Bildaustastung. Dies ist nicht der Fall bei komprimierten Signalen, bei denen Bilder oft einen variablen Zeitraum und/oder eine variable Anzahl von Bits einnehmen. Außerdem kann das Kompressionssystem eine zeitliche Vorhersage verwenden, wodurch das Schalten noch komplizierter wird.
  • Ein einfacher Weg, um Bitströme zu schalten, ist, sie zu decodieren, im nicht komprimierten Bereich zu schalten und umzucodieren. Dies bietet eine hohe Flexibilität; jedoch hat das Hintereinanderschalten von Codierungsvorgängen eine Einbuße an Bildqualität zur Folge. Dies kann bei einigen Kompressionssystemtypen, bei denen es viele Parameter und Codierungsentscheidungen gibt, die bei einem Umcodieren anders getroffen werden könnten, ein ernstes Problem sein. Ein solches System ist MPEG-2, das derzeit wichtigste Kompressionssystem für Übertragungen. Die Erfin dung ist in erster Linie für MPEG-2 gedacht, kann aber auch für andere Kompressionssysteme verwendet werden.
  • Eine frühere Methode, um ohne Qualitätseinbuße zu schalten, ist als "Transport Stream Splicing" (engl.) bekannt. Diese umfasst das Definieren von Punkten ("Klebestellen" (engl. splicing points) genannt) in den Eingangsbitströmen (in MPEG-Transportstromform), an denen sie direkt geschaltet werden können. Es sind zwei Varianten vorgeschlagen worden: ein Kleben mit nahtlosem Übergang (engl. "Seamless Splicing") und ein Kleben, das keinen nahtlosen Übergang aufweist (engl. "Nonseamless Splicing").
  • Das Kleben kann preiswert durchgeführt werden, da es nicht erforderlich ist, das Videosignal zu decodieren oder umzucodieren. Aus verschiedenen Gründen mangelt es ihm jedoch an Flexibilität.
  • Das Schalten kann sich nur zu bestimmten Zeitpunkten ereignen, die durch die Struktur der MPEG-Bildgruppen (engl. MPEG Group of Pictures (GOP)) bestimmt sind. Das Vollbild vor dem Schalten muss ein I- oder P-Bild sein, und das Vollbild danach muss ein I-Bild sein. Dies bedeutet normalerweise, dass das Schalten nur mit einer Auflösung von ungefähr einer halben Sekunde festgelegt werden kann.
  • Der Videoschaltpunkt bestimmt, wann ein dazugehöriges Audiosignal geschaltet wird, da das Videosignal und das Audiosignal zu einem einzigen Transportstrom gehören. Es ist nicht möglich, unabhängige Video- und Audioschaltpunkte zu haben.
  • Den Aufwärtsstrom-Codierern muss bekannt sein, wann ein Schalten erforderlich sein kann; wenn nicht, sollten sie eine große Anzahl von Klebestellen einfügen.
  • Bei einem Codierer, der einen Bitstrom mit Klebestellen für einen nahtlosen Übergang erzeugt, kann das Einfügen dieser Stellen auf Kosten der Codierungsleistung gehen. Der Grund hierfür ist, dass die Puffer-Zustandskurve (engl. "buffer trajectory") eines Abwärtsstrom-Codierers an den Klebestellen genau festgelegt sein muss, wodurch die Anforderungen an die Ratensteuerung des Codierers komplizierter werden, vor allem, wenn es eine große Anzahl von Klebestellen gibt. Es ist ein Vorschlag unterbreitet worden, um dieses Problem zum umgehen, indem synthetische Einblendsequenzen um die Schaltpunkte herum eingefügt werden, jedoch schränkt dies den Nutzen des Klebens ein.
  • Von einfachen Schnitten (d. h. Überblendungen) verschiedene Übergänge sind nicht möglich.
  • Eine andere Methode ist, zu schalten und die decodierten Eingangssignale umzucodieren, jedoch nicht vom vollständigen Satz der Codierungsoptionen, die zur Verfügung stehen, beispielsweise im MPEG-2-"Werkzeugsatz", Gebrauch zu machen. Durch Verringern der Anzahl der Entscheidungen und Parameter, die sich beim Umcodieren ändern können, wird das Ausmaß der zusätzlichen Verzerrung, die eingeführt wird, verringert. Ein früherer Vorschlag verwertet diese Idee, wobei er die verhältnismäßig einfache Bildgruppen-Struktur IBIBIBIB benutzt (vgl. die Struktur IBBPBBPBBPBBIBBP ..., die üblicherweise verwendet wird). Die Nachteile dieser Methode sind, dass eine Einschränkung der Codierungsoptionen dazu führt, dass für die gleiche Bildqualität eine höhere Bitrate erforderlich ist, und dass sie Inkompatibilitäten mit anderen Codiereinrichtungen, welche die gesamte Variationsbreite der Optionen nutzen, einführt.
  • Eine frühere BBC-Patentanmeldung, WO 97/08 898, beschrieb ein Schalten eines Bitstroms unter Verwendung einer Decodieren-Schalten-Umcodieren-Methode, jedoch erzeugte in diesem Fall der Decodierer eine zusätzliche Ausgabe, um die von dem ursprünglichen Codierer benutzten Entscheidungen anzugeben. Bei Verwendung der gleichen Entscheidungen beim Umcodieren könnte die eingebrachte zusätzliche Verschlechterung gering sein. Dieser Schalter schloss außerdem Umgehungspfade ein, die viele Vollbilder entfernt vom Schaltpunkt benutzt wurden, wodurch sichergestellt ist, dass der Wechsel völlig transparent vollzogen werden kann; jedoch erschwert ihre Verwendung die Betätigung des Schalters.
  • Die Literaturquelle Wee u. a. "Splicing MPEG Video Streams in the Compressed Domain", 1997 IEEE 1ST WORKSHOP ON MULTIMEDIA SIGNAL PROCESSING, 23. Juni 1997, S. 225-230, XP002081482, Princeton (New Jersey, USA) offenbart Klebeverfahren des Standes der Technik.
  • Es ist eine Aufgabe der vorliegenden Erfindung, verbesserte Verfahren und Vorrichtungen zum Schalten komprimierter Video-Bitströme zu schaffen.
  • Die Erfindung ist in den beigefügten Ansprüchen dargelegt.
  • Es ist gezeigt worden, dass bei einem Umcodieren unter Verwendung der gleichen Codierungsentscheidungen die zusätzliche Verzerrung, die eingeführt wird, unter normalen Umständen vernachlässigbar ist. Folglich können der Decodierer und der Umcodierer immer systemintern gehalten werden, sodass der Schalter einfacher ist.
  • Die Codierungsentscheidungsinformationen können umfassen: Bildabmessungen; Vollbildrate; Bildstruktur (vollbildcodiert oder teilbildcodiert); Bildtyp (I, P oder B); ob Makroblöcke intracodiert sind oder eine Vorhersage verwenden; ob eine Vorwärts-, Rückwärts- oder Bidirektional-Vorhersage verwendet wird; Bewegungsvektoren; Quantisierersichtbarkeits-Gewichtungsmatrizen; Quantisiererstufe und Pufferzustand eines Abwärtsstrom-Decodierers.
  • Vorteilhaft dienen die Codierungsentscheidungs-Verarbeitungsmittel um den Schaltpunkt herum dazu, Codierungsentscheidungen für die Umcodierung zu modifizieren. Insbesondere kann die Auffrischungsstrategie beim Umcodieren modifiziert werden, indem die Umcodierungs-I-Vollbilder als P-Vollbilder übertragen werden und/oder umgekehrt, oder durch Verwendung eines "I-P-Paares" Bilder mit MPEG-Feldstruktur. Damit soll verhindert werden, dass der Puffer des Abwärtsstrom-Decodierers zu voll oder leer wird, weil in dem geschalteten Bitstrom I-Vollbilder zu weit auseinander- oder zu nahe zusammenkommen.
  • Vorteilhaft wird ein Unterlauf eines Abwärtsstrom-Decodiererpuffers dadurch vermieden, dass die Bitrate für die Vollbilder, die an den Schaltpunkt grenzen, verringert wird. Ein psychovisueller Effekt, der als "zeitliche Maskierung" bekannt ist, kann genutzt werden, um zu verhindern, dass sich der Puffer des Abwärtsstrom-Decodierees zu weit leert. Quantisierungsrauschen in den Vollbildern, die dem Schaltpunkt sehr nahe sind, ist oftmals für den Betrachter nicht sichtbar, und folglich kann die Anzahl der Bits, die bei diesen Vollbildern verwendet wird, bewusst verringert werden.
  • Vorzugsweise empfangen die Codierungsentscheidungs-Verarbeitungsmittel Pufferbelegungsinformationen, derart, dass die Bitnutzung in den Eingangsbitströmen in dem Ratensteueralgorithmus des Umcodierers berücksichtigt wird.
  • Die Erfindung wird nun anhand eines Beispiels beschrieben, wobei sich auf die beigefügte Zeichnung bezogen wird, worin:
  • 1 ein Blockdiagramm eines Schalters gemäß der vorliegenden Erfindung ist; und
  • 2 ein Blockdiagramm einer Vorrichtung zur Vorbehandlung eines Bitstroms für ein Kleben ist.
  • 1 zeigt in Blockdiagrammform eine Vorrichtung zum Schalten zwischen zwei MPEG-2-Video-Bitströmen, in der Figur als Bitstrom A und Bitstrom B bezeichnet. Es sind zwei MPEG-Decodierer 10 und 12 vorgesehen. Die zwei Decodierer erzeugen jeweils zwei Ausgangssignale: ein decodiertes Videosignal und ein Codierungsentscheidungssignal. Das Codierungsentscheidungssignal enthält alle relevanten Informationen darüber, wie der zugehörige Bitstrom codiert wurde, die aus dem Bitstrom gefolgert werden können. Diese Informationen umfassen, ohne jedoch hierauf beschränkt zu sein, Folgendes: Bildabmessungen; Vollbildrate; Bildstruktur (vollbildcodiert oder teilbildcodiert); Bildtyp (I, P oder B); ob Makroblöcke intracodiert sind oder eine Vorhersage verwenden; ob eine Vorwärts-, Rückwärts- oder Bidirektional-Vorhersage verwendet wird; Bewegungsvektoren; Quantisierersichtbarkeits-Gewichtungsmatrizen; Quantisiererstufe und Pufferzustand eines Abwärtsstrom-Decodierers.
  • Die zwei decodierten Videosignale werden im Videoschalter 14 so geschaltet, als ob sie herkömmliche, nicht komprimierte Signale wären, und das Ausgangssignal des Videoschalters wird an einen Codierer 16 gesendet. Dieser ist ein spezieller MPEG-2-Codierer, der ein Codierungsentscheidungssignal verwerten kann, wie beispielsweise in EP 0 765 576 oder WO 98/03 017 offenbart ist. Dieser Codierer wird alle oder einige der Entscheidungen, die von dem Codierer oder den Codierern getroffen wurden, welcher bzw. welche die Eingangsbitströme hervorgebracht haben, wie folgt wiederverwenden:
    Der Block 18 dient dazu, Codierungsentscheidungen an den Codierer 16 zu liefern. Für Vollbilder, die vom Schaltpunkt weit entfernt sind, werden alle Codierungsentscheidungen wiederverwendet, und der Block 18 dient lediglich dazu, die Codierungsentscheidungen, die mit dem Decodieren des Bitstroms A oder des Bitstroms B im Zusammenhang stehen, entsprechend weiterzugeben. Dadurch ist das Umcodierungsverfahren nahezu transparent, d. h. das Bild, das durch Decodieren des Ausgangsbitstroms erhalten wird, ist so gut wie nicht unterscheidbar von jenem, das durch Decodieren des entsprechenden Eingangsbitstroms erhalten werden würde.
  • Für Vollbilder nahe dem Schaltpunkt modifiziert der Block 18 Codierungsentscheidungen, und der MPEG-Bildtyp kann bei der Umcodierung geändert werden. Der Hauptzweck davon ist, die Auffrischungsstrategie so zu modifizieren, dass sie für den geschalteten Bitstrom besser geeignet ist. Typisch wird ein intracodiertes Bild (I-Bild) bald nach dem Schaltpunkt verwendet, um das Auftreten einer Vorhersage "über den Cut hinweg" zu vermeiden. Raffinierter ist es, I-Bilder in den Eingangsbitströmen in von Intra-Bildern verschiedene Bilder (typisch P-Bilder) "umzusetzen", um zu vermeiden, dass zu viele I-Bilder in dichter Folge kommen, was dazu führen könnte, dass die kurzfristige Bitrate zu hoch ist und ein Unterlauf des Puffers eines Abwärtsstrom-Decodierers auftritt. Unter Umständen (beispielsweise, wenn die Szene bewegungsreich ist), kann ein intracodiertes Vollbild in ein intracodiertes Teilbild gefolgt von einem vorwärtscodierten Teilbild umgesetzt werden (dazu wird die MPEG-2-Bildstruktur vom Vollbild zum Teilbild umgesetzt). Dies ist ein alternatives Verfahren, um die kurzfristige Bitrate herabzusetzen.
  • Das nachfolgend dargestellte Beispiel zeigt einen Fall, in dem bei einem Bild im Bit strom A und zwei Bildern im Bitstrom B der Bildtyp beim Umcodieren modifiziert worden ist. Diese Bilder sind im Fettdruck dargestellt (der Klarheit wegen: Die Bilder sind in der Reihenfolge gezeigt, in der sie am Decodierer-Ausgang ausgegeben werden, nicht in der Reihenfolge, in der sie im Bitstrom auftreten):
    Figure 00060001
  • Der Vorhersagemodus und die Bewegungsvektoren werden gegebenenfalls modifiziert, um eine Änderung im Bildtyp zu berücksichtigen und zu vermeiden, dass Vorhersagen "über den Cut hinweg" getroffen werden. Oftmals geht dies mit einer Vereinfachung einher. In dem obigen Beispiel würde das B-Bild, das auf den Schaltpunkt folgt, normalerweise bidirektional vorhergesagte Makroblöcke im Eingangsbitstrom B enthalten; diese werden so modifiziert, dass sie vorwärts vorhergesagt sind, und die Rückwärts-Vektoren werden verworfen. Jedoch werden dort, wo ein I-Bild in ein P-Bild umgesetzt wird, neue Vektoren bestimmt werden müssen, es sei denn, im Eingangsbitstrom standen Verbergungsvektoren zur Verfügung.
  • Die Quantisierer-Parameter werden modifiziert, um die Anzahl der Bits zu steuern, die beim Umcodieren erzeugt werden. Dies geschieht üblicherweise durch die Ratensteuereinheit in einem MPEG-2-Codierer, die den Pufferzustand eines Abwärtsstrom-Decodieres überwacht (tatsächlich überwacht sie den Zustand ihres eigenen Ausgangspuffers, der jenen des Decodiererpuffers wiederspiegelt).
  • Die Ratensteuereinheit für diese Erfindung unterscheidet sich von einer herkömmlichen dadurch, dass die Bitnutzung der Eingangsbitströme über die Codierungsentscheidungen übermittelt wird und verwendet wird, um Ziele für die Anzahl der Bits, die beim Umcodieren zu erzeugen sind, festzulegen. Diese Ziele werden dann benutzt, um die Quantisierer-Parameter zu bestimmen. Außerdem versucht die Ratensteuerung über eine Anzahl von Vollbildern, die auf den Schaltpunkt folgen, den Pufferzustand eines Abwärtsstrom-Decodierers in Übereinstimmung mit jenem zu bringen, der vorliegen würde, wenn der Bitstrom B direkt an den Decodierer gesendet worden wäre. Üblicherweise wird die Anzahl der erforderlichen Bits etwas niedriger als der Eingangsbitstrom festgelegt. Wenn der Decodiererpufferzustand angepasst ist, tritt die Ratensteuereinheit in eine "verriegelte Betriebsart" ein, in welcher die Quantisierer-Parameter (und auch alle anderen Codierungsentscheidungen) genau so wie im Eingangsbitstrom beibehalten werden. Nach diesem Punkt ist der Schalter nahezu transparent. Wegen eines Effekts, der als "zeitliche Maskierung" bezeichnet wird, kann oftmals zugelassen werden, dass der Rauschpegel in den Bil dern unmittelbar vor und nach dem Schaltpunkt höher als sonst ist. Das Auge ist durch den Wechsel des Bildmaterials abgelenkt und bemerkt das zusätzliche Rauschen nicht. Folglich kann die Anzahl der Bits, die bei diesen Bildern verwendet wird, bewusst recht klein gemacht werden, wenn dies dazu beiträgt, den Pufferzustand wie oben angegeben in Übereinstimmung zu bringen.
  • Obwohl sich diese spezielle Beschreibung auf das Schalten von MPEG-2-Bitströmen konzentriert hat, sind viele der Techniken zusammen mit anderen Typen von DCT-basierenden komprimierten Video-Bitströmen wie etwa JPEG, ETSI und MPEG-1, oder auch mit nicht DCT-basierenden Bitströmen, wie etwa in Wavelet- oder auf Fraktalen basierenden Systemen, anwendbar.
  • Die Erfindung kann leicht abgewandelt werden, um mit dem Fall zurechtzukommen, in dem zwischen komprimierten und nicht komprimierten Eingangssignalen umgeschaltet wird. Hier macht der Codierer von den Codierungsentscheidungen im komprimierten Eingangssignal Gebrauch, trifft jedoch seine eigenen Entscheidungen, wenn das nicht komprimierte Eingangssignal ausgewählt ist.
  • Der Schalter kann so erweitert werden, dass er ein Herabsetzen der Bitrate einschließt, mit anderen Worten, dass die Rate des Ausgangsbitstroms niedriger als die eines Eingangsbitstroms oder beider Eingangsbitströme ist. Beispielsweise kann für eine Übertragung an den Zuschauer eine niedrigere Bitrate als zur Verteilung vom Studio an den Sender verwendet werden. In solchen Fällen ist nicht beabsichtigt, dass der Schalter transparent ist, und es besteht keine Notwendigkeit zu versuchen, den Pufferzustand des Abwärtsstrom-Decodierers wie oben anzupassen.
  • Neben der Durchführung von einfachen Umschaltvorgängen können weitere Videoübergänge erforderlich sein. Der wichtigste davon ist das Überblenden. Eine MPEG-Codierung von Überblendsequenzen neigt dazu, qualitativ minderwertige Bilder zu ergeben, was daran liegt, dass es schwierig ist, Bewegungsvektoren zu schätzen, und dass die Vorwärts-Vorhersage leistungsschwach ist. Die Erfindung kann auf die Durchführung von Überblendungen ausgedehnt werden.
  • Hierfür nimmt der beschriebene Videoschalter die Form einer Video-Überblendvorrichtung an. Es wird anerkannt werden, dass während des Überblendens Entscheidungen von beiden Eingangsbitströmen zur Verwendung bei der Umcodierung zur Verfügung stehen.
  • Bei einer Codierungsstrategie werden die Entscheidungen vom Bitstrom A für den ersten Teil der Überblendung verwendet, während für den letzten Teil die Entscheidungen vom Bitstrom B verwendet werden. Bei einer alternativen Strategie wird die potentielle Codierungsqualität unter Verwendung jedes Satzes von Entscheidungen getrennt bewertet, und der bessere Satz wird gewählt.
  • Eine zeitliche Maskierung ist nicht zweckmäßig, da es keinen plötzlichen Wechsel von einer Sequenz zur anderen gibt. Jedoch führt das Mischen der Sequenzen zu einer Abnahme der Sichtbarkeit von Quantisierungsrauschen, und die Ratensteuereinheit des Codierers kann diese Tatsache nutzen.
  • Einige Techniken dieser Erfindung können benutzt werden, um einen Transportstrom als Teil einer Klebevorrichtung vorzubehandeln.
  • 2 zeigt einen Klebeübergang vom Transportstrom A zum Transportstrom B. Der Transportstrom A wird im Transportstrom-Demultiplexer 20 in elementare Bitströme demultiplexiert (der Klarheit wegen ist nur der Video-Bitstrom gezeigt). Der Video-Bitstrom wird in dem Decodierer 22 in ein Videosignal decodiert, wobei außerdem Codierungsentscheidungen ausgegeben werden. Das Videosignal läuft direkt zu einem Videocodierer 24, der außerdem die Codierungsentscheidungen empfängt, nachdem sie einen "Modifiziere-Codierungsentscheidungen"-Block 26 durchlaufen haben. Bei vielen Vollbildern von einem Kleben, wobei das Videosignal mit den gleichen Entscheidungen umcodiert und im Transportstrom-Multiplexer 28 erneut multiplexiert wird, wird dies unter normalen Bedingungen transparent sein. Nahe dem Zeitpunkt des Klebens in der Transportstrom-Klebeeinrichtung 30 wird die Anzahl der erzeugten Bits so angepasst, dass die Pufferbedingungen für ein Kleben erfüllt sind, indem die Codierungsentscheidungen im Block 6 modifiziert werden, üblicherweise durch Anpassen der Quantisierer-Parameter.
  • Zusätzlich dazu müssen die Eingangssignale synchronisiert sein, damit sichergestellt ist, dass ein Kleben am richtigen Bildtyp erfolgt, wobei Modifikationen an den Zeitmarkierungen und Taktreferenzinformationen in dem Transportstrom erforderlich sind. Diese Aspekte sind in dem oben angeführten Schaubild nicht gezeigt.
  • Eine weitere mögliche Ausführungsform der vorliegenden Erfindung ist ein nicht in Echtzeit ausgeführtes Cutten, das einem auf Software basierendem Schalter entspricht. Um dessen Betrieb zu beschleunigen, können Modifikationen an der soweit beschriebenen Methode, im Wesentlichen Hardware, vorgenommen werden. Bitströme können direkt kopiert werden, wenn der Schalter tatsächlich transparent ist. Unter bestimmten Umständen ist es möglich, nur ein teilweises Decodieren auszuführen, bis in den DCT-Bereich, vorausgesetzt, der Bildtyp wird nicht verändert. Dies kann zu einer geringfügigen Qualitätseinbuße führen, die jedoch akzeptabel ist.
  • Es versteht sich, dass die Erfindung nur beispielhaft beschrieben worden ist und dass vielfältige Abwandlungen möglich sind, ohne vom Rahmen der Erfindung abzukommen.

Claims (22)

  1. Vorrichtung zum Schalten komprimierter Video-Bitströme, die umfasst: einen ersten Bitstrom-Eingang; einen zweiten Bitstrom-Eingang; einen geschalteten Bitstrom-Ausgang; einen ersten Decodierer (10), um einen ersten Eingangsbitstrom von dem ersten Bitstrom-Eingang zu empfangen und um ein erstes decodiertes Videosignal und ein erstes Codierungsentscheidungssignal bereitzustellen; einen zweiten Decodierer (12), um einen zweiten Eingangsbitstrom von dem zweiten Bitstrom-Eingang zu empfangen und um ein zweites decodiertes Videosignal und ein zweites Codierungsentscheidungssignal bereitzustellen; eine Videoschalteinheit (14) zum Schalten zwischen dem ersten und dem zweiten Videosignal; einen Codierer (16) zum Umcodieren des geschalteten Videosignals und Codierungsentscheidungs-Verarbeitungsmittel (18), um das erste und das zweite Codierungsentscheidungssignal zu empfangen und um Codierungsentscheidungen an den Codierer zu liefern, derart, dass der Codierer und der erste Decodierer und/oder der zweite Decodierer ununterbrochen und nicht genau während einer Schaltperiode zwischen dem geschalteten Bitstrom-Ausgang und entweder dem ersten Bitstrom-Eingang oder dem zweiten Bitstrom-Eingang angeschlossen bleiben, wobei das Decodieren und Umcodieren als Folge der Verwendung von Codierungsentscheidungen durch den Codierer im Dauerzustand im Wesentlichen transparent sind.
  2. Vorrichtung nach Anspruch 1, bei der die Codierungsentscheidungssignale Informationen über die folgenden Parameter transportieren: Bildabmessungen; Vollbildrate; Bildstruktur (vollbildcodiert oder teilbildcodiert); Bildtyp (I, P oder B); ob Mak roblöcke intracodiert sind oder eine Vorhersage verwenden; ob eine Vorwärts-, Rückwärts- oder Bidirektional-Vorhersage verwendet wird; Bewegungsvektoren; Quantisierersichtbarkeits-Gewichtungsmatrizen; Quantisiererstufe und Pufferzustand eines Abwärtsstrom-Decodierers.
  3. Vorrichtung nach Anspruch 1 oder 2, bei der die Codierungsentscheidungs-Verarbeitungsmittel um einen Schaltpunkt herum arbeiten, um Codierungsentscheidungen für die Umcodierung zu modifizieren.
  4. Vorrichtung nach Anspruch 3, bei der die Codierungsentscheidungs-Verarbeitungsmittel um den Schaltpunkt herum arbeiten, um I-Vollbilder als P-Vollbilder umzucodieren und umgekehrt.
  5. Vorrichtung nach Anspruch 3, bei der die Codierungsentscheidungs-Verarbeitungsmittel um den Schaltpunkt herum arbeiten, um ein intracodiertes Vollbild in ein intracodiertes Teilbild, dem ein vorwärtscodiertes Teilbild folgt, umzusetzen.
  6. Vorrichtung nach einem der vorhergehenden Ansprüche, bei der ein Unterlauf eines Abwärtsstrom-Decodiererpuffers durch Verringern der Bitrate von Vollbildern angrenzend an den Schaltpunkt vermieden wird.
  7. Vorrichtung nach Anspruch 6, bei der die Bitrate dadurch verringert wird, dass zugelassen wird, dass ein Quantisierungsrauschen auf einen Pegel ansteigt, der durch den psychovisuellen Effekt einer markierten Änderung im Bildinhalt gerade verdeckt wird.
  8. Vorrichtung nach einem der vorhergehenden Ansprüche, bei der die Codierungsentscheidungs-Verarbeitungsmittel Pufferbelegungsinformationen empfangen, derart, dass die Bitnutzung in den Eingangsbitströmen in dem Ratensteueralgorithmus des Umcodierers berücksichtigt wird.
  9. Vorrichtung nach einem der vorhergehenden Ansprüche, bei der der Codierer zum Umcodieren des geschalteten Videosignals beim Schalten in eine Betriebsart mit nicht verriegelter Ratensteuerung übergeht und erneut in eine verriegelte Betriebsart eintritt, in der Codierungsentscheidungen direkt verwendet werden, sobald der bestimmte Pufferzustand eines Abwärtsstrom-Decodierers mit jenem übereinstimmt, der auf einen Dauerzustand des geschalteten Videosignals anwendbar ist.
  10. Vorrichtung nach einem der vorhergehenden Ansprüche, bei der die Videoschalteinheit so beschaffen ist, dass sie Überblendungen ausführt.
  11. Vorrichtung nach Anspruch 10, bei der der Codierer so beschaffen ist, dass er die erste Codierungsentscheidung in einem ersten Teil der Überblendung verwendet und die zweiten Codierungsentscheidungen in einem zweiten Teil der Überblendung verwendet.
  12. Vorrichtung nach Anspruch 10, bei der die potentielle Codierungsqualität mit dem Codierer unter getrennter Verwendung der ersten und der zweiten Codierungsentscheidungen und einer Auswahl, die an der Menge von Codierungsentscheidungen vorgenommen wird und eine bessere Codierungsqualität ergibt, bemessen wird.
  13. Verfahren zum Schalten komprimierter Video-Bitströme, das die folgenden Schritte umfasst: Decodieren wenigstens eines ersten Eingangsbitstroms und Schaffen wenigstens eines ersten decodierten Videosignals und wenigstens eines ersten Codierungsentscheidungssignals; Schalten zwischen dem ersten Videosignal und einem weiteren Videosignal und Umcodieren des geschalteten Videosignals, um ununterbrochen und nicht genau während einer Schaltperiode den Bitstrom-Ausgang zu schaffen, wobei Informationen aus dem ersten Codierungsentscheidungssignal verwendet werden, wenn sich das geschaltete Videosignal aus der Decodierung des ersten Eingangsbitstroms ergibt, derart, dass das Decodieren und das Umcodieren im Dauerzustand im Wesentlichen transparent sind.
  14. Verfahren nach Anspruch 13, das die folgenden weiteren Schritte umfasst: Decodieren eines zweiten Eingangsbitstroms und Schaffen eines zweiten decodierten Signals und eines zweiten Codierungsentscheidungssignals; Schalten zwischen dem ersten und dem zweiten Videosignal; und Umcodieren des geschalteten Videosignals unter Verwendung von Informationen aus dem ersten und dem zweiten Codierungsentscheidungssignal, um einen ununterbrochenen Videoausgang zu schaffen, wobei das Decodieren und das Umcodieren im Dauerzustand im Wesentlichen transparent sind.
  15. Verfahren nach Anspruch 13 oder Anspruch 14, bei dem die Eingangsbitströme auf einen DCT-Koeffizienten-Pegel decodiert werden.
  16. Verfahren nach Anspruch 13 oder Anspruch 14, bei dem die Eingangsbitströme in Videosignale decodiert werden.
  17. Verfahren nach einem der Ansprüche 13 bis 16, bei dem die Codierungsentscheidungssignale Informationen über einige oder alle der folgenden Parameter transportieren: Bildabmessungen; Vollbildrate; Bildstruktur (vollbildcodiert oder teilbildcodiert); Bildtyp (I, P oder B); ob Makroblöcke intracodiert sind oder eine Vorhersage verwenden; ob eine Vorwärts-, Rückwärts- oder Bidirektional-Vorhersage verwendet wird; Bewegungsvektoren; Quantisierersichtbarkeits-Gewichtungsmatrizen; Quantisiererstufe und Pufferzustand eines Abwärtsstrom-Decodierers.
  18. Verfahren nach einem der Ansprüche 13 bis 17, bei dem die Codierungsentscheidungen um einen Schaltpunkt herum modifiziert werden.
  19. Verfahren nach Anspruch 18, bei dem die Codierungsentscheidungs-Verarbeitungsmittel um den Schaltpunkt herum arbeiten, um I-Vollbilder als P-Vollbilder umzucodieren und umgekehrt.
  20. Verfahren nach Anspruch 18, bei dem die Codierungsentscheidungs-Verarbeitungsmittel um den Schaltpunkt herum arbeiten, um ein intracodiertes Vollbild in ein intracodiertes Teilbild, gefolgt von einem vorwärtscodierten Teilbild, umzusetzen.
  21. Verfahren nach einem der Ansprüche 13 bis 20, bei dem ein Unterlauf eines Abwärtsstrom-Decodiererpuffers dadurch vermieden wird, dass die der Bitrate für Vollbilder, die an einen Schaltpunkt angrenzen, verringert wird.
  22. Verfahren nach Anspruch 21, bei dem die Bitrate dadurch verringert wird, dass zugelassen wird, dass das Quantisierungsrauschen auf einem Pegel ansteigt, der durch den psychovisuellen Effekt einer markierten Änderung in dem Bildinhalt gerade verdeckt wird.
DE69835211T 1997-07-18 1998-07-17 Umschaltung zwischen komprimierten videobitströmen Expired - Lifetime DE69835211T2 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB9715237 1997-07-18
GB9715237A GB2327548B (en) 1997-07-18 1997-07-18 Switching compressed video bitstreams
PCT/GB1998/002121 WO1999004571A1 (en) 1997-07-18 1998-07-17 Switching compressed video bitstreams

Publications (2)

Publication Number Publication Date
DE69835211D1 DE69835211D1 (de) 2006-08-24
DE69835211T2 true DE69835211T2 (de) 2007-06-14

Family

ID=10816120

Family Applications (1)

Application Number Title Priority Date Filing Date
DE69835211T Expired - Lifetime DE69835211T2 (de) 1997-07-18 1998-07-17 Umschaltung zwischen komprimierten videobitströmen

Country Status (9)

Country Link
US (1) US6831949B1 (de)
EP (1) EP0995315B1 (de)
JP (1) JP2001510964A (de)
AU (1) AU755898B2 (de)
CA (1) CA2295754C (de)
DE (1) DE69835211T2 (de)
ES (1) ES2268783T3 (de)
GB (2) GB2327548B (de)
WO (1) WO1999004571A1 (de)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6091995A (en) 1996-11-08 2000-07-18 Surx, Inc. Devices, methods, and systems for shrinking tissues
EP0923243B1 (de) * 1997-07-25 2010-09-15 Sony Corporation Bearbeitungsanlage, bearbeitungsverfahren, spleissungsanlage, spleissungsverfahren, kodieranlage und kodierverfahren
GB2344728B (en) * 1998-09-23 2004-03-17 British Broadcasting Corp Audio compression
GB9822087D0 (en) * 1998-10-09 1998-12-02 Snell & Wilcox Ltd Improvements in data compression
JP2000165802A (ja) * 1998-11-25 2000-06-16 Matsushita Electric Ind Co Ltd ストリーム編集装置と編集方法
GB2353655B (en) 1999-08-26 2003-07-23 Sony Uk Ltd Signal processor
JP4331835B2 (ja) * 1999-09-22 2009-09-16 パナソニック株式会社 画像データ伝送方法
GB2356997A (en) * 1999-12-02 2001-06-06 Sony Uk Ltd Video signal processing
GB2358539A (en) * 2000-01-21 2001-07-25 Sony Uk Ltd Data processing method which separates parameter data from coded data
JP4724919B2 (ja) * 2000-06-02 2011-07-13 ソニー株式会社 記録装置および記録方法、再生装置および再生方法、並びに記録媒体
JP2002064794A (ja) * 2000-08-18 2002-02-28 Sony Corp 多重化装置および方法、画像出力装置および方法、並びに記録媒体
US7346698B2 (en) 2000-12-20 2008-03-18 G. W. Hannaway & Associates Webcasting method and system for time-based synchronization of multiple, independent media streams
US20030202576A1 (en) * 2002-04-29 2003-10-30 The Boeing Company Method and apparatus for decompressing and multiplexing multiple video streams in real-time
US20040260827A1 (en) * 2003-06-19 2004-12-23 Nokia Corporation Stream switching based on gradual decoder refresh
US7599565B2 (en) * 2004-03-10 2009-10-06 Nokia Corporation Method and device for transform-domain video editing
JP4743119B2 (ja) * 2004-08-25 2011-08-10 ソニー株式会社 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
JP4822444B2 (ja) * 2007-03-30 2011-11-24 Kddi株式会社 動画編集装置
US8411569B2 (en) * 2008-01-10 2013-04-02 Alcatel Lucent Method of splicing encoded multimedia data streams
JP2009246489A (ja) * 2008-03-28 2009-10-22 Kddi R & D Laboratories Inc 映像信号切替装置
JP2011193042A (ja) * 2010-03-11 2011-09-29 Toshiba Corp 映像再生装置及び映像再生方法
CN102752488B (zh) * 2011-08-02 2017-08-04 新奥特(北京)视频技术有限公司 实现多演播室系统的统一控制的方法、设备及系统
JP6019824B2 (ja) * 2012-07-02 2016-11-02 富士通株式会社 動画像符号化装置及び動画像符号化方法ならびに動画像符号化用コンピュータプログラム
US9813325B2 (en) 2012-12-27 2017-11-07 Comcast Cable Communications, Llc Information stream management
CN104104958B (zh) * 2013-04-08 2017-08-25 联发科技(新加坡)私人有限公司 图像解码方法及其图像解码装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2885322B2 (ja) * 1990-03-27 1999-04-19 日本ビクター株式会社 フィールド間予測符号化装置及び復号化装置
KR0121301B1 (ko) * 1992-09-30 1997-11-17 사또오 후미오 편집신호 디코딩 장치
US5614952A (en) * 1994-10-11 1997-03-25 Hitachi America, Ltd. Digital video decoder for decoding digital high definition and/or digital standard definition television signals
JP2776212B2 (ja) * 1993-08-04 1998-07-16 日本ビクター株式会社 符号記録装置
EP0656729B1 (de) * 1993-12-01 2000-02-09 Matsushita Electric Industrial Co., Ltd. Verfahren und Vorrichtung zum Editieren oder zur Mischung von komprimierten Bildern
US5651090A (en) * 1994-05-06 1997-07-22 Nippon Telegraph And Telephone Corporation Coding method and coder for coding input signals of plural channels using vector quantization, and decoding method and decoder therefor
DE69529579D1 (de) 1994-06-17 2003-03-13 Snell & Wilcox Ltd Komprimieren eines aus kompressionskodierten Videosignalen nach deren Teildekodierung kombinierten Signales
JP3019912B2 (ja) * 1994-07-22 2000-03-15 日本ビクター株式会社 画像データ編集装置
US5495291A (en) * 1994-07-22 1996-02-27 Hewlett-Packard Company Decompression system for compressed video data for providing uninterrupted decompressed video data output
KR100202538B1 (ko) * 1994-12-23 1999-06-15 구자홍 엠펙 비디오 코덱 장치
GB2307613B (en) * 1995-08-31 2000-03-22 British Broadcasting Corp Switching bit-rate reduced signals
US6137834A (en) * 1996-05-29 2000-10-24 Sarnoff Corporation Method and apparatus for splicing compressed information streams
DE69730965T2 (de) 1996-07-15 2006-02-23 Snell & Wilcox Ltd. Videosignalkompression
US5917830A (en) * 1996-10-18 1999-06-29 General Instrument Corporation Splicing compressed packetized digital video streams
US5982436A (en) * 1997-03-28 1999-11-09 Philips Electronics North America Corp. Method for seamless splicing in a video encoder
EP0923243B1 (de) * 1997-07-25 2010-09-15 Sony Corporation Bearbeitungsanlage, bearbeitungsverfahren, spleissungsanlage, spleissungsverfahren, kodieranlage und kodierverfahren

Also Published As

Publication number Publication date
DE69835211D1 (de) 2006-08-24
GB9715237D0 (en) 1997-09-24
EP0995315A1 (de) 2000-04-26
GB2327548B (en) 2002-05-01
AU8449598A (en) 1999-02-10
GB2327548A (en) 1999-01-27
CA2295754A1 (en) 1999-01-28
US6831949B1 (en) 2004-12-14
WO1999004571A1 (en) 1999-01-28
ES2268783T3 (es) 2007-03-16
GB0204471D0 (en) 2002-04-10
GB2369518A (en) 2002-05-29
CA2295754C (en) 2007-05-15
JP2001510964A (ja) 2001-08-07
EP0995315B1 (de) 2006-07-12
GB2369518B (en) 2002-07-17
AU755898B2 (en) 2003-01-02

Similar Documents

Publication Publication Date Title
DE69835211T2 (de) Umschaltung zwischen komprimierten videobitströmen
DE69913990T2 (de) System zum editieren komprimierter bildsequenzen
DE69535553T2 (de) Videokompression
DE60026241T2 (de) Umschalten zwischen bitratenreduzierten Signalen
DE60104013T2 (de) Transkodierung von progressiv-kodierten i-slice-aufgefrischten mpeg datenströmen für trickmodi
DE69917971T2 (de) Verfahren und Vorrichtung zur Verarbeitung von komprimierten Videodatenströmen
DE60032841T2 (de) Signalprozessor zum nahtlosen Zusammenfügen von MPEG-2 Bitströmen in einem Videokoder
DE69837081T2 (de) Videopufferspeicher zur nahtlosen verbindung von mpeg-strömen
DE69730965T2 (de) Videosignalkompression
DE60023576T2 (de) Verfahren und Vorrichtung zur Bewegtbilddatentranscodierung
DE69916027T2 (de) Videokompressionssystem welches auch codierungsentscheidungsdaten komprimiert
DE10048735A1 (de) Verfahren zur Codierung und Decodierung von Bildsequenzen sowie Einrichtungen hierzu
DE60123168T2 (de) MPEG-Dekoder
DE60033485T2 (de) Formatierung und Speicherung von Videodaten
DE10392598T5 (de) Unterstützung von fortschrittlichen Codierungsformaten in Mediendateien
DE102005032952A1 (de) Statistischer Multiplexer mit schützenden Charakteristika vor durch redundante Systemelemente erzeugten äußeren Nachrichten
EP1371229B1 (de) Verfahren zur komprimierung und dekomprimierung von videodaten
EP0752789B1 (de) Verfahren, Encoder und Decoder zur Resynchronisierung auf einen fehlerbehafteten Videodatenstrom
DE69816971T2 (de) Videokodierer mit skalierungsabhängiger vlc (variable length code) kodierung
DE60300591T2 (de) Verfahren und Vorrichtung zur Dekomprimierung von Bildern durch Transkodierung in komprimierte Bewegtbilder
DE10296787B4 (de) Selektive Prädikation für ein Intra-Codieren eines Videodatenblocks
DE69928494T2 (de) Videosignalkompression
EP0821531B1 (de) Codierung und Decodierung von Trickfilmen
EP0836785B1 (de) Verfahren zur dekodierung und kodierung eines komprimierten videodatenstroms mit reduziertem speicherbedarf
DE69702756T3 (de) Verfahren und vorrichtung zur endloswiedergabe von komprimierten videobitströmen

Legal Events

Date Code Title Description
8364 No opposition during term of opposition