DE69917971T2 - Verfahren und Vorrichtung zur Verarbeitung von komprimierten Videodatenströmen - Google Patents

Verfahren und Vorrichtung zur Verarbeitung von komprimierten Videodatenströmen Download PDF

Info

Publication number
DE69917971T2
DE69917971T2 DE69917971T DE69917971T DE69917971T2 DE 69917971 T2 DE69917971 T2 DE 69917971T2 DE 69917971 T DE69917971 T DE 69917971T DE 69917971 T DE69917971 T DE 69917971T DE 69917971 T2 DE69917971 T2 DE 69917971T2
Authority
DE
Germany
Prior art keywords
frames
frame
sequence
temporal
insertion point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE69917971T
Other languages
English (en)
Other versions
DE69917971D1 (de
Inventor
Alois Martin Eastleigh Bock
John Paul Bournemouth Jordan
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ericsson AB
Original Assignee
Tandberg Television AS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tandberg Television AS filed Critical Tandberg Television AS
Publication of DE69917971D1 publication Critical patent/DE69917971D1/de
Application granted granted Critical
Publication of DE69917971T2 publication Critical patent/DE69917971T2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/004Predictors, e.g. intraframe, interframe coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

  • Die vorliegende Erfindung betrifft das Gebiet des digitalen Broadcasting bzw. des digitalen Rundsendens und im Besonderen das Einfügen digitaler Videoströme in andere digitale Videoströme.
  • Das digitale Fernsehen umfasst das Erzeugen und Speichern enormer Datenmengen. An diesen Daten können digitale Komprimierungstechniken angewandt werden, um die erforderlichen Datenvolumina für die Übertragung und Speicherung zu verringern. Eine auf dem Gebiet übliche Komprimierungstechnik ist MPEG-2. Bei MPEG-2 werden Videodaten komprimiert, indem inhärente Redundanzen in vielen Arten bzw. Typen von Bild- oder Videofolgen bzw. -sequenzen entfernt bzw. reduziert werden. MPEG-2 verwendet drei verschiedene Frame-Typen, wodurch eine Minimierung der Redundanz ermöglicht wird. Die drei Frame-Typen sind als I-Frames, B-Frames und P-Frames bekannt.
  • I-Frames enthalten Informationen, welche die vollständige Wiederherstellung von Frames lediglich aus den Daten ermöglichen, die sich in dem I-Frame befinden. P-Frames verwenden einen einzelnen, bereits rekonstruierten Frame als Basis für Berechnungen zur zeitlichen Prädiktion. P-Frames basieren Ihre Prädiktionen an dem naheliegendsten I- oder P-Frame, wobei dies als Vorwärtsprädiktion bekannt ist. B-Frames verwenden eine bidirektionale interpolierte Bewegungsprädiktion, die einem Decodierer die Rekonstruktion eines Frames ermöglicht, der sich zwischen zwei rekonstruierten Anzeige-Frames befindet. B-Frames verwenden für ihre Prädiktionen sowohl Frames aus der Vergangenheit als auch aus der Zukunft und setzen mehr als zwei Frames der Videospeicherung voraus. MPEG-2-Videoströme bestehen aus einer Sequenz bzw. einer Folge von I-, P- und B-Frames, welche die Videosequenz beschreiben.
  • Die Dekomprimierung und Anzeige von MPEG-2-komprimierten Videoströmen kann somit sowohl auf Frames aus der Vergangenheit als auch auf Frames aus der Zukunft basieren. In Anbetracht der Eigenschaften komprimierter Videoströme werden bestimmte Funktionen problematisch, wie etwa das Bearbeiten und das Einfügen von Bitströmen. Wenn eine komprimierte Videosequenz an einem beliebigen zeitlichen Punkt geschnitten wird, ist es wahrscheinlich, dass der Frame unmittelbar vor dem Schnitt von Informationen abhängig ist, die sich in folgenden Frames befinden, um den Decodierungsvorgang abschließen zu können. Wenn eine Videosequenz in einen Videostrom eingefügt wird, ist es ferner ebenfalls wahrscheinlich, dass die ersten Frames in der Videosequenz auf. vorherigen Frames basieren, die nicht mehr existieren.
  • Wenn ein für den Decodierungsprozess erforderliche Frame fehlt, wie etwa ein vorheriger oder ein zukünftiger Frame, so führt dies zu einem vorübergehenden Zusammenbruch des Decodierungsprozesses, bis der nächste I-Frame empfangen wird. Dies führt zu einer vorübergehenden Reduzierung der Güte bzw. der Qualität des decodierten Bilds.
  • Das Problem entsteht somit dann, wenn auf den Frame präzise Bearbeitung und Einfügung komprimierter Videoströme erforderlich ist.
  • Wee S.J. et al. offenbaren in "Splicing MPEG video streams in the compressed domain", IEEE Workshop on Multimedia Signal Processing, Proceedings of Signal Processing Society Workshop on Multimedia Signal Processing, 23. Juni 1997, Seiten 225-230, XP000957700, ein Verfahren unter Verwendung einer teilweisen Decodierung und erneuten Codierung von MPEG-Frames zur Veränderung des Frame-Typs, so dass die gespleisste Sequenz decodierbar ist. Diese Referenz betrifft somit den Betrieb im decodierten Bereich.
  • Das U.S. Patent US-A-5.602.592 offenbart den Betrieb in dem komprimierten Bereich und unter Verwendung einer Decodierung sowie einer erneuten Decodierung. In diesem Bezugsdokument wird die Abhängigkeit von vorhergehenden oder folgenden Frames oberhalb des Spleißpunktes nicht anerkannt, und somit wird die Sequenz nicht geändert, um eine etwaige derartige Abhängigkeit zu entfernen.
  • Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein Verfahren und eine Vorrichtung zu einer Frame-genauen Bearbeitung und Einfügung komprimierter Videoströme vorzusehen.
  • Vorgesehen ist gemäß einem Aspekt der vorliegenden Erfindung ein Verfahren gemäß dem gegenständlichen Anspruch 1.
  • Vorgesehen ist gemäß einem zweiten Aspekt der vorliegenden Erfindung eine Vorrichtung gemäß dem gegenständlichen Anspruch 3.
  • Die vorliegende Erfindung wird nachstehend anhand von Beispielen in Bezug auf die Abbildungen der Zeichnungen beschrieben. In den Zeichnungen zeigen:
  • 1 ein Diagramm mit einer Übersicht über das Broadcasting-System gemäß der vorliegenden Erfindung;
  • 2 ein Diagramm einer kennzeichnenden Frame-Sequenz in der Reihenfolge der Anzeige von MPEG-2-Video-Frames;
  • 3 ein Diagramm des Effekts einer herkömmlichen B-Frame-Neuanordnung zur Übermittlung;
  • 4 ein Diagramm einer Videosequenz, wobei der Einfügepunkt auf einen geraden Frame fällt;
  • 5 ein Diagramm einer Videosequenz, wobei der Einfügepunkt auf einen ungeraden Frame fällt;
  • 6 ein Diagramm einer Modifikation der Videosequenz aus 5;
  • 7 ein Diagramm einer Modifikation der Videosequenz aus 6;
  • 8 ein Diagramm einer Modifikation der Videosequenz aus 7;
  • 9 ein Diagramm der bevorzugten Modifikationen einer Videosequenz; und
  • 10 ein Diagramm eines Ausführungsbeispiels der vorliegenden Erfindung.
  • Die Abbildung aus 1 zeigt ein Diagramm eines Broadcasting-Systems gemäß der vorliegenden Erfindung. Eine nationale Sendung 100 wird durch einen Codierer 101 codiert, der die Eingangsdaten in einen komprimierten oder codierten digitalen Bitstrom 108 komprimiert. Ein Schalter 104 wird in dem vorliegenden Beispiel dazu verwendet, regionale Werbung aus einer Datenbank 103 in den nationalen Sendestrom 108 einzufügen.
  • Eine Mehrzahl weiterer Codierer, von denen einer unter 102 dargestellt ist, codieren ferner andere Eingangssignale in komprimierte digitale Bitströme. Jeder der codierten Bitströme wird in einen Multiplexer 105 eingegeben, der jeden einzelnen Bitstrom multiplexiert, so dass ein einziger multiplexierter Bitstrom erzeugt wird, der zur Übermittlung über ein Übertragungsnetz 106 bereit ist. Bei dem Übertragungsnetz kann es sich um ein Satelliten-, Kabel-, Mikrowellen-, terrestrisches oder anderes Übertragungsnetz handeln. Der übertragene Bitstrom kann von einem entsprechenden Decodierer empfangen werden, von denen einer unter 107 dargestellt ist.
  • Ein MPEG-Datenstrom umfasst eine ununterbrochene Reihe codierter Frames, welche I-, B- und P-Frames aufweisen. Wie dies bereits vorstehend im Text beschrieben worden ist, sind viele der Frames in dem Datenstrom in kritischer Weise von ihren Vorgängern oder Nachkommen abhängig, und zwar aufgrund der Nutzung sowohl der Vorwärts- als auch der Rückwärtsprädiktion. Für die Codierung eines Datenstroms gibt es zahlreiche Möglichkeiten, und wobei es sich bei 'Single B Frame' und 'Double B Frame' um zwei übliche Formate handelt. Diese Formate betreffen die Anordnung der verschiedenen Arten von Frames in einer Frame-Sequenz. Eine Frame-Sequenz ist in eine als eine Gruppe von Bildern bekannte Einheit gruppiert, die für gewöhnlich auf Englisch als GOP abgekürzt wird. Die Anzahl der Frames in einer GOP, die als GOP-Länge bekannt ist, variiert gemäß dem Codierungsformat, das von einem Codierer verwendet wird.
  • Bei der Single B Frame Codierung wird eine wie folgt lautende Frame-Sequenz erzeugt: "IBPBPBPB...". Nach einem ersten I-Frame folgt eine Folge alternierender B-Frames und P-Frames. Die Single B Frame Codierung wird eher für die Fernsehnorm PAL verwendet, wobei für gewöhnlich eine GOP-Länge von 12 Frames zum Einsatz kommt.
  • Bei der Double B Frame Codierung wird eine wie folgt lautende Frame-Sequenz erzeugt: "IBBPBBPBB...". nach einem ersten I-Frame folgt eine Folge von zwei B-Frames und einem P-Frame. Die Double B Frame Codierung wird eher für die Fernsehnorm NTSC verwendet, wobei für gewöhnlich eine GOP-Länge von 15 Frames zum Einsatz kommt.
  • Die Art der Codierung kann an dem Codierer gemäß den Anforderungen des Senders ausgewählt werden.
  • In folgendem Bezug auf die Abbildung aus 2 ist darin eine kennzeichnende Frame-Sequenz von Single B Frame codierten Video-Frames abgebildet. Die Frame-Sequenz umfasst eine Mehrzahl verschiedener I-Frames, P-Frames und B-Frames. Die in den Diagrammen dargestellten Buchstaben bezeichnen die Art des Frames. I für einen I-Frame, P für einen P-Frame und B für einen B-Frame. Die tiefgestellten Ziffern bezeichnen den zeitlichen Bezug, wodurch die Reihenfolge angezeigt wird, in der die Frames durch den Decodierer angezeigt werden. Der Begriff "EINgangspunkt" wird zur Bezeichnung des ersten Frames einer Videosequenz verwendet, und "AUSgangspunkt" wird zur Bezeichnung des letzten Frames einer Sequenz verwendet, die in einen vorhandenen Datenstrom eingefügt wird. Die Folge von Frames zwischen dem "EINgangspunkt" und dem "AUSgangspunkt" wird als eine Videosequenz bezeichnet. Diese Bezeichnung wird in der gesamten Beschreibung verwendet.
  • Die Abbildung aus 3 zeigt, wie eine Frame-Sequenz für die Übertragung neu angeordnet wird. Diese umfasst für gewöhnlich das Austauschen jedes B-Frames durch den nächsten Frame in der Sequenz. Dies gewährleistet, dass der Decodierer die Frames in der richtigen Reihenfolge zur Decodierung sowie für die erforderlichen Prädiktionen empfängt.
  • Zum Einfügen einer Videosequenz in einen vorhandenen Datenstrom ist für die Videosequenz eine Modifikation nach dem "EINgangspunkt" und potenziell vor dem "AUSgangspunkt" erforderlich, um sicherzustellen, dass die Einfügung nahtlos oder nahezu nahtlos erfolgt, d.h. dass die Einfügung für den Betrachter nicht erkennbar ist.
  • In Bezug auf den "EINgangspunkt" weisen alle B-Frames unmittelbar nach dem ersten I-Frame und vor dem ersten P-Frame potenziell einen Bezug (oder eine Prädiktion von) zu einem vorherigen P-Frame auf, der nicht mehr existiert, da dies vor dem "EINgangspunkt" erfolgt und somit nicht Bestandteil der aktuellen Videosequenz ist.
  • Ein "AUSgangspunkt" kann an jeder Stelle in der GOP auftreten und wahrscheinlich bei einem B- oder P-Frame. Wenn es sich bei der Dauer der Sequenz um eine ungerade Anzahl von Frames handelt (bei gerader GOP-Länge und Verwendung einer Single B Frame Codierung), kann ein Problem auftreten, wobei der letzte Frame in der Sequenz einen temporalen bzw. zeitlichen Bezug aufweist, der keine Fortsetzung eines vorherigen zeitlichen Bezugs darstellt. Die Abbildung aus 5 ist ein Diagramm, das eine Videosequenz zeigt, bei welcher der "AUSgangspunkt" auf einen Frame mit ungerader Nummer fällt. In diesem Beispiel fehlt der Frame-Sequenz der zeitliche Bezug 10, und dies bewirkt eine Unterbrechung in den zeitlichen Bezügen in der Videosequenz. Dies bewirkt höchstwahrscheinlich, dass der Decodierer Frames außerhalb der Sequenz anzeigt und/oder die Decodierung zurücksetzt, wobei das Anzeigen der Videosequenz unterbrochen wird. Dieses Problem verschärft sich, wenn "Double B Frames" eingesetzt werden, da in diesem Fall zwei zeitliche Bezüge fehlen können.
  • Vorgesehen sind gemäß der vorliegenden Erfindung eine Lösung für diese Probleme sowie eine Vorrichtung und ein Verfahren zum nahtlosen oder nahezu nahtlosen Einfügen von Bitströmen in vorhandene Bitströme.
  • Das Verfahren zum Modifizieren der Bitströme für ein nahtloses oder nahezu nahtloses Einfügen kann in zwei separate Prozesse unterteilt werden. Ein Prozess verarbeitet den Anfang der Sequenz und der zweite Prozess verarbeitet das Ende der Sequenz.
  • Unmittelbar nach einem "EINgangspunkt" müssen alle Frames mit einer Abhängigkeit von anderen Frames, die vor dem "EINgangspunkt" auftreten, modifiziert werden, um das Einfügen der Videosequenz in einen vorhandenen Datenstrom zu ermöglichen. Die einzigen Frames, die von vorherigen Frames abhängig sind, sind B-Frames, da diese bidirektional prädiziert werden. Daraus folgt, dass alle B-Frames, die unmittelbar auf den ersten I-Frame folgen und vor dem nächsten P-Frame erscheinen, modifiziert werden müssen und entweder entfernt oder dazu gezwungen werden müssen, nur Vorwärtsprädiktionen vorzunehmen.
  • Eine Lösung ist das Ersetzen etwaiger B-Frames durch Null-B-Frames. Ein Null-Frame beseitigt etwaige Probleme, die der Abhängigkeit von anderen Frames zugeordnet sind, indem bewirkt wird, dass der Decodierer einen Freeze-Frame bzw. ein Festbild oder einen Fade bzw. eine Überblendung zwischen benachbarten Frames vornimmt. Ein Null-Frame ist in diesem Sinne ein Frame, bei dem die Makroblöcke nicht codiert sind.
  • Ein Null-Frame wird erzeugt, wenn die gesamte elementare Stromsyntax, die dem Frame zugeordnet ist, durch Nullwerte ersetzt wird, wobei dies als Stopfen bekannt ist. Zusätzlich zu dem Stopfen wird zudem eine Mehrzahl von Steuerbytes nach jedem Slice-Header eingefügt. Die folgenden Parameter werden in dem ersten und dem letzten Makroblock jedes Slice verwendet, um einen Null-Frame zu erzeugen:
    Figure 00090001
  • Nach dem ersten Makroblock wird macroblock address increment auf den letzten Makroblock-1 erhöht, wobei der letzte Makroblock daraufhin ebenso wie die erste codiert wird.
  • Das Konzept der Null-Frames kann auch auf die P-Frames angewandt werden.
  • Das Ende einer Videosequenz muss möglicherweise auch verarbeitet werden, um eine nahtlose oder nahezu nahtlose Einfügung in einen vorhandenen Datenstrom zu ermöglichen. Die folgenden Beispiele basieren auf einer Single B Frame Codierung mit einer geraden GOP-Länge.
  • Die Abbildung aus 4 veranschaulicht eine Frame-Sequenz mit einer geraden Anzahl von Frames, wobei es sich bei dem letzten Frame in der Sequenz um einen B-Frame mit einem zeitlichen Bezug von 8 handelt. Wie dies ersichtlich ist, weist der vorherige Frame P9 (ein P-Frame) einen zeitlichen Bezug von 9 auf und wird somit durch einen Decodierer unmittelbar nach der Anzeige des B-Frames B8 angezeigt. Die "Ausgangs"-Frames (d.h. Frames, von denen der B-Frame prädiziert wird) für B8 sind P7 und P9, so dass dieser "AUSgangspunkt" vollständig ist, da alle Frame-Abhängigkeiten innerhalb der Videosequenz liegen, und somit ist keine Nachverarbeitung erforderlich.
  • Im folgenden Bezug auf die Abbildung aus 5 ist eine Sequenz mit einer Dauer dargestellt, die eine ungerade Anzahl von Frames umfasst, wobei es sich bei dem letzten Frame in der Sequenz um einen P-Frame handelt, der als P11 dargestellt ist. Der vorherige krame B8 weist einen zeitlichen Bezug von $ auf und diesem geht ein P-Frame P9 mit einem zeitlichen Bezug von 9 voran. Der Frame mit einem zeitlichen Bezug von 10 (der nächste B-Frame) B10 ist nicht mehr in der beschnittenen Sequenz vorhanden und ist von einem Frame abhängig, der nicht Teil der Videosequenz ist. Dies sorgt daraufhin für eine Unterbrechung der zeitlichen Bezüge, wodurch der Decodierungsprozess wahrscheinlich gestört werden kann, wobei dies höchstwahrscheinlich dazu führt, dass Frames in falscher Anordnung angezeigt werden und/oder zu einem Zurücksetzen des Decodierers. Dieser "AUSgangspunkt" ist somit nicht vollständig und erfordert eine Nachverarbeitung, um das Einfügen in einen anderen Datenstrom zu ermöglichen.
  • Eine Lösung für das Problem in Bezug auf GOPs mit ungeraden Längen ist das Ändern des P-Frames in einen Null-P-Frame sowie die Änderung des zugeordneten zeitlichen Bezugs von 11 in 10. Dies ist in der Abbildung aus 6 veranschaulicht. Dies führt in der Folge zu einer glatten bzw. flachen Erhöhung des zeitlichen Bezugs durch den neuen "AUSgangspunkt". Durch das Ändern des P-Frames in einen Null-P-Frame wird am Ende der Sequenz und vor dem Beginn einer neuen Sequenz ein Stillbild bzw. ein Freeze-Frame erzeugt. Diese Methode ist nur begrenzt erfolgreich, und zwar aufgrund der Tatsache, dass der neue zeitliche Bezug und der Frame-Typ nicht dem entsprechen, was von dem Decodierer erwartet wird, und wobei dies dazu führen kann, dass Frames wiederholt oder in falscher Reihenfolge angezeigt werden. Ferner bewirkt das Ändern des P-Frames in einen Null-P-Frame ein Stillbild auf der Basis des Frames P9, einem Frame, der in der Anzeigereihenfolge zwei Frames davor liegt.
  • Die Abbildung aus 7 zeigt eine Verbesserung der vorstehend aufgeführten Lösung. Hiermit wird festgestellt, dass der letzte P-Frame in diesem Fall durch einen Null-B-Frame ersetzt worden ist, und wobei der zeitliche Bezug erneut verändert wird, diesmal zu 9. Ferner hat sich der auf den vorherigen P-Frame angewandte zeitliche Bezug von 9 in 10 geändert. Dies verbessert die erste Methode, indem der Decodierer "vorgewarnt" wird, zeitliche Bezüge von 8 und 9 nach dem P-Frame P10 zu erwarten, und wobei dies zu einer kontinuierlichen Erhöhung der zeitlichen Bezüge führt.
  • Eine weitere Verbesserung ist in der Abbildung aus 8 dargestellt. Der "Wechsel" der Frame-Syntax (d.h. der Wechsel des Frames in einen Null-Framey betrifft das Problem des in der Abbildung aus 6 erzeugten Freeze-Frames bzw. Festbilds.
  • In der Folge wird auf die. Abbildung aus 9 Bezug genommen, welche die bevorzugte Lösung gemäß der vorliegenden Erfindung zeigt, die eine Videosequenz erzeugt, die den besten Kompromiss sowohl in Bezug auf die angezeigten Bilder als auch der Anordnung des zeitlichen Bezugs für den Decodierer darstellt. Die Abbildung aus 9a zeigt eine Videosequenz vor der Übertragung mit den zeitlichen Bezügen in aufsteigender Reihenfolge. Die Abbildung aus 9b zeigt die Videosequenz nach der erfolgten neuen Anordnung der Frames.
  • Die Abbildung aus 9c zeigt eine Erhöhung des zeitlichen Bezugs an P9 (dem vorletzten P-Frame in der Videosequenz) auf 10. Danach wird nach P10 ein Null-B-Frame eingefügt. Der Effekt daraus ist es, dass der P-Frame P11 aus der Sequenz entfernt wird. Daraufhin werden die zeitlichen Bezüge an den letzten B-Frames so modifiziert, dass sie eine kontinuierliche Inkrementierung aufweisen. Die Abbildung aus 9 zeigt, dass die resultierenden angezeigten Bilder nahezu vollständig linear folgen und mit einem Fade-Frame bzw. einem Überblendungs-Frame, der eine Interpolation der Frames 7 und 9 umfasst. Wenn diese Lösung als Nachverarbeitungsfunktion eingesetzt wird, hat sie die beste Chance, durch den Decodierer korrekt angezeigt zu werden, und zwar speziell dann, wenn die Einzelheiten der Implementierung des Decodierers nicht bekannt sind oder der Decodiererbestand gemischt ist.
  • Der Fachmann auf diesem Gebiet erkennt, dass die vorstehend beschriebenen Techniken gleichermaßen mit den relevanten Modifikationen auf andere Formate der Frame-Codierung angewandt. werden können, einschließlich Double B Frames und GOPs mit unterschiedlichen Längen.
  • Die Abbildung aus 10 zeigt ein Diagramm mit einer Übersicht über ein Ausführungsbeispiel gemäß der vorliegenden Erfindung.
  • Ein komprimierter Videostrom wird in einer Speichervorrichtung 1100 gespeichert. Wie dies vorstehend im Text bereits beschrieben worden ist, können Modifikationen des gespeicherten Videostroms erforderlich sein, um dessen Einfügung in einen vorhandenen Videostrom zu ermöglichen. Eine Steuereinrichtung 1101 prüft den Beginn des Videostroms und das Ende des Videostroms und steuert die Modifikationen, die erforderlich sind, um etwaige Probleme in Bezug auf die Frame-Sequenz zu "beheben".
  • Der Beginn der Videosequenz kann entweder an einem I-, einem P- oder einem B-Frame erfolgen, und zwar abhängig von der Position des "EINgangspunkts". Die Steuereinrichtung 1101 prüft den Beginn der Sequenz und identifiziert etwaige B-Frames, die zwischen dem ersten I-Frame und vor dem nächsten P-Frame auftreten. Die Steuereinrichtung bewirkt einen Ersatz dieser B-Frames durch Null-B-Frames über einen Schalter 1105. Die Codierung der Null-Frames beseitigt alle etwaigen Probleme, die den Bezügen auf andere Frames zugeordnet sind, indem dafür gesorgt wird, dass der Decodierer einen Freeze-Frame bzw. ein Festbild oder eine Überblendung bzw. einen Fade zwischen den beiden Sequenzen ausführt.
  • Wenn die Steuereinrichtung 1101 eine Frame-Abhängigkeit außerhalb der aktuellen Videosequenz feststellt, fügt sie über einen Schalter 1105 nach dem vorletzten P-Frame in der Sequenz einen Null-B-Frame ein. Dies entfernt den letzten P-Frame aus der Sequenz. Die Modifikationseinrichtung 1103 für den zeitlichen Bezug modifiziert danach den zeitlichen Bezug, wie dies in der Abbildung aus 9c dargestellt ist. Dies gewährleistet, dass die zeitlichen Bezüge eine inkrementale Sequenz bilden, wenn sie durch einen Decodierer angezeigt werden. Die durch den Schalter 1106 veränderte Sequenz wird danach in einer Speichervorrichtung 1104 gespeichert. Das Ergebnis dieses Betriebs ist es, dass der komprimiert Videostrom jetzt nahtlos oder nahezu nahtlos in einen anderen Videostrom eingefügt werden kann, der auf die gleiche Art und Weise verarbeitet wird.
  • Die vorliegende Erfindung kann zur Verarbeitung gespeicherter Videosequenzen verwendet werden, die zum Einfügen mit einem vorhandenen komprimierten Videostrom bereit sind, wie dies vorstehend im Text beschrieben worden ist. Alternativ kann die vorliegende Erfindung an einem Videoeinfügeschalter verwendet werden, wie etwa dem Schalter 1104 aus 1, der nicht modifizierte komprimierte Videoströme akzeptieren kann und diese zum Einfügen unter Verwendung des Verfahrens gemäß der vorliegenden Erfindung in Echtzeit vorbereiten würde.
  • Im Besonderen findet die vorliegende Erfindung Anwendung beim Einfügen regionaler oder nationaler Werbungen in einen vorhandenen bzw. einen bereits existierenden komprimierten Videostrom. Die vorliegende Erfindung kann ebenso zum Erzeugen von Sequenzen verwendet werden, die in einer Endlosschleife ausgeführt werden.

Claims (6)

  1. Verfahren zur Verarbeitung eines komprimierten digitalen Bitstroms, der eine Folge von Video-Frames mit zeitlichem Bezug aufweist, wobei mindestens einige dieser abhängig von Informationen in vorhergehenden oder folgenden Frames codiert sind, so dass der Bitstrom in einen anderen derartigen digitalen Bitstrom eingefügt werden kann, wobei das Verfahren die folgenden Schritte umfasst: Identifizieren des Vorhandenseins von einem Frame oder mehreren Frames an einem bestimmten Einfügepunkt in dem komprimierten digitalen Bitstrom, wobei die Frames abhängig von einem oder mehreren folgenden Frames nach dem Einfügepunkt codiert sind; und Modifizieren der Folge in dem komprimierten digitalen Bitstrom, um jede derartige Abhängigkeit zu entfernen und die Kontinuität der zeitlichen Bezüge aufrecht zu erhalten, indem die Art des Frames an dem Einfügepunkt in einen Null-Frame geändert wird, in dem die Makroblöcke nicht codiert sind.
  2. Verfahren nach Anspruch 1, wobei der Schritt des Modifizierens ferner das selektive Modifizieren der zeitlichen Bezüge aufweist, um sicherzustellen, dass die Frames in der richtigen Reihenfolge durch einen Decodierer angezeigt werden.
  3. Vorrichtung zur Verarbeitung eines komprimierten digitalen Bitstroms, der eine Folge von Video-Frames mit zeitlichem Bezug aufweist, wobei mindestens einige dieser abhängig von Informationen in vorhergehenden oder folgenden Frames codiert sind, so dass der Bitstrom in einen anderen derartigen digitalen Bitstrom eingefügt werden kann, wobei die Vorrichtung folgendes umfasst: einen Detektor (1101) zum Identifizieren des Vorhandenseins von einem Frame oder mehreren Frames an einem bestimmten Einfügepunkt in dem komprimierten digitalen Bitstrom, wobei die Frames abhängig von einem oder mehreren folgenden Frames nach dem Einfügepunkt codiert sind; und einen Prozessor (1101, 1102, 1103, 1105) zum Modifizieren der Folge in dem komprimierten digitalen Bitstrom, um jede derartige Abhängigkeit zu entfernen und die Kontinuität der zeitlichen Bezüge aufrecht zu erhalten, mit einer Steuereinheit (1101) und einer schaltbaren (1105) Null-Frame-Einfügeeinrichtung zum Ändern des Frames an dem Einfügepunkt in einen Null-Frame, in dem die Makroblöcke nicht codiert sind.
  4. Vorrichtung nach Anspruch 3, wobei der Prozessor ferner eine zeitliche Modifikationseinrichtung (1103) zum selektiven Modifizieren der zeitlichen Bezüge aufweist, um sicherzustellen, dass die Frames in der richtigen Reihenfolge durch einen Decodierer angezeigt werden.
  5. Verfahren nach Anspruch 1 oder 2, wobei das Verfahren ferner den Schritt des Übermittelns der genannten modifizierten Folge aufweist.
  6. Vorrichtung nach Anspruch 3 oder 4, wobei die Vorrichtung ferner eine Einrichtung zum Übermitteln der genannten modifizierten Folge aufweist.
DE69917971T 1998-04-03 1999-03-03 Verfahren und Vorrichtung zur Verarbeitung von komprimierten Videodatenströmen Expired - Lifetime DE69917971T2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GBGB9807202.8A GB9807202D0 (en) 1998-04-03 1998-04-03 A method and apparatus for processing compressed video data streams
GB9807202 1998-04-03

Publications (2)

Publication Number Publication Date
DE69917971D1 DE69917971D1 (de) 2004-07-22
DE69917971T2 true DE69917971T2 (de) 2005-06-23

Family

ID=10829821

Family Applications (1)

Application Number Title Priority Date Filing Date
DE69917971T Expired - Lifetime DE69917971T2 (de) 1998-04-03 1999-03-03 Verfahren und Vorrichtung zur Verarbeitung von komprimierten Videodatenströmen

Country Status (6)

Country Link
US (1) US6370199B1 (de)
EP (1) EP0948205B1 (de)
JP (1) JP2000023161A (de)
AU (1) AU2255999A (de)
DE (1) DE69917971T2 (de)
GB (1) GB9807202D0 (de)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8381126B2 (en) * 1992-12-14 2013-02-19 Monkeymedia, Inc. Computer user interface with non-salience deemphasis
US8370746B2 (en) * 1992-12-14 2013-02-05 Monkeymedia, Inc. Video player with seamless contraction
US5623588A (en) * 1992-12-14 1997-04-22 New York University Computer user interface with non-salience deemphasis
US7068724B1 (en) 1999-10-20 2006-06-27 Prime Research Alliance E., Inc. Method and apparatus for inserting digital media advertisements into statistical multiplexed streams
US6704930B1 (en) * 1999-04-20 2004-03-09 Expanse Networks, Inc. Advertisement insertion techniques for digital video streams
US7185353B2 (en) 2000-08-31 2007-02-27 Prime Research Alliance E., Inc. System and method for delivering statistically scheduled advertisements
US20020083445A1 (en) * 2000-08-31 2002-06-27 Flickinger Gregory C. Delivering targeted advertisements to the set-top-box
US8151295B1 (en) 2000-08-31 2012-04-03 Prime Research Alliance E., Inc. Queue based advertisement scheduling and sales
US20020083441A1 (en) * 2000-08-31 2002-06-27 Flickinger Gregory C. Advertisement filtering and storage for targeted advertisement systems
US20020087973A1 (en) * 2000-12-28 2002-07-04 Hamilton Jeffrey S. Inserting local signals during MPEG channel changes
DE60039861D1 (de) * 1999-04-20 2008-09-25 Samsung Electronics Co Ltd Werbeverwaltungssystem für digitale videoströme
US6393158B1 (en) * 1999-04-23 2002-05-21 Monkeymedia, Inc. Method and storage device for expanding and contracting continuous play media seamlessly
US10051298B2 (en) 1999-04-23 2018-08-14 Monkeymedia, Inc. Wireless seamless expansion and video advertising player
FR2795272B1 (fr) * 1999-06-18 2001-07-20 Thomson Multimedia Sa Procede de commutation de flux mpeg
US6587506B1 (en) * 1999-11-02 2003-07-01 Matsushita Electric Industrial Co., Ltd. Video editing apparatus, video editing method, and data storage medium for a video editing program
EP1119208A3 (de) * 2000-01-07 2001-09-05 THOMSON multimedia Digitale Videoaufnahmeanlage mit verschiedenen Videoquellen und Mehrfachschaltung für eine solche digitale Videoaufnahmeanlage
US20040148625A1 (en) * 2000-04-20 2004-07-29 Eldering Charles A Advertisement management system for digital video streams
JP2001326940A (ja) * 2000-05-16 2001-11-22 Matsushita Electric Ind Co Ltd 符号化動画像ビットストリーム処理方法、及び装置、並びに符号化動画像ビットストリーム処理プログラムを格納した記録媒体
JP2004505513A (ja) * 2000-07-25 2004-02-19 エイジルビジョン・エル・エル・シー ネットワークフィードの固定タイムスロットに圧縮されたローカルビデオセグメントをスプライシングすること
US20020176507A1 (en) * 2001-03-26 2002-11-28 Mediatek Inc. Method and an apparatus for reordering a decoded picture sequence using virtual picture
WO2002087232A1 (en) * 2001-04-24 2002-10-31 Koninklijke Philips Electronics N.V. Method and device for generating a video signal
EP1383334B1 (de) * 2002-07-17 2012-02-01 Panasonic Corporation Videodatensender, Videodatenempfänger und Rundfunksystem
US7460684B2 (en) * 2003-06-13 2008-12-02 Nielsen Media Research, Inc. Method and apparatus for embedding watermarks
MX2007000076A (es) 2004-07-02 2007-03-28 Nielsen Media Res Inc Metodos y aparatos para mezclar corrientes comprimidas de bits digitales.
US8094997B2 (en) * 2006-06-28 2012-01-10 Cyberlink Corp. Systems and method for embedding scene processing information in a multimedia source using an importance value
WO2008045950A2 (en) 2006-10-11 2008-04-17 Nielsen Media Research, Inc. Methods and apparatus for embedding codes in compressed audio data streams
WO2009012302A1 (en) * 2007-07-16 2009-01-22 Telchemy, Incorporated Method and system for viewer quality estimation of packet video streams
US8973029B2 (en) * 2009-03-31 2015-03-03 Disney Enterprises, Inc. Backpropagating a virtual camera to prevent delayed virtual insertion
US9762639B2 (en) 2010-06-30 2017-09-12 Brightcove Inc. Dynamic manifest generation based on client identity
US9838450B2 (en) 2010-06-30 2017-12-05 Brightcove, Inc. Dynamic chunking for delivery instances
JP2012205050A (ja) * 2011-03-25 2012-10-22 Roland Corp マルチメディアデータ記録再生装置
AU2011201404B1 (en) 2011-03-28 2012-01-12 Brightcove Inc. Transcodeless on-the-fly ad insertion
CA2866585C (en) * 2012-03-06 2021-02-23 Sirius Xm Radio Inc. Systems and methods for audio attribute mapping
US9112939B2 (en) 2013-02-12 2015-08-18 Brightcove, Inc. Cloud-based video delivery

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5594507A (en) 1990-09-28 1997-01-14 Ictv, Inc. Compressed digital overlay controller and method for MPEG type video signal
US6201536B1 (en) * 1992-12-09 2001-03-13 Discovery Communications, Inc. Network manager for cable television system headends
CA2121151A1 (en) * 1993-04-16 1994-10-17 Trevor Lambert Method and apparatus for automatic insertion of a television signal from a remote source
JPH07212766A (ja) * 1994-01-18 1995-08-11 Matsushita Electric Ind Co Ltd 動画像圧縮データ切り換え装置
EP0692911B1 (de) 1994-07-15 2000-03-08 Matsushita Electric Industrial Co., Ltd. Verfahren zur Verbindung von MPEG-Videosequenzen
US5534944A (en) 1994-07-15 1996-07-09 Matsushita Electric Corporation Of America Method of splicing MPEG encoded video
US5559562A (en) 1994-11-01 1996-09-24 Ferster; William MPEG editor method and apparatus
GB2307613B (en) 1995-08-31 2000-03-22 British Broadcasting Corp Switching bit-rate reduced signals

Also Published As

Publication number Publication date
EP0948205B1 (de) 2004-06-16
DE69917971D1 (de) 2004-07-22
US6370199B1 (en) 2002-04-09
EP0948205A3 (de) 2002-01-23
JP2000023161A (ja) 2000-01-21
EP0948205A2 (de) 1999-10-06
GB9807202D0 (en) 1998-06-03
AU2255999A (en) 1999-10-14

Similar Documents

Publication Publication Date Title
DE69917971T2 (de) Verfahren und Vorrichtung zur Verarbeitung von komprimierten Videodatenströmen
DE69522861T2 (de) Verfahren und Einrichtung zur Codeumwandlung von codiertem Datenstrom
DE69327031T2 (de) Editiergerät für kodierte Videodaten und Dekodiergerät für editierte kodierte Videodaten
DE69214638T2 (de) Gerät zum komprimieren von video-daten
DE69227402T2 (de) Signalverarbeitungseinrichtung mit hohem Wirkungsgrad und Verminderung des Einflusses von Fehlerausbreitungen
DE69232913T2 (de) Gerät zur Dekomprimierung von Video-Daten
DE69414899T2 (de) Bildsignalverarbeitung
DE69320731T2 (de) Raum- und Frequenzhybridkodierung eines Videosignals zur Vereinfachung der Bildung von Bildern variabler Auflösung
DE69233620T2 (de) Adaptive Kodierung und Dekodierung von Vollbildern und Halbbildern von Videosignalen
DE69412834T2 (de) Vorrichtung zur bereitstellung von komprimierten bildsignalen ohne zeilensprung
DE69422208T2 (de) Filmbilderkennung in einer Videosequenz
DE69824486T2 (de) Kodier- und Dekodierverfahren für Videosignal mit Zwischenbild mit Konvertierung periodisch ausgewählter Videohalbbilder zu Videobildern mit progressiver Abtastung
DE69422960T2 (de) Verfahren und Vorrichtung zum Editieren oder zur Mischung von komprimierten Bildern
DE69632231T2 (de) Kodierung und Dekodierung von Bewegtbildern
DE69323123T2 (de) Kodierung und Dekodierung von Bildsignalen
DE69810670T2 (de) Verfahren zur rechnerischen Feindegradierung in einem audio-visuellen Kompressionssystem
DE69516139T2 (de) Komprimierter digitaler bildüberlagerungskontroller und methode
DE4305578B4 (de) Fehlerverdeckung in decodierten Videosignalen
DE69926711T2 (de) Verbindung von Videodaten in progressiv aufgefrischten Videobitströmen
DE69512548T2 (de) Verfahren und Vorrichtung zur Vermeidung von wiederholenden Zufallsfehlern in Transformationskoeffizienten von Bewegtbildsignalen
DE69425010T2 (de) Prioritätsverarbeitung von kodierten Bildsignalen
DE69835211T2 (de) Umschaltung zwischen komprimierten videobitströmen
DE69418372T2 (de) Übertragung und Dekodierung von Bildsignalen
DE69535627T2 (de) Editiervorrichtung für videosignale
EP0752789B1 (de) Verfahren, Encoder und Decoder zur Resynchronisierung auf einen fehlerbehafteten Videodatenstrom

Legal Events

Date Code Title Description
8364 No opposition during term of opposition
8327 Change in the person/name/address of the patent owner

Owner name: ERICSSON AB, STOCKHOLM, SE

8328 Change in the person/name/address of the agent

Representative=s name: HEYER, V., DIPL.-PHYS. DR.RER.NAT., PAT.-ANW., 806