DE19717453A1 - Verfahren zum Einblenden eines neuen Bildabschnittes an einer vorbestimmten Stelle eines datenreduzierten Video-Datenstromes - Google Patents

Description

Die Erfindung betrifft ein Verfahren laut Oberbegriff des Hauptanspruches.

In der digitalen Videoübertragungstechnik werden in zunehmendem Maße datenreduzierende Codierverfahren verwendet. Zu ihnen gehören die sogenannten MPEG-Codierverfahren, die eine blockba­ sierte Diskrete-Cosinus-Transformation (DCT) durchführen (nach ISO/IEC 11172 (1993) "Information technology: Coding of moving Pictures- and associated audio for digital storage media at up to about 1,5 Mbit/S" und ISO/IEC 13818-2 "Information techno­ logy: Generic coding of Moving Pictures and associated audio information: video"). Sie nutzen sowohl die in einem Eild ent­ haltene Redundanz als auch die Eigenschaften der menschlichen visuellen Wahrnehmung aus, um die zur Darstellung notwendige Datenmenge zu reduzieren. Dieses MPEG-Codierverfahren ist ein sehr rechenaufwendiger Prozeß, er wird derzeit in komplexer Hardware realisiert, eine Softwarecodierung kann auf den der­ zeit verfügbaren Personal-Computern nicht echtzeitfähig durch­ geführt werden.

Für den noch nicht codierten und damit auch noch nicht datenre­ duzierten Video-Datenstrom sind die verschiedenartigsten Ver­ fahren zum Einblenden eines neuen Bildinhaltes an einer vorbe­ stimmten Stelle eines Videobildes bekannt, beispielsweise zum nachträglichen Einblenden von Schriftzügen, Logos oder anderen neuen Bildinhalten in ein vorhandenes Videobild. Diese bekann­ ten Verfahren sind jedoch nicht geeignet zum Einblenden solcher neuer Bildabschnitte in einen digitalen Videodatenstrom, der nach einem der oben bekannten Codierverfahren datenreduziert ist.

Es ist daher Aufgabe der Erfindung, ein Verfahren aufzuzeigen, mit dem auch solche Einblendungen von neuen Bildabschnitten in einen durch Blockcodierung datenreduzierten Datenstrom möglich sind.

Diese Aufgabe wird ausgehend von einem Verfahren laut Oberbe­ griff des Hauptanspruches durch dessen kennzeichnende Merkmale gelöst, vorteilhafte Weiterbildungen ergeben sich aus den Un­ teransprüchen.

Das erfindungsgemäße Verfahren nützt die Erkenntnis aus, daß nach dem eingangs erwähnten bekannten Block-Codierverfahren, insbesondere dem Makroblock-Codierverfahren MPEG, jeweils durch die Blockgrenzen getrennte scharf definierte Bildbereiche vor­ handen sind und so durch Auswechseln von ganzen Blöcken an einer vorbestimmten Stelle des Video-Datenstromes ohne Über­ schneidungen ein entsprechend blockcodierter neuer Bildab­ schnitt exakt eingesetzt werden kann. Dies ist gemäß der Erfin­ dung mit sehr geringem Rechenaufwand möglich, da nur die neu einzufügenden Bildabschnitte neu codiert werden müssen, der ur­ sprüngliche Video-Datenstrom dagegen in seiner datenreduzierten komprimierten Form unverändert bleibt. Eine erneute Codierung und damit eventuell verbundene Qualitätseinbußen des ursprüng­ lichen Bildes werden hierdurch vermieden. Es ist nur erforder­ lich, durch ein vorhergehendes Analyseverfahren des ursprüngli­ chen datenreduzierten Video-Datenstromes zeilen- und spaltenge­ nau die Stelle im Videobild zu bestimmen, an welcher der neue Bildabschnitt eingesetzt werden soll.

Nach dem erfindungsgemäßen Verfahren können damit auch noch in einer Senderstation, die einen vom Studio zugeführten und bei­ spielsweise nach dem MPEG-Codierverfahren datenreduzierten Vi­ deo-Datenstrom aussendet, vor der Abstrahlung beispielsweise Schriftzüge oder Logos eines Service-Providers eingeblendet werden, ohne daß hierzu eine Decodierung und anschließende er­ neute MPEG-Codierung des gesamten Datenstromes nötig ist.

Die Erfindung wird im folgenden anhand schematischer Zeichnun­ gen an Ausführungsbeispielen näher erläutert.

Die in den MPEG-Standards beschriebene hybride Videocodierung nutzt mehrere Eigenschaften von Bewegtbildsequenzen und der menschlichen visuellen Wahrnehmung aus, um die Datenrate zur Darstellung der Sequenz zu reduzieren. Dazu zählen u. a.:
Die Transformation in den Frequenzbereich durch die Diskrete- Cosinus-Transformation (DCT),
die variable Quantisierung der DCT-Koeffizienten und
die zeitliche Prädiktion mit Bewegungskompensation.

Für die Transformation in den Frequenzbereich durch die Dis­ krete-Cosinus-Transformation wird das zu codierende Bild in Blöcke zu je 8.8 Bildpunkten unterteilt. Diese Blöcke werden bei der "Intra-Codierung" einzeln der DCT unterworfen. Daraus ergeben sich DCT-Koefizienten als Maß für das Auftreten be­ stimmter DCT-Basismuster in dem Block. Die Chrominanz ist im Vergleich zur Luminanz bei Anwendungen in der Fernsehtechnik üblicherweise unterabgetastet. Bei den Farbrastern "4 : 2:2" im Studiobereich und "4 : 2:0" für die Programmverteilung haben die Blöcke der Chrominanzinformation bei gleicher Bildpunktanzahl gegenüber den Blöcken der Luminanzinformation eine vergrößerte Ausdehnung. Um diesem Umstand Rechnung zu tragen, sind die In­ formationen von je 16.6 Bildpunkten der Luminanz und die der zugehörigen Chrominanz zu Makroblöcken zusammengefaßt. Ein Makroblock besteht demnach aus 4 Luminanzblöcken und je nach Abtastraster aus je 1, 2 oder 4 Chrominanzblöcken für die Farbdifferenzsignale. Die Fig. 1-3 veranschaulichen die ver­ schiedenen Makroblock-Strukturen. Neben der Intra-Codierung können die Blöcke je nach Bildtyp auch auf andere Arten codiert werden.

Zur Ausnutzung der Ähnlichkeit aufeinander folgender Bilder ei­ ner Sequenz besteht die Möglichkeit, statt der oben beschriebe­ nen Intracodierung als Darstellung für den Bildinhalt eines Ma­ kroblockes einen Verweis auf einen möglichst ähnlichen Bildbe­ reich in einem anderen Bild zu codieren. Die Lageinformation des Referenzbildbereiches wird durch Bewegungsvektoren darge­ stellt. MPEG erlaubt eine große Vielzahl unterschiedlicher Kom­ binationen der Codierung und Prädiktion zur Darstellung von Ma­ kroblöcken. Einschränkungen bei der Wahl der Darstellungsart sind durch den gewählten Bildtyp für die Codierung eines Bildes gegeben.

I-Bilder sind intra-codiert. Sie dürfen nur aus intra-codierten Makroblöcken aufgebaut sein. Dementsprechend lassen sie sich ohne Informationen weiterer Bilder decodieren.

P-Bilder sind unidirektional-prädizierte Bilder. Sie können be­ wegungskompensierte und prädizierte Makroblöcke enthalten. Zu ihrer Decodierung muß das Referenzbild bereits vorliegen, das entweder ein I-Bild oder ein anderes P-Bild sein kann. In P- Bildern sind aber auch intra-codierte Makroblöcke zulässig.

B-Bilder sind bidirektional-prädizierte Bilder. Die Bewegungs­ vektoren in B-Bildern können sich auf ein vorhergehendes I- oder P-Bild und auch auf ein in Anzeigereihenfolge nachfolgen­ des I- oder P-Bild beziehen. In B-Bildern sind neben den be­ reits oben erwähnten Darstellungsformen für Makroblöcke auch die der bidirektionalen Prädiktion gestattet. Durch die Inter­ polation aus zwei Referenzbildbereichen kann ein bidirektional prädizierter Makroblock dargestellt werden.

Neben den beschriebenen Makroblocktypen sind noch weitere Typen als Kombination aus den beschriebenen Darstellungsarten mög­ lich.

Zwei verschiedene Arten von Makroblöcken sind zu unterscheiden: Makroblöcke, die später ausgetauscht werden können, und Makro­ blöcke, die nicht ausgetauscht werden können. Beide Typen dürfen keine Bewegungsvektoren auf Makroblöcke ent­ halten, die zum Austausch vorbereitet sind. Für nicht auswech­ selbare Makroblöcke bedeutet dies, daß der Wertebereich der Be­ wegungsvektoren eingeschränkt werden muß, falls auswechselbare Makroblöcke im Suchbereich der Bewegungsschätzung liegen. Aus­ wechselbare Makroblöcke dürfen keine Bewegungsvektoren auf an­ dere auswechselbare Makroblöcke enthalten. Erlaubt sind jedoch Bewegungsvektoren auf nicht auswechselbare Makroblöcke, oder den Makroblock selbst. Im letztgenannten Fall wird der "Nullvektor" jedoch nicht übertragen, sondern es besteht die Möglichkeit, den Codierungstyp des Makroblocks entsprechend zu wählen ("skipped macroblook" oder "coded/not motioncompensated macroblock").

Die einzusetzenden Bildinhalte können wahlweise unabhängig von dem Basis-Videostrom sein, oder durch Einstanzen, bzw. Mischen von neuem und altem Bildinhalt erzeugt werden. Dazu muß zu­ nächst der alte Bildinhalt decodiert und in der Bildebene mit dem neuen verarbeitet werden.

Der in den Videodatenstrom einzusetzende Bildinhalt muß an­ schließend in codierte Makroblöcke gewandelt werden. In I-Bil­ dern werden alle Makroblöcke intra-codiert. Die Parameter der Codierung müssen an die der Videosequenz angepaßt sein. In P- und B-Bildern können die Makroblöcke wahlweise intra-codiert, geskippt oder auch prädiziert werden. Die Prädiktion muß sich dabei auf den bereits ausgetauschten Bildinhalt im Referenzbild beziehen.

Die Codierung der neuen Makroblöcke schließt mit der Quantisie­ rung und der Variablen-Längen-Codierung (VLC) ab. Um die erfor­ derlichen Änderungen in dem Basis-Videostrom gering zu halten, sollte die Quantisierung so gewählt werden, daß die resultie­ rende Datenmenge der neuen Makroblöcke geringer oder gleich der der auszuwechselnden Makroblöcke ist.

Die neuen Makroblöcke werden anschließend bitgenau an die Stelle der alten Makroblöcke kopiert. Die eventuell vorhandene Differenz zwischen der Datenmenge der ursprünglichen Makro­ blöcke und der Datenmenge der neuen Makroblöcke kann u. U. nicht direkt am Ende der neuen Makroblöcke ausgeglichen werden, da zwischen zwei Makroblöcken keine Stopfbits erlaubt sind. Die im Slice eventuell nachfolgenden Makroblöcke müssen daher bitgenau an das Ende der ausgetauschten Makroblöcke angehängt werden. Am Ende des Slices können die frei gewordenen Bitpositionen mit Stopfbits gefüllt werden. Alternativ kauen auch der Rest des Bildes geschoben werden und am Ende des Bildes gestopft werden. Um bei der Quantisierung der einzufügenden Bildinhalte einen erweiterten Spielraum zu haben können die auswechselbaren Ma­ kroblöcke im Basis-Videostrom entweder mit einem reduzierten Quantisierungsfaktor codiert werden, oder es werden auf Slice- Ebene zusätzliche Stopfbits als Reserve eingefügt. Bei der Codierung von "skipped macroblocks" in B-Bildern ist zu beachten, daß der zuletzt "wirksame" Bewegungsvektor eines vor­ hergehenden Makroblockes angewendet wird. Soll der Bildinhalt des ersten neuen Makroblockes im Slice nicht verschoben werden, so muß der Bewegungsvektor durch die Codierung einer geeigneten Differenz kompensiert werden. Im ersten übernommenen Makroblock rechts neben ausgewechselten Makroblöcken muß der Bewegungsvek­ tor gegebenenfalls korrigiert werden, wenn der Bezugsvektor sich geändert hat.

Nachdem in allen Bildern der Videosequenz die gewünschten Ma­ kroblöcke ausgetauscht sind, liegt ein gültiger, standardkon­ former Videodatenstrom mit geändertem Bildinhalt vor.

Zur Vermeidung unerwünschter Nebeneffekte beim Auswechseln des Bildabschnittes muß sichergestellt sein, daß der auszutau­ schende Bildabschnitt nicht als Referenz für einen Bildab­ schnitt dient, der nicht ausgetauscht wird, da sich sonst der Austausch des entsprechenden Makroblockes auch auf einen ande­ ren als den gewünschten Bildabschnitt auswirkt. Dies kann da­ durch vermieden werden, daß bereits bei der ursprünglichen Co­ dierung nach dem MPEG-Verfahren dafür gesorgt wird, daß zumin­ dest in dem Bildbereich, in dem eine Bildeinblendung vorgesehen ist, keine Makroblöcke mit Bewegungsvektoren vorhanden sind, also nur intra-codierte Makroblöcke. Wenn diese Berücksichti­ gung bereits bei der ursprünglichen Codierung nicht möglich ist muß durch ein weiteres vorhergehendes Analyseverfahren dafür gesorgt werden, daß in den nicht auszutauschenden Makroblöcken keine Bewegungsvektoren auf auszutauschende Makroblöcke vorhan­ den sind.

Zur Ermittlung der Einblendstelle gibt es verschiedene Möglich­ keiten, den Video-Datenstrom zu analysieren :

• - Durch die ersten Schritte eines üblichen Decodierverfahrens wird festgestellt, ob zwischen dem auszuwechselnden Bildbereich und dem zu übernehmenden Bildbereich Verknüpfungen durch Bewe­ gungsvektoren bestehen. Ist dies nicht der Fall, so können die entsprechenden Makroblöcke ohne unerwünschte Nebeneffekte aus­ gewechselt werden. Die nötigen Arbeitsschritte hierzu sind das Auffinden spezieller Startcodes der "Header" und decodieren der sich anschließenden Variablen-Längen-Codes. Danach ist ledig­ lich die Interpretation der Makroblocktypen und Bewegungsvekto­ ren erforderlich. Die rechenaufwendige Dequantisierung und in­ verse Diskrete-Cosinus-Transformation müssen nicht ausgeführt werden.
• - Der Basis-Videostrom ist speziell für diesen Anwendungsfall co­ diert worden. Dabei wurden die Restriktionen bezüglich der Ma­ kroblocktypen und der Bewegungsvektoren berücksichtigt. Zusätz­ lich werden die Koordinaten des auswechselbaren Bereiches an geeigneter Stelle in den Datenstrom geschrieben. Sie müssen vor Veränderung extrahiert und bei der Bearbeitung geeignet berück­ sichtigt werden.

Claims (5)

1. Verfahren zum Einblenden eines neuen Bildabschnittes an einer vorbestimmten Stelle eines Videobildes, das als digitaler und nach einem Block-Codierverfahren datenreduzierten Video-Datenstrom vorliegt, dadurch gekennzeichnet, daß
durch Analyse des Video-Datenstromes die Stelle bestimmt wird, an welcher der neue Bildabschnitt einzublenden ist,
der einzublendende neue Bildabschnitt nach dem gleichen Block-Codierverfahren datenreduziert wird und
dann der Datenstrom des neuen Bildabschnittes bitgenau an der vorbestimmten Stelle des Video-Datenstromes anstelle der dort entfernten Datenblöcke des ursprünglichen Datenstromes einkopiert wird.

2. Verfahren nach Anspruch 1, dadurch gekenn­ zeichnet, daß der Video-Datenstrom nach dem MPEG-Codierverfahren datenreduziert ist.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekenn­ zeichnet, daß die Codierung und Quantisierung des neuen Bildabschnittes so gewählt ist, daß die Datenmenge der neuen Datenblöcke gleich oder geringer der der zu entfernenden Blöcke ist.

4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die der Einblendstelle nachfolgenden nicht ausgewechselten Datenblöcke bitgenau an das Ende der einkopierten neuen Datenblöcke angehängt werden.

5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß mindestens ein Teil des ausgewechselten ursprünglichen Video-Datenstromes zur Bildung des Datenstromes des neuen Bildabschnittes benutzt wird.