-
Die
vorliegende Erfindung ist wie in den beiliegenden Patentansprüchen beschrieben.
-
Die
vorliegende Erfindung bezieht sich auf ein Verfahren zur Videocodierung
mit variabler Bitrate, wobei dieses Verfahren einen sich wiederholenden
Prozess umfasst, der einen ersten Analysenschritt aufweist, zur
Codierung eines Bitstroms entsprechend einer Bildsequenz mit einer
konstanten Quantisierungsschrittgröße, und einen zweiten Prädiktionsschritt,
zum Vorhersagen der Quantisierungsschrittgröße, die verwendet werden muss
zum Codieren des genannten Bitstroms entsprechend einer vorbestimmten
Zielbitrate, und wobei diesem Schritt zum Schluss ein Steuerschritt
folgt, und zwar zum Einstellen der Schrittgröße gegenüber der genannten Zielbitrate.
Die vorliegende Erfindung bezieht sich ebenfalls auf einen entsprechenden
Videocodierer, mit dem dieses Verfahren durchgeführt werden kann.
-
Wie
in dem Dokument "MPEG
Video coding: a basic tutorial introduction" von S, R, Ely, "BBC Research and Development Report,
BBC-RD-1996/3",
Seiten 1–10
beschrieben, starteten MPEG-Aktivitäten 1988 mit der Absicht, Normen
zur digitalen Kompression von Video- und Audiosignalen zu definieren.
Das erste Ziel war, einen Videoalgorithmus für digitale Speichermedien wie
die CD-ROM ("Compact
Disc Read-Only Memory")
zu definieren, aber die daraus entstandene Norm wurde ebenfalls
auf das interaktive CD-System (CD-I) angewandt. Indem Übertragung
und Speicherung von Bilddaten bei Bitraten in dem Bereich von 1
bis 15 Mbits/s ermöglicht
werden, basiert diese Norm auf einer Datenkompression, erreicht
durch Anwendung einer blockbasierten Bewegungskompensation zur Reduktion
der zeitlichen Redundanz und durch Anwendung einer diskreten Kosinustransformation
(DCT) zur Reduktion der räumlichen
Redundanz. In EP-A-719052 wird die Einstellung einer Quantisierungsschrittgröße für einen
Zielbetrag, und zwar durch Selektion aus zwei Betragstypen.
-
Bei
herkömmlichen
CD-Normen, wie CD-I und CD-ROM ist die Übertragungsbitrate fest und
Bilder können
dadurch nur mit einer konstanten Bitrate codiert werden. Neue Normen,
wie die "Digital
Versatile Disc" (DVD)
ermöglichen
eine Übertragung
von Daten mit einer variablen Bitrate (VBR): komplexe Szenen können mit
einer höheren Bitrate
codiert werden als Szenen mit weniger Information, damit eine konstante
Qualität
beibehalten wird.
-
Es
ist nun u. a. eine Aufgabe der vorliegenden Erfindung, ein VBR-Videocodierungsverfahren
zu schaffen, wodurch es möglich
ist, eine derartige konstante Qualität der codierten Sequenz zu
erhalten mit einer minimalen Bitrate des Codiererausgangsbitstroms.
-
Dazu
bezieht sich die vorliegende Erfindung auf ein VBR-Videocodierungsverfahren,
wie die in dem Oberbegriff der Beschreibung definiert ist und das
weiterhin das Kennzeichen aufweist, dass es zwischen dem Analysenschritt
und dem Prädiktionsschritt
einer Wiederholung einen Bildsequenz-Neugliederungsschritt gibt.
-
Ein
derartiger Bildneugliederungsschritt umfasst vorzugsweise nacheinander
einen ersten Szenenänderungsdetektionshilfsschritt,
einen zweiten Zuordnungshilfsschritt und einen dritten Optimalgliederungshilfsschritt.
-
Bei
einer bevorzugten Implementierung umfasst der genannte Szenenänderungsdetektionshilfsschritt einen
Korrelationsvorgang, durchgeführt
zwischen aufeinander folgenden Bildern der Sequenz, und einen Entscheidungsvorgang
um den etwaigen Auftritt einer Szenenänderung anzugeben.
-
Eine
andere Aufgabe der vorliegende Erfindung ist es, einen VBR-Videocodierer
vorzuschlagen, der es ermöglicht,
das genannte Codierungsverfahren durchzuführen.
-
Dazu
bezieht sich die vorliegende Erfindung auf einen Videocodierer mit
variabler Bitrate mit einem ersten Codierungszweig, einem zweiten
Prädiktionszweig
und einer Steuerschaltung, vorgesehen zum Durchführen der Implementierung der
nachfolgenden Vorgänge:
- – eines
Codierungsvorgangs eines Bitstroms entsprechend einer Bildsequenz,
mit einer konstanten Quantisierungsschrittgröße;
- – eines
Prädiktionsvorgangs
für eine
Schätzung
der Quantisierungsschrittgröße, wodurch
es ermöglicht wird,
den genannten Bitstrom entsprechend einer spezifizierten Zielbitrate
zu codieren;
- – wenigstens
einer Wiederholung der genannten Vorgänge;
- – eines
Endsteuervorgangs zum Einstellen der Schrittgröße in Bezug auf die genannte
Zielbitrate;
dadurch gekennzeichnet, dass die genannte
Steuerschaltung dazu vorgesehen ist, zwischen dem ersten Codierungsvorgang
und dem ersten Prädiktionsvorgang
einen Bildsequenzanordnungsvorgang zu implementieren.
-
Ausführungsbeispiele
der Erfindung sind in der Zeichnung dargestellt und werden im vorliegenden
Fall näher
beschrieben. Es zeigen:
-
1 einige
Bilder einer Gruppe von Bildern,
-
2 und 3 für eine derartige
Gruppe von Bildern die Differenz zwischen der Wiedergabeordnung der
Bilder und deren Übertragungsordnung,
-
4 und 5 die
Hauptschritte des Codierungsverfahrens nach der vorliegenden Erfindung
und die entsprechende Architektur des Videocodierers, wodurch es
möglich
ist, das genannte Verfahren zu implementieren,
-
6 einige
Bilder und die zugeordneten Bewegungsvektoren für eine Sequenz mit einer Szenenänderung
zwischen zwei aufeinander folgenden B Bildern,
-
7 und 8 Werte
von zwei Detektionskoeffizienten DCL und DCR, berechnet zum quantitativen Bewerten
der Bewegungsvektorstatistiken, die von den Makroblöcken des
B Bildes für
die drei möglichen
Positionen einer in Bezug auf die zwei B Bilder einer IBBP- oder
einer PBBP-Gruppe von Bildern geschnittenen Szene benutzt werden,
-
9 Werte
eines ähnlichen
Detektionskoeffizienten DCP für
P Bilder,
-
10 eine
Darstellung der Leistung des Szenenänderungsdetektionsverfahrens,
wobei nur B Bilder verwendet werden,
-
11 die
Entscheidungswerte des zum Lösen
des Problems der optimalen Zuordnung von Gruppen von Bildern (oder
GOPs) verwendet werden,
-
12 ein
Beispiel der Gewichtungsfunktion für die GOP-Größe (da Gewichtungswerte
zum Bewerten der Größe der GOPs
verwendet werden),
-
13 eine
Steuerschleife, die zur Implementierung des Endsteuerschrittes des
genannten Codierungsverfahrens verwendet wird.
-
Vor
der Beschreibung des Codierungsverfahrens nach der vorliegenden
Erfindung können
einige Grundlagen der MPEG-2-Videonorm in Erinnerung gerufen werden.
Die Flexibilität
dieser Norm, gemeint zum Unterstützen
eines großen
Bereichs möglicher
Applikationen, wird erhalten dank der Definition von Profilen und
Pegeln, wodurch es ermöglicht
wird, alle Applikationsanforderungen zu erfüllen. Ein Profil ist ein Hilfssatz der
MPEG-2-Norm zum Unterstützen
nur derjenigen Merkmale, die von einer bestimmten Ap plikationsklasse angefordert
werden, während
ein Pegel einen Satz von Beschränkungen
an Parametern des Bitstroms definiert.
-
Die
Basisschritte der MPEG-2-Kompression, angewandt auf Farbbilder,
bestehend aus drei Komponenten (Y, U, V), betreffenden Bilder, die
in kleine Abschnitte oder Makroblöcke aufgeteilt sind, die an
sich wieder aus Leuchtdichte- und Farbartblöcken bestehen. Diese Schritte
sind: Bewegungsschätzung
und Kompensation (auf Basis von Makroblöcken von 16 Pixeln zu 16 Zeilen),
diskrete Kosinustransformation (auf Basis von Blöcken von 8 Pixeln zu 8 Zeilen),
Lauflängencodierung.
-
Es
sind drei Typen von Bildern definiert. Intrabilder (oder I-Bilder)
werden ohne Bezugnahme auf andere Bilder codiert, prädiktive
Bilder (oder P Bilder) werden unter Anwendung einer bewegungskompensierten Prädiktion
eines vergangen I oder P Bildes codiert, und bidirektionell-prädiktive
Bilder (oder B Bilder) benutzen vergangene und künftige Bilder zur Bewegungskompensation
Die Bewegungsinformation wird in Form von Bewegungsvektoren gegeben,
erhalten durch Implementierung eines Blockdeckungssuchvorgangs (wobei
eine Vielzahl von Versuchsoffsets in dem Codierer getestet werden
und wobei der beste auf Basis einer Messung des minimalen Fehlers
zwischen dem codierten Block und der Prädiktion selektiert wird).
-
Wie
in 1 angegeben, wobei dargestellt wird, wie auf Basis
der Bewegungsvektoren die P und B Bilder definiert werden, treten
die verschiedenen Bilder typischerweise in einer sich wiederholenden
Sequenz auf, die, wie oben angegeben, als Gruppe von Bildern, oder
GOP, bezeichnet wird, und aus einem I Bild und allen nachfolgenden
Bildern besteht, bis das nächste
I Bild auftritt. Eine typische GOP ist in Wiedergabereihenfolge
in 2 dargestellt (die schwarzen Pfeile entsprechen
Vorwärtsprädiktionen
und die weißen
Pfeile entsprechen Rückwärtsprädiktionen,
wobei die Sequenzen und die Prädiktionen
sich periodisch wiederholen) und in Übertragungsreihenfolge in 3 (P4,
P7, I10, P13 bezeichnen die neu gegliederten Frames), wobei die
genannten Reihenfolgen verschieden sind, damit an der Decodierungsseite
Rückwärtsprädiktionen
aus künftigen
Bildern ermöglicht
werden.
-
Eine
regelmäßige GOP
Struktur kann mit zwei Parametern N und M beschrieben werden. Der
Parameter N, definiert als die Größe einer GOP, ist, wie in
2 dargestellt,
die Anzahl Bilder der genannten GOP, d. h. die Anzahl Bilder zwischen
zwei I Bildern plus einem Bild. Der Parameter M ist der Raum von
P Bildern, oder (was dasselbe ist) die Anzahl aneinander grenzender
B Bilder plus einem Bild. In dem dargestellten Beispiel nach den
1 bis
3 ist
M = 3 und N = 9. Offenbar sind andere Kombinationen möglich:
wobei N und M unabhängig voneinander
gewählt
worden sind.
-
Nachdem
eine Entscheidung über
die Art der Makoblockkompensation getroffen worden ist, wird der Prädiktionsfehler
jedes Pixels Pixels des betreffenden Makroblocks dadurch erhalten,
dass der geschätzte
Makroblock von dem ursprünglichen
Makroblock subtrahiert wird. Es wird dann eine DCT an dem Prädiktionsfehler
durchgeführt
für einen
Block von 8 × 8
Pixeln (deshalb werden sechs DCT-Transformationen für jeden
Makroblock bestimmt: vier für
den Leuchtdichteanteil, zwei für
die Farbartanteile), und die auf diese Art und Weise erhaltenen
Frequenzanteile werden quantisiert. Die Quantisierungsschrittgröße bestimmt
die Bitrate und die Verzerrung des decodierten Bildes: wenn die
Quantisierung grob ist, sind nur wenig Bits erforderlich zum Codieren
eines Bildes, aber die schlussendliche Qualität ist gering, während, wenn
die Quantisierungsschrittgröße fein
ist, sind viele Bits erforderlich zum Codieren des Bildes, aber
die Qualität
ist hoch. Da das menschliche Auge weniger empfindlich ist für die höheren Frequenzen
als für
die niedrigeren Frequenzen, ist es vorteilhaft, gröbere Quantisierer
zu verwenden für
die HF-Anteile (im Wesentlichen wird zum Erzielen der frequenzabhängigen Quantisierung
eine Gewichtungsmatrix auf einen Basismakroblock-Quantisierungsparameter
angewandt: viele Koeffizienten, insbesondere diejenigen, bei hohen
Frequenzen, sind nach der genannten gewichteten Quantisierung gleich
Null).
-
Jeder
Block wird danach zick-zackweise abgetastet und die erhaltene Liste
wird codiert. Die Lauflängencodierung
erfolgt dadurch, dass ein Paar (A, NZ) bestimmt wird, wobei A die
Anzahl aufeinander folgender Nullen (0 bis 63) und NZ die Amplituden
des nachfolgenden Nicht-Null-Koeffizienten bezeichnet. Diesem Paar (A,
NZ) wird danach, abhängig
von der Frequenz des Auftritts dieses Paares, ein Variable-Länge-Code
zugeordnet (einer Kombination (A, NZ), die üblich ist, wird ein kürzerer Variable-Länge- Code zugeordnet,
während einem
Paar, das weniger frequent ist, ein langer Code zugeordnet wird).
-
Die
oben beschriebenen Funktionen sind zusammengefasst beispielsweise
in dem Dokument: "Hybrid extended
MPEG video coding algorithm for general video applications" von C. T. Chen u.
a. "Signal Processing":"Image Communications 5" (1993), Seiten 21–37, Teil
2.4, wobei dieses Dokument das Schema eines allgemeinen MPEG-2-Codierers
umfasst. Der Zweck des nun vorgeschlagenen VBR-Codierungsverfahrens
ist dann, die Information zu benutzen, die aus den vorhergehenden
Codierungsschritten erhalten werden, die in verschiedenen aufeinander
folgenden Analysierdurchgängen
durchgeführt
wurden zum Durchführen
einer adaptiven Zuordnung der Bildtypen, wodurch die Größe des finalen
Bitstroms minimiert wird, damit dieser genau auf dem Speichermedium
mit einer festen Kapazität
(wie einer DVD) passt. Ein Bild des genannten Verfahrens ist in 4 dargestellt,
und eine Architektur des Videocodierers mit Bildneugliederung, wodurch
das genannte Verfahren implementiert werden kann, ist in 5 dargestellt.
-
Das
Codierungsverfahren ist in vier Schritten 41, 42, 43 und 44 aufgeteilt.
Der erste Schritt 41 ist ein Analysieschritt, wobei eine
Bildsequenz mit einer konstanten Quantisierungsschrittgröße QC (und dadurch mit einer konstanten Qualität) codiert
wird. Am Ende dieses Schrittes ist ein regelmäßiger mit MPEG-2 übereinstimmender
Bitstrom erzeugt worden, aber die Durchschnittsbitrate der ganzen
auf diese Weise verarbeiteten Sequenz (d. h. der Quotient der gesamten
Anzahl codierter Bits über
die Sequenz durch die gesamte Anzahl Bilder in dieser Sequenz),
unbekannt vor dem Ende des genannten Schrittes, erfüllt nicht
die erforderliche Bedingung einer bestimmten Größe des Bitstroms.
-
Der
zweite Schritt 42 ist ein Bildneugliederungsschritt, durchgeführt nach
dem Analysenschritt 41. Der Neugliederungsschritt kann
an sich wieder in drei Hilfsschritt 110 bis 130 aufgeteilt
werden. Die Aufgabe der Optimierung der Bildzuordnung kann derart
betrachtet werden, dass dies aus zwei einzelnen Teilen besteht. Der
erste Teil ist die Verbesserung der Lage der I Bilder, was einer
Optimierung der GOP-Zuordnung entspricht, während der zweite Teil die meist
effiziente Lage von B und P Bildern.
-
Der
erste und der zweite Hilfsschritt 110 und 120 bilden
den ersten Teil der genannten Optimierungsaufgabe. Es dürfte einleuchten,
dass I Bilder, die nicht die zeitliche Korrelation zwischen aufeinander
folgenden Bildern einer Sequenz benutzen, in Termen von Bitrate
die kostspieligsten sind. Andererseits sind sie notwendig um einen
beliebigen Zugriff auf die Sequenz zu erhalten, und ein beliebiger
Zugriff ist für
viele Applikationen wichtig. Weiterhin soll, da ein schneller beliebiger
Zugriff oft erwünscht
ist, dafür
gesorgt werden, dass ein bestimmter maximaler Abstand zwischen I
Bildern nicht überschritten
wird (beispielsweise höchstens
12 Bilder). Wenn eine Szenenänderung
auftritt, werden die Bilder vor und nach dem Schnitt (linke und
rechte Bilder) unkorreliert. Die Bewegungskompensation ist für das erste
P Bild in der neuen Szene nicht gut durchgeführt und die Bitrate ist folglich
etwa diejenige eines I Bildes. Ein derartiges I Bild kann dann an
die Stelle des genannten P Bildes gesetzt werden, ohne dass dies
extra Bandbreite kostet. Die Strategie für eine optimale Lage von I Bildern
soll dann möglicherweise
die I Bilder am Anfang einer neuen Szene platzieren.
-
Der
erste Hilfsschritt 110, wobei es sich um einen Szenenänderungsdetektionsschritt
handelt, ermöglich
eine derartige Platzierung. Um Szenenänderungen zu detektieren wird
die Korrelation aufeinander folgender Bilder der Sequenz untersucht
(vorzugsweise nach der Bewegungskompensation): wenn zwei benachbarten
Bilder nahezu unkorreliert sind, ist es wahrscheinlich, dass eine
neue Szene mit dem zweiten Bild beginnt. In einem Basis-MPEG-2-Codierungsprozess
geben verschiedene Parameter Information über die Korrelation zwischen
aufeinander folgenden Bildern:
- – die Komplexität eine P
oder B Bildes: die Verbindung zwischen der Komplexität und der
Korrelation wird aber nicht immer überprüft (wobei es manchmal wegen
einer hohen Korrelation mit dem Bezugsbild oder mit einer niedrigen
inneren Komplexität
eine niedrige Bitrate gibt, beispielsweise bei völlig schwarzen Bildern);
- – eine
bessere Schätzung
der Korrelation (obschon aufwendiger in Rechenzeit) wird erhalten
durch einen Vergleich der Makroblöcke MB eines Bildes mit den
Bezugsmakroblöcken
(die von der Bewegungskompensationseinheit immer geliefert werden,
welcher Typ die Blockcodierung auch haben mag: intra oder inter): der
Vergleich kann mit Hilfe einer Berechnung der ausgeglichenen-Fehler-Verzerrung
d(MB) gemacht werden, die beispielsweise durch die nachfolgende
Beziehung (1) gegeben wird: Wobei
P(i) ein Pixel des analysierten Makroblocks MB ist und M(i) ein
Pixel des Bezugsmakroblocks ist;
- – da
die Bewegungsschätzung
makrobloc-orientiert ist, wird unter Verwendung verschiedener Bewegungskompensationsoptionen
ein Bild vorhergesagt:
| Bildtyp | Bewegungskompensationsoption |
| I | Intra
(d. h. keine Bewegungskompensation) |
| P | Intra |
| P | Vorwärts |
| P | nicht
kompensiert |
| B | Intra |
| B | Vorwärts |
| B | Rückwärts |
| B | Interpoliert |
und die Bewegungskompensationsstatistiken können Information über Bildkorrelation
geben: wenn die meisten Makroblöcke
intra-codiert sind, ist die Korrelation mit dem (den) Bezugsbild(ern)
gering und umgekehrt.
-
Die
implementierte Ausführungsform
benutzt die genannten Bewegungskompensationsstatistiken zur Detektion
von Szenenänderungen,
in dem Fall, wo beispielsweise nur B Bilder verwendet werden, wie
in 6 dargestellt, die Bilder und Bewegungsvektoren
für eine
Sequenz PBBP mit einer Szenenänderung
zeigt, dargestellt zwischen den zwei B Bildern (gestrichelte Pfeile
geben an, dass weniger Makroblöcke
des betreffenden Bezugsbildes benutzt werden zum Vorhersagen des
abhängigen
Bildes, wobei die Korrelation geringer ist). Wenn der Szenenschnitt
zwischen den zwei B Bildern auftritt, benutzt das erste Bild fast
nur das vorhergehende P Bild als Bezugsbild, da es im Grunde mit
dem nachfolgenden P Bild nicht korreliert ist. Auf gleiche Weise
ist das zweite B Bild nahezu unkorreliert mit dem vorhergehenden
P Bild und benutzt fast nur das nachfolgende P Bild als Bezugswert.
-
Eine
Szenenänderung
kann vor, zwischen oder hinter zwei benachbarte B Bilder gesetzt
werden, in einer Gruppe von drei Bildern, wie dargestellt (PBB,
oder IBB). Die nachfolgende Tabelle zeigt für die drei möglichen
Positionen des Szenenschnittes die Bewegungskompensation, die von
den meisten Makroblöcken
des ersten B Bildes und von den meisten Makroblöcken des zweiten Bildes angewandt
wird:
(die Richtung
der Bewegungskompensation wird von dem Gesichtspunkt der B Bilder
aus "gesehen").
-
Zur
quantitativen Bewertung der oben genannten Bewegungsvektorstatistiken
werden zwei Detektionskoeffizienten DCL und DCR berechnet (DC für "Detektionskoeffizient", L und R für "Links" und "Rechts", Mikrocontroller
für "bewegungskompensiert")
-
-
Für P Bilder
kann der Detektionskoeffizient auf gleiche Weise definiert sein:
-
-
Wie
in den 7 und 8 dargestellt, die Werte der
Links- und Rechts-detektionskoeffizienten DCL und DCR für aufeinander
folgende B Bilder angeben, entsprechen Szenenschnitte deutlich Spikes.
Auf gleiche Weise sind in 9 die Detektionskoeffizienten
DCP für
P Bilder dargestellt (offenbar ist die von den Bewegungsvektoren
von P Bildern transportierte Information weniger zuverlässig als
diejenige, die von den B Bildern geliefert wird).
-
Im
Fall (beispielsweise) einer Szenenänderung, die nach den zwei
B Bildern auftritt, d. h. zwischen dem zweiten B Bild und dem nächsten Bezugsbild
(auf der rechten Seite des genannten zweiten B Bildes), werden nur
wenige Makroblöcke
des analysierten B Bildes rückwärts kompensiert
oder interpoliert, da die Korrelation zwischen dem genannten B Bild
und dem nachfolgenden Bezugsbild gering ist und die meisten derselben
werden intra- oder vorwärtskompensiert:
der Wert des Detektionskoeffizienten DCR ist folglich hoch, während der
Wert des Detektionskoeffizienten DCL nicht zugenommen hat (im Gegenteil,
im Fall einer Szenenänderung
auf der linken Seite des ersten B Bildes zwischen dem vorhergehenden
Bezugsbild und dem genannten B Bild, hat DCL einen hohen Wert und
DCR ist nach wie vor niedrig, während
DCL und DCR beide einen niedrigen Wert haben, wenn in dem Block
mit M Bildern keine Szenenänderung
auftritt. Im Wesentlichen wird, damit man eine einfache symmetrische
Anzeige von Szenenänderungen
hat, die Differenz DDV zwischen den beiden Detektionswerten berechnet,
was Folgendes ergibt: DDV
= DCL – DCR (5)
-
Das
heißt:
-
-
Diese
Differenz DDV, die als Bewegungskompensationsverhältnis bezeichnet
wird, wird für
jedes B Bild jeder Gruppe von drei Bildern IBB oder PBB berechnet.
Wenn nun vorausgesetzt wird, dass es nur eine einzige Szenenänderung
für jede
Gruppe gibt, wird ein Entscheidungswert DVL, wobei die Wahrscheinlichkeit einer
derartigen Szenenänderung
gemessen wird, dadurch ermittelt, dass die absoluten Werte von DDV
für die
zwei benachbarten B Bilder addiert werden:
wobei die Ziffern
1 und
2 angeben,
ob das Verhältnis
sich auf das erste oder auf das zweite Bild der zwei aufeinander
folgenden Bilder bezieht. Die genaue Position der Szenenänderung
gegenüber
den bidirektionellen Bildern kann danach dadurch ermittelt werden,
dass man auf die Vorzeichen der zwei Verhältnisse achtet:
- – wenn
DDV(1) und DDV(2) > 0 ist, hat die Szenenänderung vor dem ersten B Bild
stattgefunden;
- – wenn
DDV(1) > 0
und DDV(2) < 0
ist, hat die Szenenänderung
zwischen den zwei B Bildern stattgefunden;
- – wenn
DDV(1) und DDV(2) < 0 ist, hat die Szenenänderung
nach den zwei B Bildern stattgefunden.
-
Die
Leistung des Szenenänderungsdetektionsverfahrens,
wobei nur B Bilder verwendet werden, ist in 10 dargestellt.
Ein Entscheidungswert für
jede IBB oder PBB Gruppe wird berechnet und es sei bemerkt, dass:
- – die
Spikes der Entscheidungswerte sich an derselben Stelle befinden
wie die wirklichen Szenenschnitte;
- – die
Störung
um den Makroblock Nr. 50 herum wird verursacht durch Lichteffekte
in der Sequenz, die den Bewegungsschätzungsalgorithmus und dadurch
die bewegungskompensationsabhängige
Szenenschnittvorhersage stören;
- – der
letzte Teil der untersuchten Videosequenz ist im Grunde ein Standbild
(die Bilder sind nahezu identisch): deswegen ist es nicht definiert,
welche Bewegungskompensation ver wendet wird, da der Bezugsmakroblock
für alle
Kompensationstypen der gleiche ist, und die Entscheidungswerte folglich
einen nicht vernachlässigbaren
Wert haben, obschon keine Szenenänderung
auftritt (zum Reduzieren der Gefahr falscher Szenenänderungsvorhersagen,
kann es dann nützlich
sein, nebst den Bewegungsvektorstatistiken von B Bilden die von
P Bildern zu betrachten: wenn der Detektionskoeffizient für ein P
Bild niedrig ist, hat für
die drei vorhergehenden Bilder keine Szenenänderung stattgefunden).
-
Der
zweite Hilfsschritt 120 ist ein GOP Zuordnungshilfsschritt.
Eine optimale Zuordnung eines GOP wird durch zwei strittige Aufgaben
bestimmt:
- (a) die erste ist eine bevorzugte
Größe für die GOP
zu selektieren: wenn eine GOP zu klein ist, werden Bits verschwendet,
weil mehr aufwendige I Bilder zugeordnet werden als notwendig ist,
während
ein beliebiger Zugriff behindert wird, wenn eine GOP zu groß ist;
- (b) die zweite ist, das Startbild einer GOP mit der Position
einer Szenenänderung überein zu
stimmen.
-
Folglich
ist das Problem der GOP Zuordnung die GOPs auf eine optimale Weise
zu arrangieren, während
die Anforderungen (a) und (b) erfüllt werden (d. h. am Anfang
einer neuen Szene soll eine neue GOP starten, wobei eine maximale
und eine minimale Größe der genannten
GOP respektiert werden soll). Um dieses Optimierungsproblem zu lösen wird
ein Viterbi-Algorithmus verwendet: für jede Strecke wird die Umleitung von
der bevorzugten Größe der GOP
bestraft, während
die Einbeziehung einer wahrscheinlichen Szenenänderung am Start einer GOP
belohnt wird, wobei die kumulative Summe aller Entscheidungswerte
die Strecke bestimmt, die für
jedes Bild gewählt
wird.
-
Dieser
Algorithmus findet die optimalen Startpositionen der GOPs über die
Sequenz. Jedes Bild hat einen angehängten Szenenänderungswert,
der die Wahrscheinlichkeit eines Szenenschnittes an der betreffenden
Stelle beschreibt: wenn der Entscheidungswert groß ist, bedeutet
dies, dass es eine hohe Wahrscheinlichkeit einer Szenenänderung
an dieser Stelle gibt, und deswegen ist es lohnend, eine neue GOP
zuzuordnen. Da aber die Größe der GOPs
weder zu klein, noch zu groß sein
soll, werden auch die Übergänge zwischen den
Startpunkten der GOPs (d. h. die Größe der GOPs) gewichtet.
-
In 11 stellen
die vertikalen Linien Bilder dar, die Parameter Si beschreiben
die Szenenänderungswahrscheinlichkeit
des betreffenden Bildes (es wird vorausgesetzt, dass nur eine einzige
Szenenänderung
für eine
Gruppe von drei Bildern auftritt, folglich wird es nur einen einzigen
Entscheidungswert Di (N) für jeden
PBB oder IBB Block ge ben), und die W Parameter sind die Gewichtungswerte,
welche die Größe der GOP
bewerten (wobei eine Größe nahe
bei einer optimalen Größe, wie
12, bevorzugt wird). Der Entscheidungswert einer Strecke, die bei
einem Bild endet, wird dann wie folgt berechnet: Di(N)
= Gi–N ÷ W(N) (9)wobei N die
Größe der betreffenden
GOP ist und wobei Ci–N die Summe aller Gewichtungen
S und W für
die optimale Zuordnung von GOPs von dem Bild "1" bis
zu dem Bild "i-N". Es wird diejenige GOP-Größe gewählt, die
den höchsten
Entscheidungswert hat. Die Gewichtungsfunktion W = f(N) ist eine
quadratische und W nimmt dadurch proportional zu der quadratischen
Differenz zwischen der GOP-Größe und der
bevorzugten GOP-Größe ab, wie
dies in 12 dargestellt ist, wobei ein
Beispiel der Gewichtungsfunktion für die GOP-Größe dargestellt
ist (die vorgeschlagene Gewichtungsfunktion sorgt dafür, dass
alle GOPs zwischen zwei Szenenänderungen
nahezu gleich groß sind:
folglich wenn zwei Szenenänderungen
einen Abstand von 16 Bildern haben, werden zwei GOPs mit einer Größe von 8
eher zugeordnet als eine GOP mit der Größe 10 und eine andere
mit der Größe 6).
-
Bisher
wurde aber noch nicht erwähnt,
dass es zwischen der Übertragungsreihenfolge
und der Wiedergabereihenfolge von Bildern einen Unterschied gibt.
Wenn man betrachtet, dass der Start von GOP bei dem ersten Bild
nach einer Szenenänderung
liegt, dann startet die erste Gruppe von M Bildern auch bei dem
Szenenschnitt. Das I Bild ist aber das letzte Bild des wiederzugebenden
Blocks. Wenn M = 3 ist, werden die ersten zwei Bilder der GOP als
B Bilder codiert und nur das dritte Bild ist ein I Bild. Deswegen
kann der Start der GOPs um eine oder zwei Positionen nach links
verschoben werden um zu gewährleisten,
dass das erste Bild nach einer Szenenänderung wirklich ein I Bild
ist und nicht ein B Bild.
-
Der
dritte Hilfsschritt 130 ist ein P und B Bildzuordnungshilfsschritt.
Im Hinblick auf eine Optimierung des zeitabhängigen Parameters M um auf
eine adaptive Art und Weise den besten Platz von B und P Bildern zu
suchen, ermöglicht
tatsächlich
eine Minimierung der zur Codierung der Sequenz erforderlichen Bitrate.
Steigerung des Wertes M steigert die Bitrate von P Bildern aber
es werden mehr bitrateneffizient B Bilder statt P Bilder verwendet.
Die Korrelation zwischen aufeinander folgenden Bildern ist deswegen
der wichtigste Parameter für
die Optimierung, was im Wesentlichen in zwei Teilaufgaben aufgeteilt
wird:
- (a) eine Langzeitoptimierung, damit die
optimale M über
mehrere GOPs gefunden wird;
- (b) eine Kurzzeitoptimierung, damit die beste Stelle für B und
P Bilder innerhalb einer GOP gefunden wird, wobei die örtlichen
Variationen der Korrelation zwischen Bildern berücksichtigt werden.
-
In
Bezug auf die Langzeitoptimierung sei Bemerkt, dass, wenn der Korrelationskoeffizient
zwischen aufeinander folgenden Bildern nach Eins neigt, ist es egal,
ob ein B Bild oder ein P Bild gewählt wird, da sowieso fast keine
Koeffizientenbits zurückbleiben,
während
Bewegungskompensation nicht wirkt, wenn die genannte Korrelation
sehr niedrig ist. In diesen extremen Fällen (ein Standbild bzw. nicht
korrelierte Bilder) ist es nicht deutlich, welches M bevorzugt werden
soll. In den anderen Fällen
ist es im Allgemeinen möglich,
zu sagen, dass ein kleines M gut funktioniert für eine in geringem Maße korrelierte
Sequenz und dass ein großes
M besser ist für
eine Sequenz mit hoher Korrelation. Die besten Ergebnisse für die Langzeitoptimierung
von M werden erhalten, wenn Versuche über eine Vielzahl von Szenen
durchgeführt
werden.
-
In
Bezug auf die Kurzzeitoptimierung kann hinzugefügt werden, dass M innerhalb
jeder GOP beliebig variieren kann, was es ermöglicht, Kurzzeitschwankungen
der Korrelation zwischen Bildern zu verwenden um die Bitrate zu
minimieren. Ein Beispiel für
Kurzzeitoptimierung von M ist in der nachfolgenden Tabelle gegeben, wobei
die Wahl von M vor einer Szenenänderung
angegeben wird:
-
-
Offenbar
können
die B Bilder vor der Szenenänderung
nur vorwärts
vorhergesagt werden. Es macht keinen großen Unterschied, ob M = 1 oder
2 ist vor der neuen Szene, weil das B Bild vor der Szenenänderung sich
wie ein P Bild verhält;
eine Wahl von M = 3 ist deutlich schlimmer, weil das B Bild an der
Stelle 3 ein Bezugsbild benutzt (das vorhergehende P Bild)
an der Stelle 1, folglich in einem Abstand von zwei Positionen. Da
die Korrelation zwischen Bildern abnimmt, je nachdem deren Abstand
voneinander zunimmt, ist die Bitrate des B Bildes an der Stelle 3 höher für M = 3
als die Bitraten der Bilder an derselben Stelle für M = 1
oder 2.
-
Der
dritte Schritt 43 ist ein Prädiktionsschritt, mit der Absicht,
die Quantisierungsschrittgröße Q vorherzusagen,
die benutzt werden muss zum Codieren des Bitstroms entsprechend
der spezifischen Zielbitrate. Wenn der genannte Prädiktionsschritt
einmal gemacht worden ist, kann der Analysenschritt 41 wiederholt
werden (Pfeil in 4), und zwar sooft wie notwendig,
damit eine genauere Schätzung
für Q erhalten
wird (aber eine gute Vorhersage wird im Allgemeinen nach einigen
Läufen,
beispielsweise nach zwei Läufen,
erhalten).
-
Da
die Quantisierungsschrittgröße Q, die
an dem Ende dieses zweiten Schrittes verfügbar ist, nur ein geschätzter Wert
ist, wird das gesamte Bitbudget nicht genau gedeckt, wenn jedes
Bild durch Verwendung des genannten vorhergesagten Wertes codiert
wird. Es wird ein Endschritt 44 durchgeführt, der
es ermöglicht,
zu gewährleisten,
dass die Bedingung der gesamten mittleren Bitrate genau eingehalten
wird. Um zu gewährleisten,
dass der schlussendliche Ausgangsbitstrom tatsächlich genau die gewünschte Größe hat,
wird ein Quantisierungsschrittgrößensteuerprozess
implementiert.
-
Dieser
Prozess basiert auf eine Steuerschleife, die sich auf einen Vergleich
der vorhergesagten mit der reellen Bitrate stützt. Nach der Codierung jedes
Bildes in dem Endschritt vergleicht der Steuerprozess die gesamte
Anzahl Bits, die verbraucht worden sind, mit der gestatteten Anzahl.
Wenn mehr Bits verbraucht worden sind als das Budget erlaubt, wird
die Quantisierungsschrittgröße gesteigert,
und die Bitrate der nachfolgenden Bilder wird reduziert. Wenn weniger
Bits verbraucht worden sind als das Budget erlaubt, wird Q verringert
und die Bitrate wird gesteigert, wobei die gesamte Zielbitrate schlussendlich
genau erzielt wird.
-
Das
genannte VBR-Codierungsverfahren kann in einem Codierer implementiert
werden, der eine Architektur hat, wie in 5 dargestellt,
wobei jeder Block einer bestimmten Funktion entspricht, die unter
der Aufsicht eines Controllers 55 durchgeführt wird.
Der dargestellte Codierer umfasst in Reihe einen Eingangspuffer 51,
einen Subtrahierer 549, eine DCT-Schaltungsanordnung 521,
eine Quantisierungsschaltung 522, eine Codierungsschaltung
mit variabler Länge 523 und
einen Ausgangspuffer 524. Die Schaltungsanordnungen 521 bis 524 bilden
die Hauptelemente eines Codierungszweiges 52, mit dem ein
Prädiktionszweig 53,
der eine Invertierquantisierungsschaltung 531, eine Invertier-DCT-Schaltung und
ein Prädiktionshilfssystem
enthält,
assoziiert ist. Dieses Prädiktionshilfssystem
umfasst an sich einen Addierer 541, einen Puffer 542,
eine Bewegungsschät zungsschaltung 543 (wobei
die genannte Schätzung
auf einer Analyse der Eingangssignale basiert, die an dem Ausgang
des Puffers 51 verfügbar
sind), eine Bewegungskompensationsschaltung 544 (deren
Ausgangssignale zu dem zweiten Eingang des Addierers 541 zurück gesendet
werden), und den Subtrahierer 549 (der die Ausgangssignale
des Puffers 51 und die Ausgangssignale des Puffers 51 und
die Ausgangssignale der Bewegungskompensationsschaltung 544 empfängt, um
die Differenz der genannten Signale dem Codierungszweig zuzusenden).
-
Der
Ausgang des dargestellten Codierers wird dem Controller 55 zugeführt, der
die Steuerschleife umfasst, vorgesehen zum Durchführen des
Endschrittes 44. Die Hauptelemente der genannten Steuerschleife
für den
schlussendlichen Durchgang durch den VBR Codierer sind in 13 dargestellt.
Wie bereits erläutert,
ist es notwendig, die Quantisierungsschrittgröße während dieses schlussendlichen
Codierungsdurchgangs einzustellen, damit gewährleistet wird, dass die von
dem Operator gegebenen gesamte Zielbitrate genau eingehalten wird.
Die genannte Schleife umfasst zunächst eine erste Rechenschaltung 131,
in der das Ausgangssignal der Schleife (d. h. der kumulative Prädiktionsfehler)
mit einem Faktor KP multipliziert wird. Dieser Faktor an sich entspricht
einer Konstanten QC1(gewählt von dem Operator) multipliziert
mit einem Gewichtungsfaktor Qint/APG, wobei
Qint eine integrative Schätzung von
Q ist und APG die gesamte Anzahl Bits für eine GOP (von N Bildern).
-
Ein
Addierer 133 addiert danach das Ausgangssignal Qprop der genannten Schaltungsanordnung 131 und
das Signal Qint, das an dem Ausgang einer
zweiten Rechenschaltung 132 verfügbar ist, vorgesehen zum Erzielen
einer integrativen Schätzung
von Q. Eine Umwandlungsschaltung 134 gibt die kumulative
Bitrate für alle
vorhergehenden Bilder, und zwar auf Basis einer Beziehung R = fi(Q) (zwischen dem Quantisierungsfaktor Q
und dem Ausgang des Addierers 63 und der Bitrate R) gespeichert
in der genannten Schaltungsanordnung 134. Die auf diese
Art und Weise erhaltene kumulative Bitrate wird in einer Vergleichsschaltung 135 mit
der kumulativen vorhergesagten Bitrate vergleichen, die an einem
zweiten Eingang der genannten Vergleichsschaltung verfügbar ist
und verwendet wird, und zwar nach einer Integration in einer Schaltungsanordnung 136,
zum entsprechenden Modifizieren von Q.
-
Die
VBR Codierungsstrategie, wie diese oben präsentiert wird, ist eine Verbesserung
gegenüber
den vorhergehenden VBR Codierern, weil diese Strategie einen besse ren
Ausgleich der Perzeptionsqualität
der decodierten Sequenz herbeiführt.
Die bekannten VBR Codierer stellen den Quantisierungsparameter Q
beim Codieren eines Bildes ein, so dass die vorhergesagte Bitrate
für jedes
Bild stimmt. Folglich gestatten sie, dass der Quantisierungsparameter
Q innerhalb eines Bildes variiert und es kann keine konstante räumliche
Qualität des
Bildes erreicht werden. Diese Variation in der Qualität tritt
auf, ob die Bitrate des Bildes wohl oder nicht einwandfrei vorhergesagt
wurde. Für
den vorgeschlagenen VBR Codierer wird Q über ein Bild konstant gehalten
und die räumliche
Qualität
jedes Bildes in der Videosequenz variiert nicht. Wenn die Bildbitraten
und die Quantisierungsschrittgröße einwandfrei
geschätzt
wurden, sind der Q vor der adaptiven Quantisierung und damit die
subjektive Verzerrung nach wie vor für alle Makroblöcke der
Sequenz genau konstant. Da die Quantisierungsschrittgröße und die
Bildbitraten nur geschätzt
werden, tritt eine Variation von Q und folglich der Qualität der Sequenz
von Bild zu Bild auf, aber nach einigen Analysen liegen die Abweichungen
von Q, gemittelt über
ein Bild, im Allgemeinen unterhalb 1%.
-
Nebst
der Erzielung einer konstanten Intrabildqualität können verschiedene andere wichtige
Aspekte der neuen VBR Strategie genannte werden:
- – es ist
möglich,
die Prädiktion
des Quantisierungsfaktors auf eine iterative Weise dadurch zu verbessern, dass
die Anzahl Analysendurchgänge
gesteigert wird: wenn nach dem Analysendurchgang die Abweichung
von der gewünschten
Zielbitrate dennoch zu hoch ist, kann unter Verwendung der Ergebnisse
aus den vorhergehenden Codierungsdurchgängen eine bessere Schätzung des
Quantisierungsfaktors berechnet werden;
- – da
die neue VBR Codierungsstrategie Q vorhersagt, können Analysendurchgänge, die
mit einer anderen Bildreihenfolge als dem vorhergesagten Durchgang
durchgeführt
wird, benutzt werden: dies ist unter Anwendung alter Strategien
unmöglich,
und dies ist ein sehr großer
Vorteil des neuen Codierungskonzeptes;
- – wenn
in dem letzten Durchgang, die Variationen von Q und folglich der
Qualitätsausfall
unakzeptierbar hoch sind, kann der Endschritt als ein Analysendurchgang
für die
Prädiktion
von Q und der Bitrate für
den nachfolgenden Durchgang benutzt werden: wobei es unter Anwendung
dieses Merkmals möglich
ist, einen Codierer zu entwickeln, der so viele Codierungsdurchgänge durchführt, wie
erforderlich, bis die Kennlinien des Ausgangsbitstroms sich innerhalb
bestimmter, durch den Operator definierter Grenzen befinden;
- – da
die Steuerschleife einen integrativen Charakter hat schließen Kurzzeitbitratenprädiktionsfehler
einander aus: beeinträchtigen
systematische bildtypabhängige
Prädiktionsfehler
die Leistung des vorgeschlagenen VBR Codierers nicht wesentlich.
-
Die
vorliegende Erfindung beschränkt
sich offenbar nicht auf die oben beschriebene Ausführungsform, von
der im Rahmen der vorliegenden Erfindung Abwandlungen hergeleitet
werden können.
So kann beispielsweise ein etwaiger vierter Hilfsschritt, in 4 durch 140 bezeichnet
und mit Verbindungen in gestrichelten Linien dargestellt, in den
Neugliederungsschritt 42 eingeschlossen werden, wir nachstehend
erläutert.
Um eine Sequenz bei einer bestimmten Bitrate R(t) in dem letzten
Durchgang des letzten Schrittes 44 genau zu codieren ist
es tatsächlich
notwendig, eine Zielquantisierungsschrittgröße Q und die Zielbildbitraten
R(i) vorherzusagen. Zum Durchführen
eines Analysendurchganges ist die einzige Anforderung, dass man
eine Vorhersage von Q hat. Da während
des ersten Analysenschrittes 41 kein Steuersystem angewandt
wird, ist keine Vorhersage der Bildziele erforderlich. Für die Schätzung der
Bitraten R(i) und der Schrittgröße Q sind
der Quantisierungsfaktor und die Bildbitraten des vorhergehenden
Codierungsdurchgangs erforderlich. Wenn aber die Reihenfolge der
Bildtypen sich zwischen zwei Durchgängen geändert hat, kann dasselbe Bild
einer Sequenz durch zwei verschiedene Typen in den genannten zwei
Durchgängen
codiert werden.
-
Wenn
man beispielsweise bedenkt, dass der Analysendurchgang durchgeführt wurde
unter Anwendung von N = 12 und M = 3, während der vorhergehende Durchgang
mit N = 8 und M = 2 codiert wurde, sind die entsprechenden Bildzuordnungen
in der nachfolgenden Tabelle dargestellt:
wobei das zweite Bild als
ein B Bild in dem ersten Durchgang und als ein I Bild in dem zweiten
Durchgang codiert wird. Da die Bildtratenvorhersage zum Vorhersagen
der Zielbitrate eines Bildes geschaffen wird, das denselben Typ
hat wie das Bild in dem ersten Analysendurchgang, wenn ein Bild
als ein B Bild in dem genannten ersten Durchgang codier wurde, wird
folglich die Bitrate eines B Bildes für den zweiten Durchgang vorhergesagt.
Im Fall einer modifizierten Bildreihenfolge sind die vorhergesagten
Bildbitraten folglich nutzlos.
-
Da
die Vorhersage der Zielbildbitraten nach einer Bildneugliederung
nicht möglich
ist, kann der schlussendliche Codierungsschritt nicht unmittelbar
nach der Bildneugliederung durchgeführt werden. Ein zweiter Analysendurchgang
muss deswegen vor dem genannten schlussendlichen Codierungsdurchgang
durchgeführt
werden: folglich sind in dem Fall für den VBR Codierer nach der
vorliegenden Erfindung wenigstens drei Codierungsdurchgänge erforderlich.
Um zu gewährleisten,
dass die vorhergesagten Bildbitraten für den schlussendlichen Durchgang
nicht allzu falsch sind, kann dazu ein zusätzlicher "Zwischenbild"-Prädiktionshilfsschritt
durchgeführt
werden, der die Bitraten schätzt,
welche die Bilder haben würden,
wenn der Analysendurchgang mit der neuen Bildreihenfolge statt mit
der alten Reihenfolge durchgeführt
worden wäre.
Dieser zusätzliche
Hilfsschritt 140, der, wie bereits erwähnt, fakultativ ist, benutzt
die zeitliche Korrelation der Bildbitraten.
-
Text in der
Zeichnung
-
4
- 41
- Analyse
- 110
- Szenenänderungsdetektion
- 120
- GOP
Zuordnung
- 130
- P
und B Bildzuordnung
- 140
- Zwischenbildprädiktion
- 43
- Prädiktion
- 44
- Schlussendlicher
Durchgang
-
7
-
- Detektionskoeffizient
- Frame Nummer
-
8
-
- Detektionskoeffizient
- Frame Nummer
-
9
-
- Detektionskoeffizient
- Frame Nummer
-
10
-
- Szenenänderungsentscheidungswert
- Anzahl M Blöcke
-
12
-
- GOP Entscheidungswert (W)
- Gröbe
von GOP (N)
