DE19718802C2 - Verfahren zum Analysieren von bildinhaltsabhängig qualitätsmindernden Eigenschaften eines bitratenreduzierenden digitalen Videosystems - Google Patents

Description

Die Erfindung bezieht sich auf ein Verfahren gemäß dem Oberbegriff des Patentan­ spruchs 1. Ein Verfahren dieser Art ist aus der EP 284 161 A2 bekannt.

Die Entwicklung und Standardisierung digitaler Videosysteme, denen eine erhebliche Reduzierung der Bitrate nach dem MPEG-2-Standard zugrunde liegt, ist sehr weit fortgeschritten und unter ISO/IEC 13818-1 und ISO/IEC 13818-2 veröffentlicht. Die Einführung solcher neuen Systeme sowohl für terrestrische als auch vor allem für Satelliten- und Kabelübertragung sowie für die Bildspeicherung ist bereits im Gange.

Der durchschnittliche Benutzer unterhaltungselektronischer Geräte, der üblicherweise seine ersten Erfahrungen in Sachen Digitaltechnik mit der digitalen Audio-CD gemacht hat, verbindet mit dem Begriff "digital" vorwiegend die Eigenschaften "qualitativ besser als analog" und auch "weniger störanfällig". Aber inzwischen ist ein wesentliches Merkmal bestimmter Digitalsysteme hinzugekommen, das man als "höhere Dichte" bzw. "mehr Programme über einen gleich großen Informationsträger" umreißen könnte. Diese sehr vorteilhafte Eigenschaft ist jedoch nur über einen Kompromiß erzielbar, d. h. auf Kosten der Parameter "hohe Qualität" und "geringe Störanfälligkeit".

Bei Videosystemen mit starker Bitratenreduzierung ist die Bildqualität nämlich nicht mehr als konstant zu betrachten, sie schwankt vielmehr in Abhängigkeit vom momentanen und vom unmittelbar vorhergehenden "spektralen Inhalt" der Bildvorlage. Sie verschlechtert sich immer dann, wenn in einer Bildfolge für eine bestimmte Zeit eine stark erhöhte temporale und/oder spatiale "Aktivität" vorliegt und kann im Einzelfall kurzzeitig auch deutlich schlechter werden als bei vergleichbaren Analogsystemen. Zur Erzielung einer verbesserten Bildqualität ist es aus der EP 284 161 A2 bekannt, den Quantisierungsfaktor in Abhängigkeit von der Zeit nach Erreichen des maximalen Füllstandes eines Pufferspeichers am Encodiererausgang und/oder in Abhängigkeit von der aktuellen Größe der Quantisierungsintervalle zu steuern.

Es ist indessen im Bereich des sendenden Studios bzw. bereits bei der Produktion von Programmbeiträgen, von denen man weiß, daß sie überwiegend oder ausschließlich über bitratenreduzierende Systeme verteilt werden, wichtig zu wissen, ob und wie oft Passagen schlechter Bildqualität bei einer bestimmten Video-Bitrate auftreten. Man könnte auch daran denken, schon bei der Produktion in Kenntnis derartiger Effekte durch gezielte Änderungen in der Szene (z. B. Vermeidung temporal bzw. spatial hochfrequenter Bildsequenzen, sofern künstlerisch bzw. programmlich möglich), solche Effekte gezielt zu vermeiden oder aber ansonsten eine Ausstrahlung mit erhöhter Bitrate ins Auge zu fassen. Hierzu müssen derartige Qualitätseinbrüche natürlich zuvor über eine Meßeinrichtung detektiert und signalisiert werden.

Der vorliegenden Erfindung liegt die Aufgabe zugrunde, bei bitratenreduzierenden Videosystemen mit vorgegebener Video-Bitrate Passagen bildinhaltsabhängig verminderter Bildqualität zu signalisieren. Besonders vorteilhaft wäre eine Lösung, welche die Signalisation einer bildinhaltsabhängig verminderten Bildqualität aus dem ohnehin vorhandenen bzw. übertragenen Datenstrom ableiten kann, also keine zusätzliche Information vom Encoder benötigt.

Diese Aufgabe wird erfindungsgemäß durch die kennzeichnenden Merkmale des Patent­ anspruchs gelöst. Weitergehende Ausgestaltungen des Verfahrens ergeben sich aus den Unteransprüchen.

Es zeigt: Fig. 1 das Blockschaltbild eines erfindungsgemäßen Verfahrens.

Anhand von Fig. 1 werden die den Patentansprüchen bzw. deren Kombinationen entsprechenden Verfahren in einem einzigen Diagramm schematisch dargestellt. Gestrichelt gezeichnete Verfahrensschritte bzw. Funktionsblöcke stellen fakultative, also nur für bestimmte Unteransprüche wirksame Systemelemente dar. Wenn sie als nicht vorhanden zu betrachten sind, liegt eine unmittelbare direkte Verbindung zwischen ihren Hauptsignaleingängen und -ausgängen vor. Hauptsignale sind in Fig. 1 durch eine dickere Strichstärke hervorgehoben.

Die nachfolgende Funktionsbeschreibung erfolgt beispielhaft anhand einer DVB/MPEG-2-Empfangseinrichtung und verwendet auch die diesbezügliche, inzwischen relativ weit verbreitete und geläufige Terminologie, ohne sie in allen Fällen - da als bekannt vorausgesetzt - detailliert zu definieren.

Obwohl im Verlauf der nachfolgenden Beschreibung häufig von Ausgangs- oder Eingangssignalen bestimmter Funktionsblöcke die Rede ist, ist in aller Regel eine Software-Realisierung der Funktionen anzunehmen, bei der solche Zwischensignale physikalisch meist nicht existieren.

Alle dem erfindungsgemäßen System entsprechend Fig. 1 zugeführten Eingangssignale liegen innerhalb eines MPEG-2-Videodecoders vor, sind aber bei höchstintegrierter Ausführung eines solchen u. U. nicht zugänglich. Für diesen Fall lassen sie sich aus dem stets zugänglichen Video-Elementary-Stream mittels eines Demultiplexers DEMUX extrahieren.

Man unterscheidet prinzipiell zwischen verlustloser und verlustbehafteter Datenreduktion. Bei letzterer ergibt sich ein Qualitätsverlust durch eine Verringerung der Orts-, Zeit- oder Amplitudenauflösung. Bei Videosystemen mit starker Bitratenteduktion wie beispielsweise MPEG-2/DVB bewirkt insbesondere das Vorliegen extremer temporaler und/oder spatialer "Aktivität" in einer Bildfolge, daß der Encoder zwangsläufig die Amplituden-Quantisierung stark vergröbern muß, um so die momentane Datenrate zu verringern und dadurch ein Überlaufen seines Pufferspeichers zu vermeiden.

Der im Elementary Stream mitübertragene Quantisierungsfaktor QSC (quantiser_scale_code) ist das Hauptkriterium für die Erkennung solcher Perioden mit zeitweise reduzierter Videoqualität. Er ist 5 bit breit, sein Wert 00001 bedeutet maximale Amplitudenauflösung, also beste Bildqualität, wogegen der Wert 11111 den schlechtesten weil "gröbsten" Fall darstellt. Werte in der Nähe dieses Endwertes bedeuten auch schon deutlich reduzierte Auflösung und Qualität.

Mittels eines Digitalvergleichers wird zunächst der Bereich schlechterer Amplitudenauflösung detektiert. Nach Wahl des Anwenders wird hierzu dem Digitalvergleicher ein erster Schwellwert SW1 als Vergleichswert angelegt. Zustände, die sich als QSC_SW1 bzw. als QSC < SW1 qualifizieren, lösen dabei, ggf. unter Einbeziehung weiterer Parameter, die Signalisierung einer Zeitperiode verrringerter Bildqualität aus.

Das Ausgangssignal des Digitalvergleichers kann nicht nur binär, sondern alternativ auch mehrstufig ausgeführt sein, so daß sich als System-Ausgangssignal dann statt einer binären eine dementsprechend mehrstufige Signalisierung ergibt, die den Verschlechterungsgrad graduell anzeigt. Nur in der einfachsten Ausführungsform stellt das Ausgangssignal des Digitalvergleichers bereits das Systemausgangssignal dar.

Eine erste Verbesserung der "Treffsicherheit" der Signalisierung verminderter Bildqualität kann durch Einbeziehung des Signals QST (q_scale_type) erfolgen, ein Status-Bit, welches das Vorliegen entweder einer fest vorgegebenen nichtlinearen oder aber einer linearen Codierung anzeigt.

Die nichtlineare Amplitudenquantisierung ist eine Betriebsart, die im Encoder fallweise auftreten kann und im Sinne einer Komprimierung ebenfalls Bitrate einspart. Der gleiche Wert von QSC bedeutet im Fall einer nichtlinearen Quantisierung eine gröbere Amplitudenauflösung als im linearen Fall. Um beim erfindungsgemäßen Verfahren den tatsächlich wirksamen Wert der Amplitudenquantisierung zu erfassen, kann im Falle der über QSC signalisierten nichtlinearen Quantisierung dem Digitalvergleicher ein erster Umcodierer mit einer zum Encoder gegenläufigen, aus dem ersten Kennlinienspeicher entnommenen, nichtlinearen Kennlinie vorgeschaltet werden. Die lineare und die nichtlineare Betriebsart werden dadurch bezüglich ihrer Störwirkung gleich bewertet.

Aus der im zugrunde gelegten Datenreduktionsverfahren eingesetzten Diskreten Cosinus-Transformation resultieren Koeffizienten, welche Indikatoren für die Amplitude bestimmer Ortsfrequenzen (z. B. diagonale, horizontale, vertikale Ortsfrequenzen) im zugehörigen Bildblock darstellen. Der Encoder ist in der Lage, diese Koeffizienten entsprechend ihrer zugehörigen Ortsfrequenz unterschiedlich in der Amplitude zu quantisieren. Diesbezügliche Faktoren NIQM werden im Elementary Stream mitübertragen und im Decoder ausgewertet. Sie können dementsprechend zu einer weiteren Erhöhung der Treffsicherheit beim erfindungsgemäßen Verfahren durch exakte Bestimmung der letztendlich wirksamen Amplitudenauflösung benutzt werden. Dies geschieht mittels eines zweiten Umcodieres, welcher ebenfalls dem Digitalvergleicher vorgeschaltet ist. Die dem zweiten Umcodierer zugeführte Kennlinie ist ortsfrequenzabhängig und wird anhand der für alle Ortsfrequenzen definierten NIQM-Codes aus einer im zweiten Kennlinienspeicher abgelegten Kurvenschar ausgewählt.

In der einfachsten Betriebsweise eines Encoders kann auch auf die Übertragung von NIQM-Codes verzichtet werden, insbesondere, wenn es sich um "unkritisches", leicht zu codierendes Bildmaterial handelt. Für diesen Fall sind Defaultwerte verabredet und auch als ortfrequenzabhängige Kennlinien im erfindungsgemäßen zweiten Kennlinienspeicher abgelegt. Sie werden für den zweiten Umcodierer dann wirksam, wenn kein NIQM-Signal übertragen wird.

Es ist ohne weiteres ersichtlich, daß die erste Umcodierung, gespeist aus dem ersten Kennlinienspeicher, und die zweite Umcodierung, dementsprechend versorgt vom zweiten Kennlinienspeicher, auch in umgekehrter Reihenfolge erfolgen können, ohne daß dies Auswirkungen auf das Resultat hätte.

Bei dem zugrunde gelegten Datenreduktionsverfahren ist auch der Fall vorgesehen, daß für manche Macroblöcke überhaupt keine Information übertragen wird. (Der sogenannte Macroblock faßt mehrere 8 × 8 Bildpunkte große Blöcke aus Luminanz und Chrominanz-Information zusammen und repräsentiert einen 16 × 16 Bildpunkte großen Bildausschnitt des Luminanzbildes.) Die Informationsübertragung für einen Macroblock kann in zwei Fällen unterbleiben. Zum einen, wenn sich bei unkritischem Bildmateriel entweder keine oder nur geringe Änderungen gegenüber der zuvor übertragenen Macroblock-Information ergeben haben. Andererseits kann bei extrem kritischem Bildmaterial die Vergröberung des Quantisierungsfaktors QSC, die NIQM-Codes und die Nichtlinearisierung durch die Kennung QST nicht ausreichen, um die Bitrate im erforderlichen Unfang zu reduzieren. In diesen Fall muß "der Not gehorchend" auf die Übertragung von Macroblock-Informationen verzichtet werden, obwohl sie eigentlich dringend erforderlich wäre, was natürlich die Bildqualität gegenüber einer "nur" groben Quantisierung zusätzlich vermindert. In beiden Fällen wird eine Information SMB ("Skipped Macro-Blocks"), die das Nichtübertragen von Macroblöcken kennzeichnet, encoderseitig dem Elementary Stream in Form eines Adress-Increment-Wertes hinzugefügt.

Es ist klar, daß der letztere Betriebszustand eine extreme Bildqualitätsverschlechterung darstellt und bei einer verbesserten Ausführung des erfindungsgemäßen Verfahrens mit einbezogen werden sollte. Um ihn vom harmlosen ersteren zu unterscheiden, genügt es nicht, das Nicht-Inkrementieren der Macroblock-Adresse zu detektieren, man muß vielmehr zusätzlich anaylsieren, ob der in diesem Bildbereich wirksame Quantisierungsfaktor QSC eine extrem grobe Quantisierung signalisert. Dieser wirksame Quantisierungsfaktor kann mit Hilfe einer Vorverarbeitung aus örtlich und/oder zeitlich benachbarten Macroblöcken abgeschätzt werden. Er wird einem Schwellwertvergleicher zugeführt, dessen Vergleichswert SW2 im allgemeinen sehr nahe am Grenzwert für die gröbste Quantisierung, d. h. QSC ~ 11111, eingestellt wird. Das gleichzeitige Auftreten eines mit Hilfe der Vorverarbeitung geschätzen, den Schwellwert SW2 überschreitenden Quantisierungsfaktors und der Information SMB (Skipped Macro-Block) signalisiert somit das Vorliegen einer zusätzlich verminderten Bildqualität. Diese kann separat zur Anzeige gebracht werden.

Zeiten (zusätzlich) verminderter Bildqualität können in einer Bildsequenz mehr oder weniger häufig und für kürzere oder längere Zeit auftreten. Zum Erzielen einer pauschalen Beurteilung kann es daher vorteilhaft sein, eine Nachbearbeitung der diese Betriebszustände anzeigenden Statussignale in Form einer örtlichen und/oder zeitlichen Gewichtung bzw. einer Integration durchzuführen. Auch alle Methoden der statistischen Auswertung können hier Anwendung finden.

Während alle bisher für das erfindungsgemäße Verfahren verwendeten Informationen zur Detektion einer bildinhaltsabhängigen Qualitätsminderung dem Elementary Stream entnommen werden können, bietet es sich insbesondere bei empfangsseitiger Anwendung des erfindungsgemäßen Verfahrens an, auch ein Status-Bit TEI (Transport Error Indicator) des Transport Streams auszuwerten, welches das Vorliegen einer übertragungsabhängigen Störung bzw. Qualitätsminderung signalisiert. Es zeigt unkorrigierte Übertragungsfehler an und kann optional dazu verwendet werden, vorsorglich die Anzeige bildinhaltsabhängiger Qualitätsverminderung zu unterbinden.

Claims (4)

1. Verfahren zum Analysieren von bildinhaltsabhängig qualitätsmindernden Eigenschaften eines bitratenreduzierenden digitalen Videosystems, bei dem für die bitratenreduzierende Codierung eine variable Amplitudenquantisierung verwendet wird, wobei ein Quantisierungsfaktor (QSC) das Maß der variablen Amplitudenquantisierung repräsentiert, dadurch gekennzeichnet, daß der Quantisierungsfaktor (QSC) in einem Digitalvergleicher mit einem ersten Schwellwert (SW1) verglichen wird, und daß das Überschreiten oder das Ausmaß des Überschreiten dieses Schwellwertes (SW1) als Kriterium für eine verminderte Bildqualität signalisiert wird, wobei eine Kennung (QST), welche angibt, ob eine lineare oder nichtlineare Quantisierung vorliegt, dazu verwendet wird, daß der variable Quantisierungsfaktor (QSC) vor dem Vergleich mit dem ersten Schwellwert (SW1) mit einer der jeweiligen Kennung (QST) zugeordneten Kennlinie umcodiert wird, und wobei ferner ortsfrequenzabhängige Quanti­ sierungsfaktoren (NIQM) dazu verwendet werden, daß der variable Quantisierungsfaktor (QSC) vor dem Vergleich mit dem ersten Schwellwert (SW1) zusätzlich zu der von der Kennung (QST) abhängigen Kennlinie mit einer weiteren Kennlinie umcodiert wird, welche in Abhängigkeit vom jeweiligen ortsfrequenzabhängigen Quantisierungsfaktor (NIQM) aus einer Kennlinienschar ausgewählt wird.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß das Auftreten nicht codierter Bildblöcke (SMB) detektiert wird, daß ferner in einem Schwellwertvergleicher detektiert wird, ob der Quantisierungsfaktor (QSC) einen zweiten Schwellwert (SW2) überschritten hat, und daß nur dann, wenn dieses Überschreiten in zeitlichem Zusammenhang steht mit dem Auftreten nicht codierter Bildblöcke (SMB), eine zusätzlich verminderte Bildqualität signalisiert wird.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß zur Bildung eines globalen Qualitätskriteriums das aus den ortsfrequenzabhängigen Quantisierungsfaktoren (NIQM) und/oder dem Quantisierungsfaktor (QSC) und ggf. aus dem Auftreten nicht codierter Macroblöcke (SMB) abgeleitete Kriterium für die verminderte Bildqualität vor seiner Ausgabe als Signalisierung eine Nachbearbeitung in Form einer örtlichen und/oder zeitlichen Gewichtung und/oder einer Integration durchläuft.

4. Verfahren nach einem der Ansprüche 1 bis 3, wobei der durch die bitratenreduzierende Codierung erzeugte Datenstrom einer Fehlerkorrektur unterzogen wird, dadurch gekennzeichnet, daß dem fehlerkorrigierten Datenstrom eine Kennzeichnung (TEI) entnommen wird, welche das Auftreten nicht korrigierter Fehler anzeigt, und daß bei deren Auftreten die Signalisierung einer bildinhaltsabhängig verminderten Bildqualität unterdrückt wird.