DE69929127T2

DE69929127T2 - Bildqualitätsmessung durch die Gegenwart von Blöcken

Info

Publication number: DE69929127T2
Application number: DE69929127T
Authority: DE
Inventors: Bozidar Portland Janko; Steven D. Aloha Maurer
Original assignee: Tektronix Inc
Current assignee: Tektronix Inc
Priority date: 1998-09-10
Filing date: 1999-09-10
Publication date: 2006-08-24
Anticipated expiration: 2019-09-11
Also published as: DE69929127D1; EP0986270A2; EP0986270B1; JP2000102041A; US6795580B1; JP3568834B2; EP0986270B8; EP0986270A3

Description

STAND DER TECHNIK
Die vorliegende Erfindung betrifft die Messung der Bildqualität und im Besonderen die Messung der Bildqualität unter Verwendung von Blockiness.
Bei der digitalen Videoübertragung, bei der die Bandbreite von Bedeutung ist, wie etwa bei der Übertragung über eine Satellitenstrecke, unterliegt das Videosignal unterschiedlichen Ausmaßen der Komprimierung aufgrund der erforderlichen Bandbreite für jeden Videokanal. Die für gewöhnlich verwendeten Komprimierungsstandards, wie etwa JPEG, MPEG oder proprietäre Varianten dieser, sind Verlust behaftet, und um eine höhere Komprimierung zu ermöglichen, lassen sie das Auftreten von Verzerrungen in einem Bild zu, das durch das Videosignal dargestellt wird. Das Ausmaß der Verzerrung ist eine Funktion der Komplexität des Bilds und der Anzahl der Bits pro Sekunde (Bitrate), wobei ein Komprimierungscodierer eingesetzt werden kann. Im Idealfall wird eine so hohe Komprimierung wie möglich verwendet, wobei weiterhin ein Videobild oder Bild für den Kunden bzw. Anwender vorgesehen wird, das frei von störenden Artefakten ist.
Aktuelle Vorrichtungen zum Analysieren der Bildqualität, wie etwa der PQA200 Picture Quality Analyzer, hergestellt von Tektronix, Inc., Wilsonville, Oregon, USA, basiert auf Referenzwerten. Ein über ein Videosystem übertragenes Videosignal wird mit dem ursprünglichen Videosignal als Referenz-Videosignal in einer Messvorrichtung verglichen. Das Referenz-Videosignal wird entweder in der Messvorrichtung gespeichert oder über einen anderen verzerrungsfreien Pfad zu der Messvorrichtung übertragen. Der Einsatz eines Referenz-Videosignals ist für besonders präzise Algorithmen erforderlich, wie etwa den Algorithmus JNDmetrix^TM zum menschlichen Sehmodell (Human Vision System Model) der Sarnoff Corporation. Dies bedeutet jedoch, dass Messungen nur an den Videosignalen vorgenommen werden, deren Inhalt entweder vorab bekannt ist oder unmittelbar zur Verfügung steht, wie etwa durch eine neuerliche Prüfung des Codierers an der Quelle.
Weitere Beispiele der so genannten beidseitigen Prüfung der Videoqualität auf der Basis eines Referenzsignals werden offenbart in dem U.S. Patent US-A-5,446,49 und in „Video Compression: The Need for Testing", von G. Beakley et al., SMPTE Journal, U.S., SMPTE Inc., Scarsdale, New York, USA, Band 104, Nr. 11, 1. November 1995, Seiten 742–750, XP000540389, ISSN: 0036-1682.
Weitere potenzielle Verfahren zum Messen von Codec-Degradationen auf der Basis der DCT-Technik (DCT als Abkürzung von Discrete Cosine Transform) umfassen die direkte Prüfung der Grobheit der Quantisierungsskala in dem komprimierten Videostrom, optional in Verbindung mit dem Messen der Komplexität des ursprünglichen Bilds, das von einer Einrichtung außerhalb des Videostroms übertragen wird, eine Form der komprimierten Referenz. Dieses Verfahren ist nicht so präzise und kann in jedem Fall nur Messungen an komprimiertem Video vornehmen, und nicht an Video, das bereits dekomprimiert und potenziell durch andere Systeme verlaufen ist, einschließlich weiterer Codecs, und zwar vor der Zustellung an den Endanwender.
Wünschenswert ist ein Verfahren zur Überwachung von Verzerrungen in Block-basierten Codecs auf eine Art und Weise, die absolut frei von Referenzen ist, und wobei die minimale Hardwarebeschleunigung verwendet wird, um derartige Messungen in Echtzeit auszuführen.
KURZE ZUSAMMENFASSUNG DER ERFINDUNG
Vorgesehen ist gemäß der vorliegenden Erfindung ein Verfahren gemäß dem gegenständlichen Anspruch 1.
Die vorliegende Erfindung stellt ein System zum Messen der Bildqualität unter Verwendung von Blockiness bereit, um das Ausmaß der Verschlechterung eines Videosignals aufgrund der Verarbeitung durch die Videokomprimierung zu bestimmen. Ein Vollbild/Teilbild eines verarbeiteten Videosignals, das ein Bild darstellt, wird erfasst und bei Bedarf in Luminanz- und Farbkomponenten umgewandelt. Eine oder mehrere der Komponenten werden durch entsprechendes vertikales und/oder horizontales Kantenverbesserungsfiltern, wie etwa Boxcar-Filtern, analysiert. Die resultierenden Kanten werden mit einem infiniten Raster mit Begrenzungen korreliert, die den Blockbegrenzungen entsprechen, die bei der Videokomprimierung eingesetzt werden. Optional kann eine zweite Korrelation mit einem Raster mit Grenzen vorgenommen werden, die sich leicht von den Blockgrenzen unterscheiden, die bei der Videokomprimierung verwendet werden, wobei dieses Ergebnis von dem ersten Wert subtrahiert wird. Darüber hinaus können die Positionen der Grenzen bzw. Begrenzungen des Komprimierungsblocks dadurch detektiert werden, dass beobachtet wird, wo der höchste Korrelationswert auftritt. Die resultierenden Korrelationsergebnisse werden verarbeitet, um eine Bildqualitätseinstufung für das Bild zu erzeugen, welche das Ausmaß der für das menschliche Auge wahrnehmbaren Blockverschlechterung darstellt, die in das verarbeitete Videosignal eingeführt worden ist.
Die Aufgaben, Vorteile und andere neuartigen Merkmale der vorliegenden Erfindung gehen aus der folgenden genauen Beschreibung hervor, wenn diese in Verbindung mit den anhängigen Ansprüchen und den beigefügten Zeichnungen gelesen wird.
KURZE BESCHREIBUNG DER VERSCHIEDENEN ANSICHTEN DER ZEICHNUNGEN
Es zeigen:
1 eine Blockdiagrammansicht eines Systems zum Messen der Bildqualität gemäß der vorliegenden Erfindung;
2 eine veranschaulichende Ansicht der Extraktion von Blockiness aus einer Bitmap für ein System zum Messen der Bildqualität gemäß der vorliegenden Erfindung; und
3 eine Blockdiagrammansicht einer Blockdetektionsvorrichtung für ein System zum Messen der Bildqualität gemäß der vorliegenden Erfindung.
GENAUE BESCHREIBUNG DER ERFINDUNG
Die meisten heutigen Komprimierungssysteme teilen Video in Datenblöcke auf und komprimieren jeden Block unter Verwendung der DCT-Technik (Discrete Cosine Transform) separat. Forschungsergebnisse zeigen, dass in Videodaten, die einer derartigen Komprimierung ausgesetzt worden sind, die Bildqualität eng mit dem sichtbaren Erscheinungsbild bzw. Auftreten von Blockiness in Verbindung steht, die eine aggressive überlagernde Quantisierung bewirken kann, im Besonderen in Szenen, denen strukturelle Frequenzen in der darunter liegenden Szene fehlen, die diese Fehler ansonsten maskieren würden. In folgendem Bezug auf die Abbildung aus 1 wird ein verarbeitetes Videosignal, das mindestens einmal komprimiert und dekomprimiert worden ist, und das in Bezug auf die Verschlechterung der Bildqualität gemessen wird, in ein Signalerfassungsmodul 12 eingegeben, wo ein Teilbild/Vollbild eines Bilds erfasst und bei Bedarf in Komponentenvideo umgewandelt wird, sofern dies erforderlich ist, und wobei die diesbezüglichen aktiven Bilddaten in einer Bitmap 14 gespeichert werden. Der Inhalt der Bitmap 14, für gewöhnlich die Luminanzkomponente der Videodaten, wird durch einen Bitmap- oder Videodatenanalysator 16 verarbeitet, und die resultierende Bildqualitätseinstufung wird an ein Ergebnismeldemodul 18 zur Anzeige für einen Benutzer/eine Bedienungsperson bereitgestellt.
Wie dies in der Abbildung aus 2 dargestellt ist, werden eine oder mehrere der Videokomponenten des Bilds aus der Bitmap 14 durch ein Paar von Kantenverbesserungsfiltern 20, 22, wie etwa Boxcar-Filtern, verarbeitet, wobei einer der Filter vertikale Kanten in dem Bild und der andere Filter horizontale Kanten verarbeitet. Die resultierenden Kantenbilder werden in ein Kombinationsmodul 24 eingegeben, wobei die Absolutwerte der Kantenbilder geometrisch für die beiden Abmessungen kombiniert werden. Das kombinierte Bild wird in ein Korrelationsmodul 26 eingegeben, wob das kombinierte Bild eine Kreuzkorrelation mit einem infiniten Raster unterzogen wird, das „1er" an Zeilen aufweist, die Vielfache von vier sind, und an Spalten, die Vielfache von acht sind, und wobei ansonsten Nullen vorgesehen sind, mit einer Anpassung, so dass der Mittelwert gleich Null ist, d.h. ein Raster mit einem Kernel, der der Blockgröße des Komprimierungsstandards entspricht, der verwendet wird. Die Ergebnisse der Kreuzkorrelation werden in entsprechende Felder bzw. Bins eingegeben 28, wobei der Maximalwert ein Ausmaß der Blockiness des Bitmap-Bilds darstellt.

Zur Verbesserung der Effizienz zur Ausführung der Analyse in Echtzeit auf Hardware mit höherer Einschränkung, kann der Algorithmus zum Extrahieren von Blockiness dadurch reduziert werden, dass er nur in eine Dimension ausgeführt wird, wie etwa die vertikale Dimension, und durch einen Verzicht auf die Kombinationseinrichtung 24. Der letztgenannte vertikale Algorithmus kann ferner so neu angeordnet werden, dass das digitale Filtern vorgenommen wird, während die Videodaten erfasst werden, wodurch auch auf den Bitmap-Speicher 14 verzichtet werden kann. Das digitale Filtern in eine Richtung ist ausreichend einfach für eine Implementierung ausschließlich durch „Additions"-Operationen, wie dies durch das folgende Segment des Matlab-Codes veranschaulicht wird:
%Diese Befehle extrahieren vertikale Kanten:

s = (1 –1	//Kantenverbesserungsfilter//
1 –1
1 –1
1 –1);
VV = conv2(lum, s)

//Die Summe von vier Pixeln in jeder Bildspalte wird von der Summe der vier auf der linken Seite benachbarten Pixel subtrahiert, wobei dies dadurch implementiert werden kann, dass eine laufende Summe von vier Zeilen über das gesamte Bild geführt wird sowie durch Subtrahieren jeder laufenden Summe von ihrem Nachbar.//

VV = abs(VV)	//Absolutwert der Summe der Differenzen//
V = VV(10:210, 10:676);	//Optionales Beschneiden//

%Dies ist ein effizienter Kreuzkorrelations-Algorithmus:

f = zeros(1, 8);	//Erzeugen und auf Null setzen von 8 Blöcken//
VR = length(V(:, 1));	//Bildhöhe ermitteln//
VC = length(V(1, :));	//Bildbreite ermitteln//
VCF8 = floor(VC/8)·8 – 8;	//Abrunden der Breite auf den nächsten Wert eines Vielfachen von 8//

//Summieren der Differenzen in acht Blöcken, von denen jeder die Summe aller Spalten Modulo 8 aufweist (Block #1 enthält die Summe der Differenzspalten 1, 9, 17 ..., Block #2 enthält die Summe der Differenzspalten 2, 10, 18 ..., etc.).//
S = sum(f)/8;
block_defect_measure = (max(f) – S)·scale_constant
//Der Durchschnitt bzw. Mittelwert der Werte für alle Blöcke wird von dem Wert in dem Block mit dem maximalen Wert subtrahiert. Die resultierende Zahl wird mit einem festen Skalierwert multipliziert, so dass eine Zahl in dem gleichen Bereich als Bildqualitätseinstufung (PQR als Abkürzung von Picture Quality Rating) durch eine Vorrichtung wie den PQA200 erzeugt wird.// Dieser Algorithmus kann 16 × 16 Makroblöcken in Farbkanälen zugeführt werden und/oder jeder anderen Makroblockgröße, wenn sich die Komprimierungsstandards verändern. Zudem zeigt der zusätzliche Block, der den maximalen Wert aufweist, auch an, wo sich die Begrenzung des Komprimierungsblocks befindet, die auch an das Meldemodul 18 ausgegeben werden kann.
Obgleich der Algorithmus gemäß der vorstehenden Beschreibung auch in einer Mikroprozessor-/Speicherumgebung implementiert werden kann, kann er für besondere Algorithmen mit Hochgeschwindigkeitsdaten, wie etwa für HDTV-Anwendungen, auch in Hardware implementiert werden, wie dies in der Abbildung aus 3 dargestellt ist. Die separierte Komponente des Bilds wird in die Feld-Bitmap 30 eingegeben. Die Komponente wird danach aus der Bitmap 30 in eine vertikale Differenzierschaltung 32 eingegeben. Die differenzierten Werte werden in ein Beschneidungsmodul 34 und danach in einen Akkumulator 36 eingegeben, der die Differenzwerte in acht Blöcken 38 akkumuliert. Nachdem das Bild akkumuliert worden ist, werden die Ausgaben aus den Blöcken 38 in ein Summiermodul 40 eingegeben, und die Summe wird in ein Mittelwertbildungsmodul 42 eingegeben, das die Summe durch die Anzahl der Blöcke teilt, in diesem Fall acht oder eine Verschiebung nach rechts um zwei Bits. Der maximale Wert bzw. Höchstwert aus dem Block 38 wird durch einen Maximumdetektor 44 extrahiert und in einen Subtrahierer 46 eingegeben, wo er von der Mittelwert gebildeten Summe der Werte aus den Blöcken subtrahiert wird. Die resultierende Ausgabe wird danach zu dem Ergebnismeldemodul 18 zur Anzeige an den Anwender/die Bedienungsperson weitergeleitet.
Zur Verbesserung der Präzision kann der Algorithmus verändert werden, indem die Blockiness gemäß den vorstehenden Ausführungen gemessen wird, mit einer Korrelation zu dem spezifischen Block- bzw. Makroblockabstand, und wobei danach eine Wiederholung folgt, oder durch gleichzeitige Berechnung, unter Verwendung einer korrelierten Kernel-Größe, wie etwa 9. Das Ergebnis der zweiten Korrelation wird von dem Ergebnis der ersten Korrelation subtrahiert, woraus PQR resultiert. Wenn das Ergebnis kleiner ist als Null, so wird es auf Null gesetzt. Dies reduziert signifikant False-Positives in Bezug auf die Blockiness, die ein Bild mit Störungen ansonsten erzeugen könnte.
Die Position der Komprimierungsblöcke, ob für den Menschen wahrnehmbar oder nicht, kann ebenfalls bestimmt und separat der Bedienungsperson oder anderen Algorithmen zur Analyse der Bildbeeinträchtigung gemeldet werden. Das verwendete Verfahren dient einfach der Meldung, welcher der Korrelations-Akkumulationsblöcke den größten akkumulierten absoluten Differenzwert speichert.
Vorgesehen ist gemäß der vorliegenden Erfindung somit eine Analyse der Bildqualität unter Verwendung von Blockiness, indem die Kanten in einem durch ein Videosignal dargestellten Bilds bestimmt werden, wobei die Kanten mit einem Blockgrößen-Kernel in Korrelation gesetzt werden, und wobei die durchschnittliche Summe der Korrelationsergebnisse von einem maximalen Korrelationswert subtrahiert wird, um einen Wert der Verschlechterung des Videosignals zu erzeugen.

Claims

Verfahren zum Messen der Bildqualität eines Bildes, das durch ein verarbeitetes Videosignal dargestellt wird, auf der Basis der Blockiness, wobei das Verfahren die folgenden Schritte umfasst: das Verbessern der Kanten in dem Bild, so dass Kantenwerte (14–24) erzeugt werden; das Korrelieren (26) der Kantenwerte mit einem infiniten Raster mit einem Kernel, der einer spezifizierten Blockgröße entspricht, so dass n Korrelationswerte erzeugt werden, wobei n eine Funktion der spezifizierten Blockgröße ist; und das Erzeugen eines Bildqualitäts-Einstufungswertes aus den Korrelationswerten.
Verfahren nach Anspruch 1, wobei der Verbesserungsschritt die folgenden Schritte umfasst: das Speichern des Bilds von dem Videosignal in einer Bitmap (14); und das Falten des Bilds aus der Bitmap mit einer ersten Filterfunktion in eine erste Richtung (20), um die Kantenwerte vorzusehen.
Verfahren nach Anspruch 2, wobei der Verbesserungsschritt ferner die folgenden Schritte umfasst: das Falten des Bilds aus einer Bitmap mit einer zweiten Filterfunktion in eine zweite Richtung (22), die orthogonal zu der ersten Richtung verläuft, um die Kantenwerte vorzusehen; und das Kombinieren (24) der Kantenwerte aus den beiden Faltungsschritten, um die Kantenwerte zur Eingabe in den Korrelationsschritt zu erzeugen.
Verfahren nach Anspruch 2 oder 3, wobei der Faltungsschritt folgende Schritte umfasst: das Ermitteln der Differenzen zwischen benachbarten Pixeln; und das Summieren der Differenzen für jedes Pixel auf Modulo-N-Basis.
Verfahren nach Anspruch 4, wobei das Verfahren ferner den Schritt des Umwandelns der Differenzen in Absolutwerte für den Summierschritt umfasst.
Verfahren nach Anspruch 1, wobei der Erzeugungsschritt die folgenden Schritte umfasst: das Berechnen eines Mittelwertes für die Korrelationswerte; und das Subtrahieren des Mittelwertes von einem maximalen Wert der Korrelationswerte, um eine Qualitätsmessung als Bildqualitätseinstufung zu erzeugen.
Verfahren nach Anspruch 6, wobei der Erzeugungsschritt ferner den Schritt des Skalierens der Qualitätsmessung um eine feste Konstante umfasst, um die Bildqualitätseinstufung zu erzeugen.
Verfahren nach Anspruch 1, wobei das Verfahren ferner die folgenden Schritte umfasst: das Wiederholen der Schritte des Korrelierens und des Erzeugens mit einem Kernel mit einer anderen Größe als der spezifizierten Blockgröße; und das Subtrahieren der Ergebnisse aus den Erzeugungsschritten, so dass die Bildqualitätseinstufung erzeugt wird.
Verfahren nach Anspruch 8, wobei das Verfahren ferner den Schritt des Skalierens der Ergebnisse des Schrittes des Subtrahierens um eine feste Konstante umfasst, so dass die Bildqualitätseinstufung erzeugt wird.
Verfahren nach Anspruch 1, wobei das Verfahren ferner den Schritt des Bestimmens einer Blockposition für den spezifizierten Block aus den Korrelationswerten umfasst.