DE10253370B4

DE10253370B4 - Vorhersage von Subjektiven Videoqualitätsbewertungen

Info

Publication number: DE10253370B4
Application number: DE10253370A
Authority: DE
Inventors: Kevin M. Beaverton Ferguson
Original assignee: Tektronix Inc
Current assignee: Project Giants LLC
Priority date: 2001-11-21
Filing date: 2002-11-15
Publication date: 2008-12-24
Anticipated expiration: 2022-11-16
Also published as: US20030095187A1; JP4076844B2; DE10253370A1; JP2003199127A; US6829005B2

Abstract

Verfahren zum Vorhersagen von subjektiven Qualitätsbewertungen für eine verarbeitete Videosequenz mit folgendem Schritt:
Erhalten von Wahrnehmungsdifferenzpunktwerten für eine erste und eine zweite Videotrainingssequenz;
dadurch gekennzeichnet,
dass die erste Videotrainingssequenz eine Videotrainingssequenz mit schlechtester Qualität und die zweite Videotrainingssequenz eine Videotrainingssequenz mit bester Qualität ist;
wobei das Verfahren die folgenden weiteren Schritte umfasst:
Zuweisen von entsprechenden subjektiven Qualitätsbewertungspunktwerten auf einer subjektiven Qualitätsbewertungsskala, die die Komprimierung an den Endpunkten der subjektiven Qualitätsbewertungsskala berücksichtigen, zu den schlechtesten und besten Wahrnehmungsdifferenzpunktwerten; und
Berechnen einer Umwandlungsfunktion zum Umwandeln von Wahrnehmungsdifferenzpunktwerten in subjektive Qualitätsbewertungspunktwerte auf der subjektiven Qualitätsbewertungsskala aus den schlechtesten und besten Wahrnehmungsdifferenzpunktwerten und aus heuristisch ermittelten Konstanten.

Description

HINTERGRUND DER ERFINDUNG
Die vorliegende Erfindung betrifft die Videoverarbeitung und insbesondere ein Verfahren zum Vorhersagen von subjektiven Videoqualitätsbewertungen aus entsprechenden Wahrnehmungsdifferenzpunktwerten eines menschlichen Sichtmodells.
Obwohl zum Erzeugen von Wahrnehmungsdifferenzpunktwerten Verfahren existieren, die unter bestimmten Bedingungen gut mit subjektiven Standard-Qualitätsbewertungen korrelieren können, wie z. B. Durchschnittsmeinungs-Differenzpunktwerte (DMOS), hängen die tatsächlichen DMOS-Zahlenwerte unter anderem von "besten" (am wenigsten beeinträchtigten) und "schlechtesten" (am meisten beeinträchtigten) Videotrainingssequenzen ab, die zum Kalibrieren von menschlichen Personen, die die Punktbewertung durchführen, verwendet werden. Den Personen wird mitgeteilt, eine Skala mit einem Ende für die "beste" und dem anderen für die "schlechteste" Videotrainingssequenz zu verwenden. Dann werden Videotestsequenzen durch die Personen auf der Basis der "kalibrierten" Skala bewertet. Die Skala der subjektiven Bewertungen für die Videotestsequenzen weist jedoch von Natur aus eine Komprimierung nahe der Oberseite und Unterseite auf, da Personen bei Qualitätsbewertungen an den Endpunkten vorsichtig sind und einen kleinen Teil der Skala reservieren, nur für den Fall, daß in einer späteren Videotestsequenz eine extremere Videoqualität zu sehen ist.
Die existierenden Verfahren zum Ermitteln der Videobildqualität wie z. B. die im US-Patent Nr. 5 818 520 beschriebenen und im Bildqualitätsanalysator PQA200 von Tektronix implementierten, versuchen nicht, DMOS-Skalen auf einen Satz von Videosequenzen abzustimmen, wie z. B. unter Verwendung von "besten" und "schlechtesten" Videotrainingssequenzen, um die Endpunkte festzulegen. Statt dessen werden Korrelationen durchgeführt und typische Umwandlungsfaktoren werden zitiert. Diese typischen Umwandlungsfaktoren implizieren eine Eins-zu-Eins- oder lineare Abbildung und berücksichtigen nicht die Komprimierung an den Endpunkten der Skala oder andere Nicht-Linearitäten, die den DMOS-Werten innewohnen.
Was erwünscht ist, ist ein Bildqualitäts-Meßsystem, das subjektive Qualitätsbewertungen von verarbeitetem Video vorhersagt.
Aus der FR 2 795 578 A1 ist ein Verfahren zur Qualitätsbeurteilung einer audiovisuellen Sequenz bekannt. Es umfasst einen Lernprozess, welcher die Zuordnung einer subjektiven Beurteilung NS_i zu jeder von N₀ Lernprozesssequenzen S_i (mit i = 1, 2 ... N₀), welche durch einen Lernprozessvektor MO_i, welcher für jede Sequenz S_i gemäß einem ersten Vektorisierungsverfahren bereitgestellt ist, bezeichnete Beeinträchtigungen aufweisen, um eine aus N₀ Lernprozessvektoren MO_i, welche nur die bezeichneten Beeinträchtigungen und die subjektiven Beurteilungen NS_i beinhalten, zusammengesetzte Datenbasis zu bilden. Es umfasst weiterhin die Klassifizierung der N₀ Lernprozessvektoren MO_i in k Beurteilungsklassen in Abhängigkeit von den ihnen zugeordneten subjektiven Beurteilungen NS_i, um k Lernprozesseinheiten EA_j (mit j = 1, 2 ... k) zu bilden, welchen k signifikante Lernprozessbeurteilungen NSR_j zugeordnet sind, sowie die Erarbeitung eines Vektors MO gemäß dem ersten Vektorisierungsverfahren für die zu beurteilende audiovisuelle Sequenz und die Zuordnung derjenigen signifikanten Lernprozessbeurteilung NSR_j zu der zu beurteilenden audiovisuellen Sequenz, welcher der Lernprozesseinheit EA_j entspricht, welche den im Sinne der vektoriellen Quantifizierung dem Vektor MO ähnlichsten Vektor enthält.
ZUSAMMENFASSUNG DER ERFINDUNG
Diese Aufgabe wird gelöst durch ein Verfahren zum Vorhersagen von subjektiven Qualitätsbewertungen für eine verarbeitete Videosequenz mit den Merkmalen von Patentanspruch 1.
Folglich stellt die vorliegende Erfindung ein Verfahren zum Vorhersagen von subjektiven Qualitätsbewertungen von verarbeitetem Video aus entsprechenden Wahrnehmungsdifferenzpunktwerten eines menschlichen Sichtmodells durch Erhalten von Wahrnehmungsdifferenzpunktwerten für eine Videotrainingssequenz mit "schlechtester" Qualität und für eine Videotrainingssequenz mit "bester" Qualität bereit. Entsprechende subjektive Qualitätsbewertungswerte werden den Wahrnehmungsdifferenzpunktwerten zugeordnet, wie durch irgendwelche einseitigen Messungen von Beeinträchtigungen modifiziert, die in den Bezugsvideotrainingssequenzen existieren können, aus denen die Videotrainingssequenzen mit "schlechtester" und "bester" Qualität abgeleitet werden. Eine Umwandlungsfunktion, die eine stückweise lineare Funktion, eine "S"-Kurvenfunktion oder eine andere Funktion sein kann, die die Nicht-Linearitäten und eine Komprimierung an den Endpunkten der subjektiven Qualitätsbewertungsskala annähert, wird verwendet, um eine Umwandlungskurve von Kalibrierungswerten auf der Basis der Wahrnehmungsdifferenzpunktwerte für die Videotrainingssequenzen mit "schlechtester" und "bester" Qualität und heuristisch abgeleiteter Konstanten zu erzeugen.
Die Aufgaben, Vorteile und andere neue Merkmale der vorliegenden Erfindung sind aus der folgenden ausführlichen Beschreibung ersichtlich, wenn sie in Verbindung mit den angehängten Ansprüchen und der beigefügten Zeichnung gelesen wird.
KURZBESCHREIBUNG DER VERSCHIEDENEN ANSICHTEN DER ZEICHNUNG
1 ist eine Blockdiagrammansicht einer Vorrichtung zum Vorhersagen von subjektiven Qualitätsbewertungen für verarbeitetes Video gemäß der vorliegenden Erfindung.
2 ist eine Diagrammansicht einer Beispielkalibrierungskurve zum Umwandeln von Wahrnehmungsdifferenzpunktwerten in subjektive Qualitätsbewertungen gemäß der vorliegenden Erfindung.
AUSFÜHRLICHE BESCHREIBUNG DER ERFINDUNG
Mit Bezug auf 1 empfängt ein erstes Modul 12 eines menschlichen Sichtmodells als Eingangssignale eine Bezugs-(relativ unbeeinträchtigte)Videotrainingssequenz für eine "schlechteste" Videosequenz und eine verarbeitete Version der Bezugsvideotrainingssequenz als (beeinträchtigte) Videotrainingssequenz mit "schlechtester" Qualität. Ebenso empfängt ein zweites Modul 14 eines menschlichen Sichtmodells als Eingangssignale eine Bezugsvideotrainingssequenz für eine "beste" Videosequenz und eine geringfügig verarbeitete Version – relativ zum "schlechtesten" Fall – der Bezugsvideotrainingssequenz als Videotrainingssequenz mit "bester" Qualität. Diese Videotrainingssequenzen mit "schlechtester" und "bester" Qualität entsprechen den "schlechtesten" und "besten" Videotrainingssequenzen, die beim Kalibrieren von menschlichen Personen während einer subjektiven Videobewertungssitzung zum Erhalten von DMOS-Werten verwendet werden. Die Module 12, 14 eines menschlichen Sichtmodells können dasselbe Modul sein, wenn die "schlechtesten" und "besten" Videotrainingssequenzen nacheinander eingegeben werden, oder können wie gezeigt separate Module sein. Die Ausgangssignale aus den Modulen 12, 14 eines menschlichen Sichtmodells sind jeweilige Wahrnehmungsdifferenzwerte PD(am schlechtesten) (PDwst) und PD(am besten) (PDbst), die in eine kalibrierte Umwandlungsvorrichtung 16 eingegeben werden.
Die Bezugsvideotrainingssequenzen, die für sowohl die "schlechteste" als auch die "beste" Videotrainingssequenz gleich sein können oder nicht, können auch in jeweilige einseitige Meßmodule 18, 20 in dem Fall eingegeben werden, in dem irgendwelche Beeinträchtigungen wie z. B. Ausfüllung an den Konturen, Rauschen, Unschärfe etc. aufgrund dessen, daß die Bezugsvideotrainingssequenzen auch vorher verarbeitet wurden, bestehen. Die einseitigen Messungen werden dann verwendet, um die Korrelation der Wahrnehmungsdifferenzpunktwerte mit subjektiven Qualitätsbewertungen in der kalibrierten Umwandlungsvorrichtung 16 einzustellen.
Um die Komprimierung an den Endpunkten der Skala und der Skala selbst zu berücksichtigen, werden die Videotrainingssequenzen mit dem menschlichen Sichtmodell auf der Basis von Wahrnehmungsdifferenzpunktwerten von den Modulen 12, 14 eines menschlichen Sichtmodells bewertet, wobei somit die DMOS-Kalibrierungstrainingsprozedur simuliert wird. Diese Extremfälle werden verwendet, um 15 und 85 auf der Skala mit 100 Punkten, welche bei DMOS verwendet wird, zu identifizieren, um die Skalenkomprimierung an den Endpunkten zu kompensieren.
Die Videotrainingssequenz mit "schlechtester" Qualität wird zum Einstellen der Skala und des Komprimierungsschwellenpegels des Wahrnehmungsdifferenzpunktwerts, der in einen DMOS-Punktwert umgewandelt werden soll, für eine Komprimierungskompensation des hohen Endes verwendet. Die entsprechende Bezugsvideotrainingssequenz für die Videotrainingssequenz mit "schlechtester" Qualität kann unter Verwendung des einseitigen Meßmoduls 18 mit solchen Metriken wie Ausfüllung an den Konturen, Rauschen, Unschärfe etc. qualifiziert werden. Wenn diese Werte "geringe Beeinträchtigung" anzeigen, kann der Wahrnehmungsdifferenzpunktwert für die Videotrainingssequenz mit "schlechtester" Qualität als 70 anstatt 85 zugewiesen werden, wobei ein Komprimierungsknick bei 55 in der DMOS-Skala beginnt. Ebenso kann der DMOS-Punktwert der Videotrainingssequenz mit "bester" Qualität einem Wert von mehr als 15, wenn die einseitig gemessenen Beeinträchtigungen hoch sind, oder einem Wert von weniger als 15, wenn die einseitig gemessenen Beeinträchtigungen niedrig oder Null sind, zugewiesen werden. Die Komprimierung kann stückweise linear oder eine gewisse andere Funktion wie z. B. eine "S"-Kurvenfunktion sein. Ein Beispiel für die lineare Komprimierung am hohen Ende der Skala folgt, wenn der Punktwert der Video trainingssequenz mit "schlechtester" Qualität einem DMOS-Wert von 70 gleichgesetzt wird, wie vorstehend angegeben: normPD = PDn/(PD(am schlechtesten) – PD(am besten))wobei PDn ein Wahrnehmungsdifferenzpunktwert ist, n von Null bis 100 in Schritten von 0,02 variiert, und normPD ein normierter PD-Punktwert ist.
if(normPD < kneeThresh) DMOS = normPD·scaleelse DMOS = (kneeThresh + (normPD – kneeThresh)·compression)·scalewobei kneeThresh = 0,66, scale = 70/(kneeThresh + compression·(1 – kneeThresh)) und compression = 0,6. Die Werte von compression und von kneeThresh sind untereinander abhängig, werden jedoch heuristisch ausgewählt, um einen Komprimierungsknick bei ungefähr 55 zu erzeugen, d. h. kneeThresh·scale 0,55. Ein Diagramm der resultierenden DMOS-Werte als Funktion der Wahrnehmungsdifferenz-(PD)Punktwerte ist in 2 gezeigt, wobei PD(am schlechtesten) = 1,3 und PD(am besten) = 0 für dieses Beispiel. Die vertikale gestrichelte Linie stellt PD(am schlechtesten) dar und die horizontale gestrichelte Linie stellt den Komprimierungsknickwert von ungefähr 55 dar.
Eine weitere ähnliche stückweise lineare Näherung kann für die Skalenkomprimierung des niedrigen Endes durchgeführt werden, so daß drei lineare Segmente vorliegen, die sich einer "S"-Funktion nähern, d. h. wenn normPD < kneeThresh_H und normPD > kneeThresh, wird eine lineare Näherung verwendet, während für normPD > kneeThresh_H eine lineare Näherung für die Komprimierung des hohen Endes verwendet wird und für normPD < kneeThresh_L eine lineare Näherung für die Komprimierung des niedrigen Endes verwendet wird.
Diese einfache Komprimierung der PD-Punktwerte an den Endpunkten der DMOS-Skala verbessert die Korrelationen mit tatsächlichen DMOS-Werten, wobei das Ausmaß an Verbesserung stark von der Verteilung von Qualitätsbewertungen unter einer Gesamtheit von Videotestsequenzen abhängt. Dann kann irgendein gemessener PD-Punktwert für eine Videotestsequenz unter Verwendung der kalibrierten Umwandlungskurve von der kalibrierten Umwandlungsvorrichtung 16 in einen DMOS-Wert umgewandelt werden.
Somit stellt die vorliegende Erfindung ein Verfahren zum Vorhersagen von subjektiven Qualitätsbewertungen für eine verarbeitete Videosequenz durch Erzeugen einer Kalibrierungskurve zum Umwandeln von Wahrnehmungsdifferenzpunktwerten in Durchschnittsmeinungs-Differenzpunktwerte auf der Basis von Wahrnehmungsdifferenzpunktwerten für Videotrainingssequenzen mit "bester" und "schlechtester" Qualität und heuristisch bestimmter Konstanten bereit, welches die Komprimierung an den Endpunkten der subjektiven Qualitätsbewertungsskala berücksichtigt.

Claims

Verfahren zum Vorhersagen von subjektiven Qualitätsbewertungen für eine verarbeitete Videosequenz mit folgendem Schritt: Erhalten von Wahrnehmungsdifferenzpunktwerten für eine erste und eine zweite Videotrainingssequenz; dadurch gekennzeichnet, dass die erste Videotrainingssequenz eine Videotrainingssequenz mit schlechtester Qualität und die zweite Videotrainingssequenz eine Videotrainingssequenz mit bester Qualität ist; wobei das Verfahren die folgenden weiteren Schritte umfasst: Zuweisen von entsprechenden subjektiven Qualitätsbewertungspunktwerten auf einer subjektiven Qualitätsbewertungsskala, die die Komprimierung an den Endpunkten der subjektiven Qualitätsbewertungsskala berücksichtigen, zu den schlechtesten und besten Wahrnehmungsdifferenzpunktwerten; und Berechnen einer Umwandlungsfunktion zum Umwandeln von Wahrnehmungsdifferenzpunktwerten in subjektive Qualitätsbewertungspunktwerte auf der subjektiven Qualitätsbewertungsskala aus den schlechtesten und besten Wahrnehmungsdifferenzpunktwerten und aus heuristisch ermittelten Konstanten.
Verfahren nach Anspruch 1, wobei der Schritt des Erhaltens die folgenden Schritte umfaßt: Eingeben einer ersten Bezugsvideotrainingssequenz entsprechend der Videotrainingssequenz mit schlechtester Qualität und der Videotrainingssequenz mit schlechtester Qualität in ein erstes Modul eines menschlichen Sichtmodells, um den schlechtesten Wahrnehmungsdifferenzpunktwert zu erhalten; und Eingeben einer zweiten Bezugsvideotrainingssequenz entsprechend der Videotrainingssequenz mit bester Qualität und der Videotrainingssequenz mit bester Qualität in ein zweites Modul eines menschlichen Sichtmodells, um den besten Wahrnehmungsdifferenzpunktwert zu erhalten.
Verfahren nach Anspruch 2, welches ferner die folgenden Schritte umfaßt: Erhalten von einseitigen Qualitätsmaßen für die erste und die zweite Bezugsvideotrainingssequenz; und Verwenden der einseitigen Qualitätsmaße, um die subjektiven Qualitätsbewertungspunktwerte entsprechend den schlechtesten und besten Wahrnehmungsdifferenzpunktwerten einzustellen.
Verfahren nach Anspruch 2, wobei die erste und die zweite Bezugsvideotrainingssequenz eine einzelne Bezugsvideotrainingssequenz sind.
Verfahren nach Anspruch 2, wobei das erste und das zweite Modul eines menschlichen Sichtmodells ein einzelnes Modul eines menschlichen Sichtmodells sind.
Verfahren nach Anspruch 1, wobei der Berechnungsschritt die folgenden Schritte umfaßt: Ermitteln eines Komprimierungsknicks für einen Endpunkt der subjektiven Qualitätsbewertungsskala; und Ermitteln der heuristisch bestimmten Konstanten auf der Basis des Komprimierungsknicks.
Verfahren nach Anspruch 6, wobei der Berechnungsschritt ferner den Schritt des Anwendens der besten und schlechtesten Wahrnehmungsdifferenzpunktwerte und der heuristisch bestimmten Konstanten auf eine Reihe von stückweise linearen Funktionen, um die Umwandlungsfunktion zu definieren, umfaßt.
Verfahren nach Anspruch 6, wobei der Berechnungsschritt ferner den Schritt des Anwendens der besten und schlechtesten Wahrnehmungsdifferenzpunktwerte und der heuristisch bestimmten Konstanten auf eine "S"-förmige Funktion, um die Umwandlungsfunktion zu definieren, umfaßt.